Model Releases
SOLAR 10.7B: Открытая модель от Upstage с рекордными результатами
Корейский стартап Upstage представил SOLAR 10.7B - мощную 10.7-миллиардную модель с лицензией Apache 2.0, занявшую первое место в рейтинге HuggingFace.
13 декабря 2023 г.
Model ReleaseSOLAR 10.7B
Введение
Корейский стартап Upstage представил SOLAR 10.7B - революционную 10.7-миллиардную языковую модель с открытым исходным кодом, которая уже на момент запуска заняла лидирующую позицию в рейтинге HuggingFace Open LLM Leaderboard. Это достижение особенно впечатляет учитывая, что Upstage использовал инновационный подход под названием 'depth up-scaling', который позволяет эффективно масштабировать глубину модели без пропорционального увеличения вычислительных затрат.
Модель была выпущена 13 декабря 2023 года и сразу же привлекла внимание сообщества разработчиков благодаря своей производительности и открытой лицензии Apache 2.0, позволяющей использовать модель в коммерческих проектах без ограничений. SOLAR 10.7B демонстрирует, как корейские технологические компании могут конкурировать с крупнейшими игроками рынка ИИ.
Ключевым преимуществом SOLAR 10.7B является его способность сочетать высокую производительность с относительно скромными требованиями к вычислительным ресурсам, что делает его доступным для более широкого круга разработчиков и исследователей.
Эта модель открывает новые возможности для внедрения передовых технологий обработки естественного языка в приложениях среднего и малого бизнеса.
Ключевые особенности и архитектура
SOLAR 10.7B построен на архитектуре трансформера с использованием метода 'depth up-scaling', разработанного Upstage. Модель содержит 10.7 миллиардов параметров и использует смешанные экспертные механизмы (MoE) для оптимизации производительности. Архитектура включает 40 слоев с размером скрытого состояния 8192 и размером головы 128.
Контекстное окно модели составляет 4096 токенов, что позволяет обрабатывать достаточно длинные последовательности текста для большинства практических задач. Модель поддерживает максимальный выходной размер 2048 токенов, обеспечивая возможность генерации подробных ответов.
Особенностью архитектуры является использование адаптивных механизмов внимания, которые позволяют модели эффективно обрабатывать различные типы задач - от анализа кода до генерации творческого контента. Поддерживается также частичная мультимодальность через интеграцию с визуальными энкодерами.
Модель обучена на диверсифицированном наборе данных, включающем тексты на английском, корейском и других языках, что делает ее применимой в международных проектах.
- 10.7 миллиардов параметров
- Архитектура трансформера с MoE
- Контекстное окно: 4096 токенов
- Максимальный выход: 2048 токенов
- Поддержка мультимодальных задач