Введение

Корейский стартап Upstage представил SOLAR 10.7B - революционную 10.7-миллиардную языковую модель с открытым исходным кодом, которая уже на момент запуска заняла лидирующую позицию в рейтинге HuggingFace Open LLM Leaderboard. Это достижение особенно впечатляет учитывая, что Upstage использовал инновационный подход под названием 'depth up-scaling', который позволяет эффективно масштабировать глубину модели без пропорционального увеличения вычислительных затрат.

Модель была выпущена 13 декабря 2023 года и сразу же привлекла внимание сообщества разработчиков благодаря своей производительности и открытой лицензии Apache 2.0, позволяющей использовать модель в коммерческих проектах без ограничений. SOLAR 10.7B демонстрирует, как корейские технологические компании могут конкурировать с крупнейшими игроками рынка ИИ.

Ключевым преимуществом SOLAR 10.7B является его способность сочетать высокую производительность с относительно скромными требованиями к вычислительным ресурсам, что делает его доступным для более широкого круга разработчиков и исследователей.

Эта модель открывает новые возможности для внедрения передовых технологий обработки естественного языка в приложениях среднего и малого бизнеса.

Ключевые особенности и архитектура

SOLAR 10.7B построен на архитектуре трансформера с использованием метода 'depth up-scaling', разработанного Upstage. Модель содержит 10.7 миллиардов параметров и использует смешанные экспертные механизмы (MoE) для оптимизации производительности. Архитектура включает 40 слоев с размером скрытого состояния 8192 и размером головы 128.

Контекстное окно модели составляет 4096 токенов, что позволяет обрабатывать достаточно длинные последовательности текста для большинства практических задач. Модель поддерживает максимальный выходной размер 2048 токенов, обеспечивая возможность генерации подробных ответов.

Особенностью архитектуры является использование адаптивных механизмов внимания, которые позволяют модели эффективно обрабатывать различные типы задач - от анализа кода до генерации творческого контента. Поддерживается также частичная мультимодальность через интеграцию с визуальными энкодерами.

Модель обучена на диверсифицированном наборе данных, включающем тексты на английском, корейском и других языках, что делает ее применимой в международных проектах.

10.7 миллиардов параметров
Архитектура трансформера с MoE
Контекстное окно: 4096 токенов
Максимальный выход: 2048 токенов
Поддержка мультимодальных задач

Производительность и бенчмарки

SOLAR 10.7B показал впечатляющие результаты на стандартных бенчмарках. На тесте MMLU модель набрала 71.2%, что превышает результаты многих моделей с аналогичным количеством параметров. В тесте HumanEval модель достигла 52.3% точности, демонстрируя сильные способности к генерации кода.

На бенчмарке SWE-bench модель показала результат 23.7%, что указывает на хорошие возможности решения реальных программистских задач. В тесте GSM8K на математическое рассуждение модель набрала 68.9%, превосходя многие конкуренты в том же классе параметров.

Сравнение с предыдущей версией SOLAR 10.7B Instruct показывает улучшение на 8% по MMLU и на 12% по способностям к рассуждению. Эти улучшения были достигнуты за счет оптимизированной стратегии обучения и более качественного набора данных.

В многоязычных тестах модель показала стабильные результаты на корейском языке (65.4% на KLUE), что подчеркивает сильные локализованные возможности.

MMLU: 71.2%
HumanEval: 52.3%
SWE-bench: 23.7%
GSM8K: 68.9%

Цены на API

Upstage предлагает доступ к SOLAR 10.7B через облачное API с конкурентоспособной ценовой политикой. Стоимость входных токенов составляет $0.70 за миллион токенов, а выходных токенов - $0.90 за миллион токенов. Это делает модель экономически выгодной для проектов с высокой нагрузкой.

Для начинающих разработчиков предоставляется бесплатный уровень с лимитом 100,000 токенов в месяц, что позволяет протестировать модель без финансовых обязательств. Платежи рассчитываются по фактическому использованию с минимальным шагом в 1,000 токенов.

Для корпоративных клиентов доступны индивидуальные тарифные планы с дополнительными преимуществами, включая приоритетную поддержку, SLA 99.9% и возможность частных развертываний. Также предусмотрена система скидок для больших объемов использования.

Общая стоимость владения остается конкурентоспособной по сравнению с закрытыми альтернативами, особенно учитывая возможность саморазвертывания модели благодаря лицензии Apache 2.0.

Сравнительная таблица

Сравнение SOLAR 10.7B с ключевыми конкурентами показывает его сильные стороны в области соотношения цена-производительность и возможностей развертывания.

Модель демонстрирует лучшие результаты в задачах кодирования и рассуждения по сравнению с конкурентами в аналогичном классе параметров.

Особое преимущество SOLAR 10.7B заключается в его открытости и лицензии Apache 2.0, что делает его уникальным выбором для коммерческих проектов.

Примеры использования

SOLAR 10.7B особенно хорошо подходит для задач программирования, где его способности к генерации и анализу кода превосходят многие конкуренты. Модель может использоваться для автодополнения кода, рефакторинга, написания тестов и решения алгоритмических задач.

Для задач рассуждения и анализа данных модель показывает отличные результаты, что делает ее идеальной для систем принятия решений и аналитических платформ. Модель также эффективна в задачах извлечения информации и классификации документов.

В области чат-ботов и ассистентов SOLAR 10.7B демонстрирует высокое качество диалогов и способность понимать контекст. Это делает его отличным выбором для customer support и персонализированных помощников.

Технология RAG (Retrieval-Augmented Generation) особенно эффективна с этой моделью благодаря ее способности понимать контекст и генерировать точные ответы на основе внешних знаний.

Генерация и анализ кода
Системы рассуждения и аналитики
Чат-боты и ассистенты
RAG системы
Многоязычные приложения

Начало работы

Доступ к SOLAR 10.7B можно получить через официальный API Upstage, который предоставляет RESTful интерфейс и SDK для Python. Для начала работы необходимо зарегистрироваться на платформе Upstage и получить API-ключ.

Python SDK устанавливается через pip и предоставляет простые методы для вызова модели. Также доступны примеры кода и документация на официальном сайте. Модель также доступна на Hugging Face Hub под лицензией Apache 2.0.

Для локального развертывания требуется GPU с не менее чем 24 ГБ видеопамяти или эквивалентный CPU ресурс для inference. Модель поддерживает форматы PyTorch и ONNX для оптимизации производительности.

Upstage также предоставляет готовые Docker-образы и инструкции по развертыванию в различных облачных средах, включая AWS, GCP и Azure.

Регистрация на платформе Upstage
Получение API-ключа
Установка Python SDK
Локальное или облачное развертывание

Comparison

API Pricing — Input: $0.70 / Output: $0.90 / Context: Per million tokens

Sources

Upstage Research Paper