Model Releases
StarCoder 2: Открытая кодовая модель нового поколения от BigCode и ServiceNow
BigCode и ServiceNow представили StarCoder 2 — семейство открытых языковых моделей для программирования с параметрами 3B, 7B и 15B, обученными на более чем 4 триллионах токенов.
6 февраля 2024 г.
Model ReleaseStarCoder 2
Введение
2 февраля 2024 года BigCode и ServiceNow официально представили StarCoder 2 — революционное семейство открытых языковых моделей, специально разработанных для задач программирования. Это не просто обновленная версия оригинального StarCoder, а фундаментальный пересмотр подхода к созданию инструментов для разработчиков с открытым исходным кодом.
Новый набор моделей включает три размера: 3 миллиарда, 7 миллиардов и 15 миллиардов параметров, что позволяет выбрать оптимальный баланс между производительностью и вычислительными затратами. StarCoder 2 стал результатом совместной работы ServiceNow, NVIDIA и Hugging Face, что делает его одним из самых прозрачных и доступных решений на рынке.
Ключевым отличием модели является ее обучение исключительно на коде с разрешительными лицензиями, что решает проблемы авторских прав и юридической ответственности при использовании в коммерческих проектах. Это особенно важно для корпоративных пользователей, которые требуют четкого понимания происхождения тренировочных данных.
Ключевые особенности и архитектура
StarCoder 2 представлен в трех размерах: 3B, 7B и 15B параметров, что обеспечивает гибкость выбора для различных сценариев использования. Архитектурно модель основана на современных достижениях в области трансформеров с улучшенной системой внимания.
Одной из выдающихся особенностей является контекстное окно длиной 16 000 токенов с использованием скользящего окна внимания (sliding window attention). Это позволяет модели эффективно обрабатывать длинные файлы кода и сохранять контекст в больших программных проектах.
Модель поддерживает более 600 языков программирования, что значительно превышает возможности предыдущих версий. Также реализована функция заполнения посередине (fill-in-the-middle), которая особенно полезна для автодополнения кода и рефакторинга.
- Размеры: 3B, 7B, 15B параметров
- Контекстное окно: 16K токенов со скользящим вниманием
- Поддержка 600+ языков программирования
- Fill-in-the-middle capability
- Обучение только на разрешительно лицензированном коде
Производительность и бенчмарки
StarCoder 2 демонстрирует значительные улучшения по сравнению с предыдущей версией. В тестах HumanEval модель показала результаты на 15-20% выше, чем оригинальный StarCoder, особенно в сегментах 7B и 15B. Модель 15B достигла 78.2% точности на HumanEval, что сопоставимо с ведущими коммерческими решениями.
В бенчмарке MBPP (Mostly Basic Python Problems) StarCoder 2 15B достиг 72.4%, превосходя многие существующие модели. В тестах на конкретных языках программирования модель показывает особенно сильные результаты на Python, JavaScript, TypeScript и C++, где превосходит предыдущие версии на 10-15%.