Model Releases
Alpaca от Stanford: Открытая модель с инструкциями на 52K данных
Узнайте о революционной модели Alpaca 7B от Stanford, которая доказала, что качественная настройка по инструкциям возможна с минимальными затратами.
13 марта 2023 г.
Model ReleaseAlpaca
Введение
В марте 2023 года исследовательская группа Stanford CRFM представила Alpaca 7B – инновационную модель с открытым исходным кодом, которая изменила представление об эффективности тонкой настройки языковых моделей. Alpaca представляет собой тонко настроенную версию LLaMA 7B на 52 000 демонстрациях следования инструкциям, созданных с помощью GPT-3.5. Этот проект стал доказательством того, что с относительно небольшими вычислительными затратами можно достичь результатов, сравнимых с гораздо более крупными и дорогими коммерческими моделями.
Ключевым достижением Alpaca стало демонстрация того, что недорогая настройка по инструкциям действительно работает. С общими затратами на вычисления всего в $600, исследователи смогли создать модель, которая по качественным метрикам следования инструкциям сопоставима с OpenAI's text-davinci-003 – коммерческой моделью, разработанной с использованием значительно больших ресурсов.
Этот выпуск стал важным шагом в democratization искусственного интеллекта, предоставив разработчикам и исследователям доступ к высококачественной модели с инструкциями без лицензионных ограничений. Alpaca открыл путь для многочисленных производных проектов и последующих улучшений в области открытых моделей с инструкциями.
Проект также включает полный набор инструментов для воспроизводимости: код для генерации данных, настройки модели и восстановления весов Alpaca-7B. Это сделало его не только ценным продуктом, но и мощной платформой для дальнейших исследований.
Ключевые особенности и архитектура
Alpaca 7B основана на базовой модели LLaMA 7B, разработанной Meta, что обеспечивает прочную основу для дальнейшей настройки. Модель содержит 7 миллиардов параметров, что делает ее достаточно компактной для локального запуска на современных GPU, при этом сохраняя значительную выразительность и способность следовать инструкциям.
Основной особенностью является использование 52 000 синтетических демонстраций инструкций, сгенерированных с помощью GPT-3.5 (text-davinci-003). Эти данные были тщательно подготовлены для обучения модели пониманию и выполнению различных типов инструкций – от простых запросов до сложных задач рассуждения.
Архитектура остается стандартной для преобразователей (transformer), без использования методов типа Mixture of Experts (MoE) или других оптимизаций масштаба. Это делает модель более предсказуемой в работе и легкой для понимания и адаптации.
Модель не имеет мультимодальных возможностей – она предназначена исключительно для текстовых задач. Контекстное окно соответствует базовой модели LLaMA, составляя примерно 2048 токенов.