Введение: Историческая значимость LLaMA 1

LLaMA 1, представленная Meta AI 24 февраля 2023 года, стала одной из самых влиятельных открытых языковых моделей в истории машинного обучения. Эта 65-миллиардная модель не просто добавила еще одну опцию в экосистему - она фактически зажгла революцию в области open-source больших языковых моделей.

Модель была создана как альтернатива закрытым решениям от OpenAI и других компаний, предоставив исследовательскому сообществу доступ к высококачественной архитектуре для экспериментов и улучшений. Хотя Meta изначально ограничила доступ к весам модели, утечка весов в интернете привела к невероятному всплеску интереса к open-source ИИ.

LLaMA 1 доказала, что небольшие исследовательские команды могут конкурировать с крупными корпорациями в области разработки ИИ, став отправной точкой для сотен производных моделей, таких как Alpaca, Vicuna и другие.

Ключевые характеристики и архитектуектура

LLaMA 1 была представлена в нескольких версиях параметров: 7B, 13B, 33B и 65B. Версия с 65 миллиардами параметров стала флагманской моделью, способной конкурировать с GPT-3 по производительности при значительно меньшем количестве параметров.

Архитектура модели основана на улучшенной версии трансформера с RoPE (Rotary Position Embeddings), RMSNorm и SwiGLU активациями. В отличие от многих современных моделей, LLaMA 1 не использует Mixture-of-Experts (MoE), что делает её более предсказуемой в плане вычислительных требований.

Модель поддерживает контекстное окно до 2048 токенов, что было стандартом для того времени. Архитектура включает улучшенную нормализацию и более эффективные механизмы внимания, что позволяет лучше обрабатывать длинные последовательности текста.

Параметры: 7B, 13B, 33B, 65B
Контекстное окно: 2048 токенов
RoPE (Rotary Position Embeddings)
RMSNorm вместо LayerNorm
SwiGLU активации

Производительность и бенчмарки

LLaMA 1 показала впечатляющие результаты на стандартных бенчмарках. Модель с 65B параметрами достигла 78.6% на тесте MMLU, что сопоставимо с GPT-3 с 175B параметрами. На бенчмарке HumanEval модель набрала 52.5%, что было удивительно высоким результатом для своего времени.

На наборе задач BIG-bench LLaMA 1 продемонстрировала 68.9% точности, превосходя многие предыдущие модели. При этом модель работала на 13% меньше параметров по сравнению с GPT-3, что свидетельствовало о более эффективной архитектуре.

В тестах на рассуждение (GSM8K) модель достигла 58.1%, а на задачах кодирования (HumanEval-Python) - 52.5%. Эти результаты сделали LLaMA 1 серьезным конкурентом коммерческим моделям.

MMLU: 78.6% (65B версия)
HumanEval: 52.5%
BIG-bench: 68.9%
GSM8K: 58.1%

Ценообразование API

LLaMA 1 была первой моделью, которая полностью отказалась от платной модели использования API. Поскольку модель была открыта для исследовательского использования, Meta не предлагала коммерческий API для LLaMA 1.

Однако после утечки весов модель стала свободно доступной для скачивания и запуска локально. Это позволило разработчикам использовать модель без каких-либо затрат на инференс, что стало важным фактором в распространении open-source ИИ решений.

Многие компании начали предоставлять API-сервисы на основе LLaMA 1 с различными ценами, но оригинальная модель от Meta была бесплатной для исследовательского использования.

Бесплатный доступ для исследований
Нет официального коммерческого API
Локальный запуск возможен бесплатно
Сторонние API-провайдеры устанавливают свои цены

Сравнительная таблица

LLaMA 1 можно сравнить с другими моделями того времени, чтобы понять её влияние на рынок ИИ. Сравнение показывает, как модель смогла конкурировать с гораздо более крупными системами.

Таблица ниже демонстрирует ключевые характеристики LLaMA 1 в сравнении с GPT-3 и PaLM.

Сценарии использования

LLaMA 1 отлично подходила для академических исследований и экспериментов. Благодаря открытому характеру модели, исследователи могли адаптировать её для специфических задач и анализировать внутренние механизмы работы.

Модель использовалась для разработки чат-ботов, генерации кода, создания образовательных приложений и проведения научных экспериментов. После появления производных моделей, таких как Alpaca, возможности использования значительно расширились.

LLaMA 1 также стала основой для разработки систем Retrieval-Augmented Generation (RAG) и агентских архитектур благодаря своей способности понимать контекст и генерировать осмысленные ответы.

Академические исследования
Разработка чат-ботов
Генерация кода
Образовательные приложения
RAG системы
Агентские архитектуры

Начало работы

Для начала работы с LLaMA 1 разработчики могут скачать веса модели с официального сайта Meta или через зеркала, если оригинальный доступ ограничен. Модель совместима с популярными фреймворками, такими как Hugging Face Transformers.

Установка может быть выполнена через pip с использованием библиотеки transformers. Для запуска модели потребуется GPU с достаточным объемом памяти - версия 65B требует не менее 130 ГБ VRAM для полного загрузки.

Сообщество разработчиков создало множество инструментов для квантизации модели, позволяющих запускать LLaMA 1 даже на потребительском оборудовании.

Скачивание весов с официального сайта
Совместимость с Hugging Face Transformers
Требования: 130+ ГБ VRAM для 65B версии
Поддержка квантизации для потребительского оборудования

Comparison

API Pricing — Input: Free / Output: Free / Context: Research use only

Sources

Meta AI Research Paper

Hugging Face Models Hub