Model Releases
GPT-NeoX: Как 20-миллиардная модель от EleutherAI изменила открытый ИИ
Откройте для себя революционную 20-миллиардную языковую модель GPT-NeoX от EleutherAI, которая впервые показала, что локальные LLM могут конкурировать с GPT-3.
14 апреля 2022 г.
Model ReleaseGPT-NeoX
Введение
GPT-NeoX, выпущенная EleutherAI 14 апреля 2022 года, стала поворотной точкой в развитии открытого искусственного интеллекта. Эта 20-миллиардная параметрическая модель стала первым реальным доказательством того, что локальные языковые модели могут масштабироваться до уровня GPT-3, предлагая мощные возможности обработки естественного языка без зависимости от закрытых API.
Выпуск GPT-NeoX ознаменовал начало новой эры в экосистеме открытого ИИ, предоставив разработчикам и исследователям доступ к передовым технологиям машинного обучения без лицензионных ограничений крупных корпораций. Модель была создана как преемник более ранних проектов EleutherAI и заложила основу для современных открытых языковых моделей.
Архитектурно GPT-NeoX построена на основе библиотек Megatron и DeepSpeed, что обеспечивает эффективное распределение вычислений между несколькими GPU. Это позволило достичь высокой производительности при обучении и инференсе даже с ограниченными вычислительными ресурсами.
С технической точки зрения, GPT-NeoX представляет собой автогрессивный трансформер с параллельным обучением на GPU, что делает её идеальной для использования в научных и коммерческих проектах, где важна воспроизводимость результатов и прозрачность алгоритмов.
Ключевые особенности и архитектура
GPT-NeoX обладает 20 миллиардами параметров, что делает её одной из самых крупных открытых моделей на момент выпуска. Архитектура основана на трансформерах с автогрессивным обучением, оптимизированном для параллельного выполнения на нескольких GPU.
Особое внимание было уделено токенизации: GPT-NeoX использует новый токенизатор, который выделяет дополнительные токены для пробельных символов. Это делает модель особенно подходящей для задач генерации кода и обработки текстов с форматированием.
Контекстное окно модели составляет 2048 токенов, что позволяет обрабатывать относительно длинные последовательности. Архитектура также поддерживает параллельное обучение с использованием библиотеки DeepSpeed, что значительно ускоряет процесс обучения на больших наборах данных.
Модель не является мультимодальной и фокусируется исключительно на текстовых данных. Однако благодаря своей архитектуре она может быть адаптирована для специфических задач через fine-tuning.
- 20 миллиардов параметров
- Токенизатор с учетом пробельных символов
- Контекстное окно: 2048 токенов
- Поддержка параллельного обучения на GPU
- Основана на Megatron и DeepSpeed