Model Releases
GShard от Google: первый в истории языковой модель масштаба 600B MoE
Google представила революционную языковую модель GShard с 600 миллиардами параметров на основе архитектуры Mixture of Experts, установив новый стандарт для машинного перевода и обработки естественного языка.
30 июня 2020 г.
Model ReleaseGShard
Введение
В июне 2020 года Google представила GShard, первую в мире языковую модель с архитектурой Mixture of Experts (MoE), достигающую невероятных 600 миллиардов параметров. Этот прорыв стал важной вехой в развитии искусственного интеллекта, демонстрируя, как можно эффективно масштабировать модели до беспрецедентных размеров без экспоненциального увеличения вычислительных затрат.
GShard представляет собой принципиально новое направление в области масштабирования языковых моделей. В отличие от традиционных плотных моделей, где все параметры активируются при каждом вызове, архитектура MoE позволяет использовать только подмножество параметров в зависимости от входных данных, что делает масштабирование более экономичным.
Модель была разработана специально для задач машинного перевода, но её влияние распространилось на всё сообщество ИИ, показав путь к созданию ещё более крупных и эффективных систем в будущем. GShard стал предшественником многих современных крупномасштабных моделей, включая последующие разработки Google.
Ключевые особенности и архитектура
Архитектура GShard основана на концепции Mixture of Experts, где модель содержит 600 миллиардов параметров, разделённых на несколько экспертных подсетей. При каждом вызове активируется только небольшая часть этих экспертов, обычно около 10-20% от общего количества параметров. Это позволяет модели эффективно использовать вычислительные ресурсы и масштабироваться до огромных размеров.
GShard использует гибридный подход, сочетая преимущества масштабирования по глубине и ширине. Модель состоит из 64 экспертов, каждый из которых имеет 9.4 миллиарда параметров. Система маршрутизации определяет, какие эксперты должны обрабатывать конкретный входной запрос, обеспечивая адаптивность и специализацию.
Модель была оптимизирована для задач машинного перевода между различными языками, особенно для пар с низким ресурсом. Архитектура MoE позволила улучшить качество перевода за счёт лучшего представления языковых особенностей каждого эксперта.
- 600 миллиардов параметров MoE
- Гибридная архитектура с 64 экспертами
- Динамическая маршрутизация параметров
- Оптимизация для машинного перевода
Производительность и бенчмарки
GShard продемонстрировал значительное улучшение производительности по сравнению с предыдущими моделями Google в задачах машинного перевода. На тестовых наборах WMT качество перевода улучшилось на 1.3 BLEU по сравнению с базовой моделью Transformer с 137 миллионами параметров. Это стало возможным благодаря эффективному использованию параметров и специализации экспертов.