Model Releases
Google DeepMind Запускает Gemma: Открытая Альтернатива для Локальных ИИ Приложений
Открытая модель Gemma от Google DeepMind предоставляет разработчикам доступ к передовым возможностям ИИ с поддержкой локального запуска.
21 февраля 2024 г.
Model ReleaseGemma
Введение
Google DeepMind официально представила Gemma — новую серию открытых языковых моделей, разработанных на основе исследований Gemini. Эти модели обеспечивают мощные возможности обработки естественного языка и предназначены для широкого круга приложений, от академических исследований до коммерческого использования. Gemma выделяется своей лицензией Apache 2.0, что позволяет использовать её даже в коммерческих проектах без ограничений.
Gemma была создана как легковесная альтернатива более крупным закрытым моделям, позволяя запускаться на различных устройствах — от персональных компьютеров до серверов. Это делает её идеальной для интеграции в локальные приложения, роботов и систем с ограниченными вычислительными ресурсами.
Модель доступна в двух размерах: 2 миллиарда и 7 миллиардов параметров, что делает её подходящей как для мобильных устройств, так и для задач, требующих большей вычислительной мощности.
Также стоит отметить, что Gemma поддерживает мультимодальные задачи и может использоваться в сложных ИИ-агентах.
Ключевые Особенности и Архитектура
Gemma построена на современной трансформаторной архитектуре с улучшениями, направленными на повышение эффективности. Модель использует метод обучения с учителем (supervised fine-tuning) и обучение с подкреплением (RLHF) для обеспечения высокой точности и корректного поведения.
Модель представлена в двух версиях: 2B и 7B параметров. Обе они оптимизированы для работы на одном GPU, что делает их доступными для разработчиков с ограниченными вычислительными ресурсами.
Gemma поддерживает длинные контексты и может обрабатывать до 8192 токенов за один проход. Также доступна версия с поддержкой мультимодальных данных (текст + изображения).
Архитектура включает в себя механизмы внимания с улучшенной эффективностью, что позволяет модели работать быстрее и потреблять меньше памяти.
- Параметры: 2B и 7B
- Контекстное окно: до 8192 токенов
- Поддержка мультимодальных входов
- Лицензия: Apache 2.0
Производительность и Бенчмарки
Gemma показывает отличные результаты на стандартных бенчмарках, таких как MMLU, HumanEval и GPQA. Модель с 7 миллиардами параметров достигает 75.8% на MMLU, что конкурентоспособно с другими моделями аналогичного размера.
На тесте HumanEval Gemma 7B набирает 55.1%, превосходя другие открытые модели. Это делает её отличным выбором для задач программирования и генерации кода.