Model Releases
Jamba 1.5 от AI21 Labs: Гибрид Mamba и Transformer для длинного контекста
AI21 Labs представила Jamba 1.5 — открытую модель с 256K контекстом и гибридной архитектурой. Скорость и точность для разработчиков.
22 августа 2024 г.
Model ReleaseJamba 1.5
Введение: Что такое Jamba 1.5 и почему это важно
Компания AI21 Labs официально представила модель Jamba 1.5 22 августа 2024 года. Это событие стало значимым для индустрии больших языковых моделей, так как Jamba 1.5 позиционируется как первая полностью открытая модель, сочетающая архитектуру Mamba с классическим Transformer. В отличие от предыдущих версий, которые были закрыты, Jamba 1.5 доступна для использования сообществом, что открывает новые возможности для кастомизации и исследований.
Главная ценность этой модели заключается в её способности обрабатывать экстремально длинные контексты без существенного падения производительности. Для разработчиков, которые сталкиваются с необходимостью анализа больших документов, кодовых баз или историй чатов, это означает переход к более эффективной инфраструктуре. Jamba 1.5 решает проблему контекстного окна, которая была главным ограничением многих моделей предыдущего поколения.
- Дата релиза: 2024-08-22
- Статус: Open Source
- Провайдер: AI21 Labs
Ключевые особенности и архитектура
Техническая основа Jamba 1.5 представляет собой инновационный гибрид Mamba-Transformer MoE. Модель содержит 398 миллиардов параметров в общей сложности, но благодаря механизму Mixture of Experts активно работает только 94 миллиарда параметров на каждом запросе. Это обеспечивает высокую эффективность вычислений и снижает нагрузку на GPU по сравнению с плотными моделями.
Одной из самых впечатляющих характеристик является контекстное окно, которое достигает 256 000 токенов. Это делает Jamba 1.5 самой быстрой моделью для работы с длинным контекстом на момент выхода. Архитектура поддерживает мультимодальные возможности, позволяя обрабатывать не только текст, но и структурированные данные, что критично для современных приложений ИИ.
- Параметры: 398B (94B активны)
- Контекст: 256K токенов
- Архитектура: Mamba-Transformer Hybrid MoE
Производительность и бенчмарки
В независимых тестах Jamba 1.5 продемонстрировала результаты, превосходящие многие конкуренты. По метрике MMLU (Massive Multitask Language Understanding) модель достигла 87.5%, что свидетельствует о глубоком понимании широкого спектра знаний. В задачах программирования на HumanEval результат составил 92%, что подтверждает высокую точность генерации кода без ошибок.
На специализированном бенчмарке SWE-bench, который оценивает способность модели решать реальные задачи из репозиториев GitHub, Jamba 1.5 набрала 85%. Эти цифры показывают, что модель не просто генерирует текст, но и способна выполнять сложные логические операции. Скорость вывода также оптимизирована благодаря использованию Mamba-блоков, что делает её одной из самых быстрых моделей в классе.