Model Releases
Tencent запускает Hunyuan-Large: 389B параметров и 256K контекст
Новая модель Hunyuan-Large от Tencent становится крупнейшей открытой MoE-архитектурой. Разбираем характеристики, бенчмарки и возможности для разработчиков.
5 ноября 2024 г.
Model ReleaseHunyuan-Large
Введение: Революция в открытом ИИ
5 ноября 2024 года Tencent Holdings официально анонсировала релиз модели Hunyuan-Large, которая мгновенно стала предметом обсуждения в инженерных кругах. Это событие знаменует собой новый этап в доступности передовых языковых моделей, поскольку Hunyuan-Large позиционируется как самая большая открытая трансформерная модель с архитектурой Mixture of Experts (MoE) на момент выхода. Для разработчиков это означает возможность экспериментировать с технологиями, ранее доступными только корпорациям.
Релиз модели совпал с ростом инвестиций Tencent в искусственный интеллект, что подтверждается отчетами о расширении капитальных затрат на 13% в четвертом квартале. Компания делает ставку на ИИ-драйв роста выручки, особенно в игровом секторе, где спрос на передовые генеративные возможности стремительно растет. Hunyuan-Large служит технологическим фундаментом для этой стратегии, предоставляя открытый инструмент для создания сложных агентов и приложений.
- Дата релиза: 5 ноября 2024
- Статус: Open Source
- Провайдер: Tencent
Ключевые особенности и архитектура
Архитектура Hunyuan-Large построена на основе эффективного использования параметров через механизм MoE. В общей сложности модель содержит 389 миллиардов параметров, однако активными на каждом токене остаются только 52 миллиарда. Такой подход позволяет достичь производительности моделей с огромным количеством параметров при значительно меньших затратах на инференс и обучение по сравнению с плотными архитектурами.
Одной из ключевых характеристик является контекстное окно, которое достигает 256K токенов. Это позволяет модели обрабатывать экстремально длинные документы, видео-транскрипции или многопользовательские чаты в единой сессии без потери качества. Поддержка мультимодальных возможностей также встроена в ядро модели, что расширяет её применение за пределы чат-ботов.
- Всего параметров: 389B
- Активных параметров: 52B
- Размер контекста: 256K токенов
- Тип: Mixture of Experts (MoE)
Производительность и бенчмарки
В тестах модель демонстрирует впечатляющие результаты, превосходя Llama 3.1 405B по ряду метрик. Несмотря на меньшее количество активных параметров на токен, эффективность распределения знаний позволяет Hunyuan-Large опережать конкурентов в задачах сложного логического вывода и программирования.
Конкретные показатели на популярных бенчмарках подтверждают лидерство. На MMLU модель показывает более высокую точность в вопросах общего знания, а на HumanEval демонстрирует превосходство в генерации рабочего кода. В задачах SWE-bench, связанных с реальным исправлением багов в репозиториях, Hunyuan-Large также показывает стабильно высокие результаты, что делает её надежным инструментом для инженерных задач.