Mixtral 8x7B: Революционная модель с открытым исходным кодом от Mistral AI

Введение

11 декабря 2023 года французский стартап Mistral AI представил революционную модель Mixtral 8x7B — первую в мире открытую модель с архитектурой Mixture of Experts (MoE), которая по качеству соответствует GPT-3.5, но использует всего 12.9 миллиардов активных параметров во время вывода. Это событие стало настоящим прорывом в индустрии открытого ИИ, демонстрируя, как эффективные архитектуры могут значительно сократить вычислительные затраты без потери производительности.

Модель создана на волне успеха предыдущего релиза Mistral 7B и представляет собой следующий этап развития в области эффективных языковых моделей. С лицензией Apache 2.0, Mixtral 8x7B открывает новые возможности для коммерческого использования и модификации, что делает его доступным для широкого круга разработчиков и исследователей.

Релиз произвел фурор в сообществе ИИ-разработчиков, поскольку сочетает в себе высокую производительность, экономическую эффективность и открытость — три ключевых фактора, необходимых для устойчивого развития экосистемы открытого искусственного интеллекта.

Это не просто еще одна модель с открытым исходным кодом, а важный шаг к democratization of AI, где мощные технологии становятся доступны для всех.

Ключевые особенности и архитектура

Mixtral 8x7B основана на архитектуре Mixture of Experts (MoE), где общее количество параметров составляет 46.7 миллиардов, но активными являются только 12.9 миллиардов во время каждого запроса. Это позволяет достичь сопоставимой производительности с гораздо более крупными моделями при значительно меньших вычислительных затратах.

Архитектура включает восемь экспертов по 7 миллиардов параметров каждый, из которых два эксперта активируются для каждого токена. Такой подход обеспечивает баланс между специализацией и обобщением, позволяя модели эффективно обрабатывать разнообразные задачи.

Модель поддерживает контекстное окно 32,768 токенов, что делает ее идеальной для задач, требующих анализа длинных документов или сложных цепочек рассуждений. Это вдвое больше, чем у многих конкурентов.

Кроме того, Mixtral 8x7B оптимизирована для высокой скорости вывода и низкой задержки, что критично для реальных приложений.

• Общие параметры: 46.7B MoE
• Активные параметры: 12.9B
• Контекстное окно: 32,768 токенов
• Архитектура: Mixture of Experts (8 экспертов по 7B)
• Лицензия: Apache 2.0

Производительность и бенчмарки

Mixtral 8x7B демонстрирует впечатляющие результаты в стандартных бенчмарках, часто превосходя модели в несколько раз больших по размеру. На бенчмарке MMLU модель набирает 82.2%, что сопоставимо с GPT-3.5 и превосходит Llama 2 70B (73.6%).

В тестах на программирование, таких как HumanEval, Mixtral 8x7B показывает результат 67%, что значительно выше, чем у большинства открытых моделей. На SWE-bench она также демонстрирует сильные результаты, подтверждая свою эффективность в задачах программирования.

На бенчмарке GSM8K по математике модель набирает 85.5%, а на HellaSwag по пониманию естественного языка — 88.7%. Эти цифры подтверждают, что MoE-архитектура не жертвует качеством ради эффективности.

В сравнении с предыдущими версиями, Mixtral 8x7B улучшает результаты на 15-20% по большинству метрик, что свидетельствует о прогрессе в архитектуре и обучении.

• MMLU: 82.2%
• HumanEval: 67%
• GSM8K: 85.5%
• HellaSwag: 88.7%

Ценообразование API

Mixtral 8x7B доступна через API с привлекательной ценой: 0.54 доллара США за миллион входных токенов и 0.54 доллара США за миллион выходных токенов. Это делает её экономически выгодной для проектов любого масштаба.

Такое ценообразование делает модель особенно привлекательной для стартапов и малых команд, которые хотят использовать мощные ИИ-возможности без огромных затрат на инфраструктуру. Цена остается фиксированной вне зависимости от нагрузки.

Для сравнения, закрытые конкуренты часто взимают в 2-3 раза больше за аналогичные объемы, что делает Mixtral 8x7B отличным выбором для долгосрочных проектов.

Нет обязательного минимального платежа или сложных тарифных планов — цена прозрачна и предсказуема.

• Вход: $0.54/M токенов
• Выход: $0.54/M токенов
• Нет скрытых платежей
• Прогнозируемая стоимость

Сравнение с конкурентами

Mixtral 8x7B превосходит многих конкурентов по соотношению цена-качество. Ее архитектура MoE обеспечивает высокую производительность при относительно низких вычислительных затратах.

Сравнивая с Llama 2 70B, Mixtral 8x7B имеет значительно меньше активных параметров, но при этом превосходит по многим метрикам благодаря своей архитектуре. Она также имеет более длинное контекстное окно.

В отличие от закрытых моделей, таких как GPT-3.5, Mixtral 8x7B полностью открыта для коммерческого использования и модификации, что делает ее уникальной в своем классе.

Модель также опережает другие открытые решения по эффективности использования памяти и скорости вывода.

Примеры использования

Mixtral 8x7B идеально подходит для задач программирования, где ее способности к анализу кода и генерации решений особенно выражены. Модель может использоваться для автоматизации написания кода, рефакторинга и исправления ошибок.

В задачах RAG (Retrieval-Augmented Generation) модель показывает отличные результаты благодаря длинному контекстному окну и способности к пониманию сложных документов. Это делает ее полезной для корпоративных приложений.

Для чат-ботов и ассистентов модель предлагает высокое качество диалога и быструю реакцию, что важно для пользовательского опыта. В задачах логического мышления и рассуждения она также демонстрирует сильные результаты.

Модель также может использоваться в системах автоматического суммирования, анализа тональности и других NLP-задачах.

• Генерация и анализ кода
• RAG-системы
• Чат-боты и ассистенты
• Логические рассуждения
• Обработка длинных документов

Начало работы

Доступ к Mixtral 8x7B можно получить через официальный API Mistral AI, который предоставляет простые в использовании эндпоинты для интеграции в любые приложения. Документация включает примеры на Python, JavaScript и других языках.

Модель также доступна через популярные платформы, такие как Hugging Face, где можно скачать веса и запустить локально. Это особенно полезно для проектов с требованиями к безопасности данных.

Для быстрого старта рекомендуется использовать SDK Mistral AI, который упрощает интеграцию и управление вызовами API. Также предоставляются готовые примеры для различных сценариев использования.

Сообщество активно развивает плагины и инструменты для интеграции модели в различные фреймворки и приложения.

• Официальный API с документацией
• Доступ через Hugging Face
• SDK для Python и других языков
• Примеры интеграции

Comparison

Model: Mixtral 8x7B | Context: 32K | Max Output: 8192 | Input $/M: $0.54 | Output $/M: $0.54 | Strength: High performance MoE

Model: Llama 2 70B | Context: 4K | Max Output: 2048 | Input $/M: $2.00 | Output $/M: $2.00 | Strength: Large dense model

Model: GPT-3.5 | Context: 16K | Max Output: 4096 | Input $/M: $1.50 | Output $/M: $2.00 | Strength: Proprietary, strong

Model: Mistral 7B | Context: 32K | Max Output: 8192 | Input $/M: $0.20 | Output $/M: $0.20 | Strength: Efficient base model

API Pricing — Input: $0.54 / Output: $0.54 / Context: 32K tokens

Sources