Model Releases
Pixtral 12B: Обзор новой мультимодальной модели Mistral AI
Mistral AI представила Pixtral 12B с 128K контекстом и лицензией Apache 2.0. Сравнение, цены и бенчмарки.
17 сентября 2024 г.
Model ReleasePixtral 12B
Введение: Что такое Pixtral 12B и почему это важно
Компания Mistral AI продолжает укреплять свои позиции на рынке искусственного интеллекта, представив новую модель Pixtral 12B, выпущенную 17 сентября 2024 года. Это событие знаменует собой значительный шаг вперед в области открытых мультимодальных решений, доступных для разработчиков и инженеров. В отличие от проприетарных аналогов, Pixtral 12B предлагает уникальное сочетание производительности и открытости, что делает её привлекательным выбором для внедрения в корпоративные системы.
Модель была разработана с учетом растущих требований к обработке длинных контекстов и визуальных данных. Поддержка нативного зрения позволяет модели не просто распознавать изображения, но и понимать сложные визуальные сценарии, интегрируя их с текстовыми данными. Это открывает новые горизонты для автоматизации процессов, где требуется глубокий анализ контента.
- Дата релиза: 17 сентября 2024 года
- Производитель: Mistral AI
- Категория: Мультимодальная модель
- Лицензия: Apache 2.0 (Open Source)
Ключевые особенности и архитектура
Pixtral 12B построена на архитектуре NeMo, что обеспечивает нативную поддержку визуальных данных без необходимости дополнительных модулей. Модель содержит 12 миллиардов параметров и использует механизмы MoE (Mixture of Experts) для повышения эффективности обучения и инференса. Это позволяет модели обрабатывать сложные задачи с минимальными затратами вычислительных ресурсов.
Одной из самых впечатляющих характеристик является окно контекста в 128K токенов. Это позволяет модели анализировать огромные объемы данных, включая длинные документы, видео и сложные кодовые базы. Такая глубина контекста критически важна для задач RAG (Retrieval-Augmented Generation) и агентских систем, требующих доступа к обширным знаниям.
- Параметры: 12B
- Архитектура: NeMo с нативным зрением
- Оконно контекста: 128K токенов
- Лицензия: Apache 2.0
Производительность и бенчмарки
В независимых тестах Pixtral 12B продемонстрировала результаты, сопоставимые с более тяжелыми моделями. На бенчмарке MMLU модель показала точность около 72%, что свидетельствует о высоком уровне понимания общих знаний. В задачах программирования на HumanEval модель достигла 85% успеха, подтверждая её пригодность для разработчиков.
Специально для мультимодальных задач были проведены тесты на SWE-bench и Math. Pixtral 12B показала значительное улучшение по сравнению с предыдущими версиями Pixtral, особенно в задачах, требующих связывания текста и изображений. Это делает её одним из лидеров в категории открытых моделей с поддержкой зрения.