Mistral AI Magistral Small 1.2: Мультимодальное рассуждение с открытым кодом

• Контекстное окно: 128k токенов
• Языковая поддержка: 24 языка
• Формат весов: Safetensors
• Визуальный энкодер: Интегрирован

Производительность и бенчмарки

Согласно официальным данным, Magistral Small 1.2 демонстрирует более чем 10% прирост производительности по сравнению с версией 1.1 на ключевых бенчмарках. В тесте MMLU (Massive Multitask Language Understanding) модель набрала 85.2 балла, что ставит её в топ среди моделей с аналогичным количеством параметров. На HumanEval, тесте на генерацию кода, показатели выросли с 65% до 72%, что подтверждает её пригодность для задач программирования.

Визуальные бенчмарки, такие как ScienceQA и DocVQA, показывают впечатляющие результаты. Модель способна извлекать данные из научных статей и технических документов, а также анализировать сложные схемы. Это важно для RAG-систем, где требуется извлечение информации из неструктурированных источников.

Скорость генерации токенов (Time to First Token) улучшена благодаря оптимизации ядра. На GPU NVIDIA A100 модель обрабатывает запросы быстрее конкурентов, обеспечивая плавный пользовательский опыт даже при высоких нагрузках. Это делает её идеальной для продакшн-систем, где задержка является критическим фактором.

• MMLU: 85.2 баллов
• HumanEval: 72%
• Прирост vs 1.1: +10%
• SWE-bench: 45%

Стоимость API и доступность

Для разработчиков, использующих облачный API Mistral AI, тарификация остается конкурентной. Стоимость ввода составляет $0.25 за миллион токенов, а вывод — $0.75 за миллион токенов. Это значительно дешевле, чем аналогичные решения от крупных игроков рынка, при этом качество не уступает моделям с большим количеством параметров.

Существует бесплатный тарифный план для тестирования и разработки, который позволяет использовать до 500 запросов в день. Для коммерческих проектов доступна оптимизированная тарификация, которая позволяет экономить до 40% при работе с большими объёмами данных. Это делает модель доступной как для стартапов, так и для крупных корпораций.

Лицензия Apache 2.0 позволяет использовать модель бесплатно для любых целей, включая коммерческие. Это снимает вопросы о скрытых платежах за каждый запрос при локальном развертывании. Разработчики могут развернуть модель самостоятельно, используя vLLM или другие инструменты инференса, не платя за облачные ресурсы Mistral.

• Input Price: $0.25 / 1M tokens
• Output Price: $0.75 / 1M tokens
• Free Tier: 500 запросов/день
• Локальное развертывание: Бесплатно

Сравнение с конкурентами

Magistral Small 1.2 выделяется среди конкурентов благодаря сочетанию низкой стоимости и мультимодальных возможностей. В отличие от Llama 3.1 8B, которая не имеет встроенного визуального энкодера, Magistral 1.2 готова к работе с изображениями сразу после загрузки. Также она превосходит Gemma 2 9B по бенчмаркам рассуждений и имеет более гибкую лицензию.

Таблица ниже демонстрирует ключевые различия между моделями. Magistral Small 1.2 занимает лидирующие позиции по соотношению цена/качество, особенно в задачах, требующих анализа изображений и кода. Это делает её предпочтительным выбором для агентных систем и приложений с мультимодальным интерфейсом.

• Лучшая цена для Small моделей
• Встроенный Vision
• Apache 2.0 лицензия
• Высокая скорость инференса

Случаи использования

Идеальный сценарий использования — создание автономных агентов, способных анализировать скриншоты интерфейсов и выполнять действия. Например, в системах поддержки пользователей модель может видеть ошибку на экране и предлагать решение. В сфере образования это позволяет создавать системы, которые проверяют домашние задания, анализируя как текст, так и рукописные записи.

Разработчики могут использовать Magistral для RAG-систем, где требуется индексация технической документации. Модель способна извлекать смысл из диаграмм и схем, что критично для IT-компаний. Также она подходит для генерации кода с визуальным контекстом, например, при создании веб-интерфейсов по макетам.

В области безопасности модель может анализировать подозрительные файлы или изображения, выявляя угрозы. Благодаря Apache 2.0 лицензии, её можно интегрировать в корпоративные системы безопасности без дополнительных соглашений.

• Автономные агенты
• RAG с визуальными данными
• Генерация кода по макетам
• Анализ безопасности

Начало работы

Получить модель можно на платформе Hugging Face по адресу mistralai/Magistral-Small-2509. Для локального запуска рекомендуется использовать vLLM или llama.cpp. Веса доступны в формате Safetensors, что обеспечивает быструю загрузку в памяти.

API ключи можно получить в панели разработчика Mistral AI. Документация содержит примеры кода на Python, демонстрирующие интеграцию с библиотеками LangChain и LlamaIndex. Это упрощает создание сложных рабочих процессов с использованием модели.

Для максимального ускорения рекомендуется использовать квантованные версии модели. Они занимают меньше памяти и обеспечивают сопоставимую точность, что идеально для серверов с ограниченными ресурсами.

• Hugging Face: mistralai/Magistral-Small-2509
• Инструменты: vLLM, llama.cpp
• Документация: docs.mistral.ai
• Квантование: Доступно

Comparison

Model: Magistral Small 1.2 | Context: 128k | Max Output: 8k | Input $/M: $0.25 | Output $/M: $0.75 | Strength: Vision + Reasoning

Model: Llama 3.1 8B | Context: 128k | Max Output: 8k | Input $/M: $0.20 | Output $/M: $0.60 | Strength: Text Only

Model: Gemma 2 9B | Context: 8k | Max Output: 8k | Input $/M: $0.30 | Output $/M: $0.90 | Strength: Multilingual

Model: Claude 3.5 Sonnet | Context: 200k | Max Output: 4k | Input $/M: $3.00 | Output $/M: $15.00 | Strength: Enterprise

API Pricing — Input: $0.25 / Output: $0.75 / Context: 128k

Sources