IBM выпускает Granite Switch 4.1: модульную open-source модель с поддержкой речи и адаптеров

• Adapter set (8B): Decision (general-purpose) и Guardian-core (safety)
• Speech Engine: granite-speech-5.0-470m-turboctc
• Инструментарий: open-source granite-switch tool (GitHub)
• Поддержка бэкендов: Hugging Face Transformers и vLLM

Производительность и бенчмарки

Хотя детальные сравнительные таблицы MMLU и HumanEval для Switch 4.1 находятся в процессе публикации в официальном блоге Hugging Face, предварительные данные указывают на значительный прирост в задачах 'Decision Making' по сравнению с базовой версией Granite 4.1. Использование aLoRA позволяет достигать точности специализированных моделей при сохранении гибкости базовой архитектуры.

Оценка производительности проводилась с использованием стандартного набора бенчмарков для LLM, включая проверку логического вывода и точности следования инструкциям. Особое внимание уделялось задержке (latency) при переключении режимов через управляющие токены, которая оказалась минимальной благодаря отсутствию необходимости перезагрузки весов в VRAM.

• Эффективность: Высокая скорость переключения режимов без swap-операций
• Специализация: Превосходство в задачах принятия решений за счет адаптеров
• Методология: Оценка через управляющие токены в рамках единого инференса

Сценарии использования

Благодаря своей модульности, Granite Switch 4.1 открывает новые возможности для создания AI-агентов. Например, в корпоративных системах можно использовать один эндпоинт для обработки голосовых команд (через speech encoder), проверки их на соответствие политикам безопасности (через guardian-core) и выполнения бизнес-логики (через decision adapter).

Для разработчиков ПО модель подходит как для написания кода, так и для создания сложных RAG-пайплайнов, где требуется высокая точность извлечения информации из контекста 128K. Также предусмотрены превью-бандлы с полными библиотеками Granite (без аудио) в размерах 3B, 8B и 30B для более легковесных задач.

• Голосовые AI-ассистенты (Speech-to-Text + Chat)
• Корпоративные агенты с жестким контролем безопасности (Guardian)
• Системы принятия решений в реальном времени
• Сложные RAG-системы с большим контекстом

Быстрый старт

Начать работу с Granite Switch 4.1 можно прямо сейчас. Модели доступны на Hugging Face, а для автоматизации процесса композиции рекомендуется использовать официальный инструмент `granite-switch` с GitHub. Поддержка vLLM позволяет развернуть модель в промышленном масштабе с высокой пропускной способностью.

Для разработчиков, предпочитающих стандартные подходы, модели полностью совместимы с библиотекой Transformers. Все инструкции по сборке и конфигурации адаптеров находятся в репозиториях моделей.

• Репозиторий инструмента: github.com/generative-computing/granite-switch
• Платформы: Hugging Face, vLLM, Transformers
• Документация: BUILD.md в карточках моделей

Sources