PrismML выпускает Bonsai 2: семейство тернарных open-source моделей (2B–27B)

В специфических задачах, где обычные низкобитные представления обычно «коллапсируют», Bonsai 2 демонстрирует поразительную устойчивость. В математике (math) модель набрала 96.57 (разница менее 0.5 пункта с полной точностью), а в кодинге — 89.42, что соответствует базовой модели. Агентное поведение (tool calling) также остается на высоком уровне с результатом 74.92.

• Math: 96.57 (в пределах 0.5 от FP16)
• Coding: 89.42 (на уровне baseline)
• Agentic Tool Calling: 74.92
• Скорость на Apple M5 Max (27B): ~47 tok/s

Агентское кодирование и комьюнити

Сообщество уже начало массовое тестирование моделей. Только одна версия 27B GGUF набрала более 2.1 млн загрузок за первый месяц. Особого внимания заслуживает тест на агентское кодирование (PT1_0 setup): Bonsai 2 набрала 15 из 20 баллов в 20-задачном тесте, уступая официальному API Qwen3.8-27B всего на один балл (16/20). При этом Bonsai 2 работает на одной лишь потребительской видеокарте RTX 3060.

Такие результаты подтверждают, что тернарное квантование PrismML — это не просто способ сжатия, а способ сохранения сложной логики, необходимой для автономных агентов и написания кода в реальном времени.

• 2.1M+ загрузок 27B GGUF за месяц
• 15/20 в агентском кодинг-бенчмарке (PT1_0)
• Запуск сложных задач на одной RTX 3060

Сценарии использования

Благодаря своей компактности и высокой скорости, Bonsai 2 идеально подходит для ряда критических сценариев. Во-первых, это локальные AI-агенты, которым требуется высокая скорость отклика и способность вызывать инструменты (tool calling) без задержек облака. Во-вторых, это RAG-системы (Retrieval-Augmented Generation), развернутые на edge-устройствах, где важна приватность данных.

Разработчики мобильных приложений могут использовать модели 2B и 4B для создания умных ассистентов, работающих полностью offline. Для инженеров, занимающихся автоматизацией кодинга, модель 27B предоставляет мощный инструмент для локального автодополнения и рефакторинга кода, не требующий дорогостоящих серверных мощностей.

• Локальные AI-агенты и Tool Calling
• On-device RAG (приватность данных)
• Автоматизация написания кода (Coding Assistant)
• Edge AI для мобильных и IoT устройств

Как начать работу

Модели Bonsai 2 доступны для скачивания на Hugging Face и через репозитории GGUF. Для пользователей Apple Silicon рекомендуется использовать формат MLX для достижения максимальной производительности. Интеграция с llama.cpp позволяет запускать модели на любом оборудовании с поддержкой CUDA, Metal или даже на чистом CPU.

Для быстрой проверки производительности разработчики могут использовать готовые Docker-контейнеры с настроенным окружением для тестирования агентских способностей моделей.

• Форматы: GGUF (llama.cpp), MLX (Apple Silicon)
• Платформы: Hugging Face, GitHub
• Оборудование: от RTX 3060 до Apple M5 Max

Sources