ByteDance представила Bagel, новую унифицированную мультимодальную модель с открытыми весами, которая демонстрирует выдающиеся способности в редактировании и понимании визуального контента.
1 мая 2025 года компания ByteDance совершила значительный прорыв в области открытого искусственного интеллекта, представив Bagel. Это не просто очередная модель генерации изображений, а полноценная унифицированная мультимодальная модель (Unified Multimodal Model), способная одновременно понимать визуальный контекст и генерировать высококачественный графический контент.
Для разработчиков и AI-инженеров выход Bagel означает доступ к технологиям, которые ранее были прерогативой закрытых проприетарных систем. Модель ориентирована на решение сложных задач, где требуется не просто создание картинки по текстовому запросу (Text-to-Image), а глубокое взаимодействие с уже существующим визуальным рядом, включая интеллектуальное редактирование и детальный анализ сцен.
В основе Bagel лежит продвинутая архитектура, использующая механизм Mixture-of-Experts (MoE). Это позволяет модели эффективно распределять вычислительные ресурсы, активируя только необходимые экспертные слои для конкретной задачи. Например, при анализе сложной диаграммы задействуются одни параметры, а при генерации художественного стиля — другие, что оптимизирует как скорость, так и точность.
Одной из самых интересных конфигураций является Bagel 14B MoE, где всего 7B параметров активны в каждый момент времени. Такой подход обеспечивает производительность, сопоставимую с гораздо более тяжелыми моделями, при сохранении высокой эффективности инференса. Модель поддерживает работу с широким контекстным окном, что критически важно для мультимодальных задач, требующих анализа нескольких изображений или длинных описаний одновременно.
Bagel демонстрирует впечатляющие результаты, особенно в задачах, требующих тонкого понимания визуальных нюансов. Согласно данным Artificial Analysis, модель набрала 601 балл Elo на доске T2I (Text-to-Image). Важно отметить, что её главная сила заключается не в чистой генерации «с нуля», а в способностях к пониманию и редактированию изображений (Image Understanding & Editing).
В сравнении с другими открытыми VLM (Vision Language Models), такими как Qwen2.5-VL и InternVL-2.5, Bagel показывает превосходство на стандартных мультимодальных бенчмарках. Более того, модель была упомянута в анонсе GLM-Image от Z.ai как прямой конкурент в категории открытых моделей для редактирования изображений. Это подтверждает статус Bagel как серьезного игрока в сегменте open-source мультимодальных решений.
На данный момент основной способ использования Bagel для исследователей — это локальное развертывание весов, полученных с Hugging Face. Поскольку модель является open-weights, стоимость использования зависит исключительно от вашей собственной инфраструктуры (GPU/Cloud).
Для разработчиков, использующих облачные платформы, доступ к весам осуществляется через gated-доступ на Hugging Face, что требует подтверждения условий использования. Прямого публичного API от ByteDance с фиксированной ценой за токен на момент релиза не заявлено, однако архитектура MoE делает модель крайне привлекательной для хостинга на собственных серверах с минимальными затратами на инференс.
Благодаря своей гибридной природе, Bagel открывает широкие возможности для создания сложных AI-агентов. В отличие от специализированных моделей, Bagel может выступать в роли единого интерфейса, который и «видит» мир, и «создает» его элементы.
Наиболее перспективные области применения включают: интеллектуальное редактирование контента (In-painting/Out-painting на основе инструкций), автоматическую генерацию описаний для RAG-систем с визуальным контентом, а также создание мультимодальных чат-ботов, способных обсуждать детали изображений и изменять их в реальном времени.
Чтобы начать работу с Bagel, вам необходимо получить доступ к весам через Hugging Face. Обратите внимание, что веса являются 'gated', поэтому вам потребуется запросить доступ и дождаться одобрения от ByteDance.
После получения доступа вы сможете использовать стандартные библиотеки, такие как `transformers` от Hugging Face, для загрузки модели. Для эффективного запуска рекомендуется использовать библиотеки для оптимизации MoE-моделей, чтобы максимально задействовать преимущества архитектуры при инференсе.
API Pricing — Context: Self-hosted / Open Weights