GeWu-Lab представила Gestalt — унифицированную мультимодальную модель с архитектурой discrete diffusion, способную к бесшовному обмену данными между модальностями.

28 сентября 2026 года исследовательская группа GeWu-Lab из Народного университета Китая (Renmin University of China) совершила значительный шаг в области мультимодального ИИ, выпустив модель Gestalt. В отличие от традиционных систем, которые используют отдельные энкодеры и декодеры для разных типов данных, Gestalt представляет собой истинную any-to-any модель, объединяющую понимание и генерацию в едином контуре.
Название модели отсылает к гештальт-психологии, подчеркивая концепцию того, что целое больше суммы его частей. В контексте архитектуры это означает, что модель не просто обрабатывает текст и изображения по отдельности, а достигает синергии между модальностями через единый механизм взаимодействия. Выпуск весов под лицензией Apache 2.0 делает этот инструмент доступным для широкого круга разработчиков и исследователей.
Архитектура Gestalt построена на унифицированном фреймворке дискретной диффузии (discrete diffusion framework). Ключевым инновационным элементом являются обучаемые токены взаимодействия (learnable interplay tokens), которые выступают посредниками при кросс-модальном обмене. Процесс моделирования организован в виде «мультимодальной пирамиды взаимодействия», которая проходит три этапа: специфичное для каждой модальности моделирование, кросс-модальное выравнивание и, наконец, мультимодальная синергия.
Модель имеет суммарный объем 8.75 миллиардов параметров (8B основных параметров + 0.6B вспомогательных), распределенных по 32 слоям. Скрытый размер (hidden size) составляет 4096, а размер словаря — 142,848 токенов. Максимальная длина последовательности ограничена 4,096 токенами. Для работы с изображениями и кодирования используется специализированный визуальный токенизатор IBQ (TencentARC/IBQ-Tokenizer-16384).
Обучение Gestalt проходило в три этапа в рамках структурированной учебной программы (curriculum learning). Сначала модель прошла мультимодальное претренирование на 70 миллионах образцов с использованием совместного маскированного предсказания (joint masked prediction). Затем следовал этап непрерывного претренирования (continual pretraining) на 8 миллионах дополнительных данных.
Заключительным этапом стало контролируемое тонкое обучение (SFT) на 13.7 миллионах примеров. Важной частью этого этапа стали 2.5 миллиона пар 'текст-изображение', распределенных по четырем категориям взаимодействия. Такой многоступенчатый подход позволил модели не только понимать контекст, но и нативно генерировать визуальный контент.
Наиболее впечатляющие результаты Gestalt показала в специализированном тесте Contra Labs Frontier Design Benchmark. В ходе слепого тестирования 68 профессиональных дизайнеров на 33 реальных клиентских брифах модель набрала 1,931 Elo. Это превосходит как человеческий «золотой стандарт» (1,739 Elo), так и показатели Claude Fable 5.2 (1,713 Elo). Важно отметить, что преимущество Gestalt заключается в нативной генерации изображений, в то время как конкуренты-LLM вынуждены рендерить HTML/CSS для визуализации.
Однако разработчикам следует проявлять осторожность при интерпретации этих данных. Тест является односторонним (single-operator leaderboard), а выборка из 33 брифов относительно мала. На текущий момент в карточке модели (model card) отсутствуют стандартные мультимодальные метрики, такие как MME или MMMU; оценка в дизайне является единственным публичным сигналом производительности. На данный момент модель имеет низкий уровень внедрения (около 101 загрузки в месяц) и не имеет провайдеров хостинга.
На данный момент Gestalt является исследовательским проектом и не имеет официального API от провайдеров облачных вычислений. Модель доступна для локального развертывания через Hugging Face и GitHub. В связи с отсутствием коммерческого API, стоимость использования через сторонние сервисы на текущий момент не определена.
Благодаря своей архитектуре any-to-any, Gestalt наиболее эффективна в задачах, требующих тесного взаимодействия между визуальными и текстовыми данными. Это делает её идеальным кандидатом для инструментов автоматизированного дизайна, где модель может не только описывать концепт, но и мгновенно генерировать визуальные прототипы.
Также модель перспективна для создания мультимодальных агентов, способных работать с интерфейсами, и систем RAG (Retrieval-Augmented Generation), где необходимо извлекать и сопоставлять информацию из различных типов медиафайлов одновременно.
Для разработчиков модель доступна в формате unsharded checkpoint весом около 17.5 ГБ. Для запуска необходимо использовать библиотеку `transformers` с параметром `trust_remote_code=True`, так как для работы требуется специфический токенизатор IBQ от TencentARC. Демо-версия доступна в Hugging Face Spaces для быстрого тестирования возможностей модели без настройки локального окружения.