GeWu-Lab presenta Gestalt, un modelo de 8.75B parámetros basado en difusión discreta que unifica comprensión y generación multimodal bajo licencia Apache 2.0.

El panorama de la inteligencia artificial multimodal ha dado un giro significativo con el lanzamiento de Gestalt por parte de GeWu-Lab, un equipo de investigación de la Universidad Renmin de China. A diferencia de los modelos tradicionales que separan la comprensión (understanding) de la generación (generation), Gestalt propone un enfoque 'any-to-any', permitiendo una interacción fluida entre diferentes modalidades en un único marco unificado.
Lanzado el 28 de septiembre de 2026 bajo la licencia Apache 2.0, este modelo no solo busca procesar información, sino emular la integración sensorial humana. Su nombre, inspirado en la psicología de la Gestalt, hace referencia a la idea de que el todo es mayor que la suma de sus partes, un principio que rige su arquitectura de intercambio multimodal.
Gestalt se fundamenta en un marco de difusión discreta unificado (unified discrete diffusion framework). La clave de su capacidad para mediar el intercambio entre modalidades reside en el uso de 'interplay tokens' aprendibles, que actúan como puentes de comunicación entre los diferentes dominios de datos.
La arquitectura sigue una 'pirámide de interacción multimodal' (multimodal interplay pyramid) que organiza el aprendizaje en tres etapas críticas: modelado específico de cada modalidad, alineación cross-modal y, finalmente, la sinergia multimodal completa. Este proceso asegura que el modelo no solo traduzca entre formatos, sino que comprenda la semántica profunda de cada uno.
El entrenamiento de Gestalt ha seguido un currículo riguroso de tres fases para garantizar la robustez de sus capacidades. El proceso comenzó con un preentrenamiento multimodal masivo utilizando 70 millones de muestras mediante predicción conjunta enmascarada (joint masked prediction). Posteriormente, se aplicó un preentrenamiento continuo sobre 8 millones de muestras adicionales para refinar la cohesión entre modalidades.
La fase final consistió en un ajuste fino supervisado (SFT) con 13.7 millones de muestras. Un componente vital de esta etapa fue la inclusión de aproximadamente 2.5 millones de pares texto-imagen distribuidos en cuatro categorías de interacción, lo que permite al modelo transicionar con precisión entre la descripción y la creación visual.
En términos de rendimiento, Gestalt ha destacado notablemente en el Contra Labs Frontier Design Benchmark. En las evaluaciones realizadas entre el 19 y 20 de noviembre, el modelo alcanzó una puntuación de 1,931 Elo, superando tanto la referencia humana (1,739 Elo) como a modelos de vanguardia como Claude Fable 5.2 (1,713 Elo). Este benchmark se basó en 4,311 votos ciegos de 68 diseñadores profesionales que evaluaron el modelo frente a 33 briefs de clientes reales.
Es importante notar ciertas limitaciones en la evaluación actual. El modelo carece de resultados en benchmarks multimodales estándar como MME o MMMU en su documentación oficial. Además, la superioridad en diseño de Gestalt proviene de su capacidad para generar imágenes de forma nativa, mientras que sus competidores suelen recurrir a la renderización de HTML/CSS, lo que sugiere que su liderazgo en diseño no debe confundirse necesariamente con una capacidad general superior en todas las tareas de razonamiento.
Dada su naturaleza any-to-any, Gestalt abre un abanico de posibilidades para desarrolladores de agentes inteligentes y herramientas creativas. Su capacidad para integrar la generación de imágenes de forma nativa lo posiciona como un candidato ideal para herramientas de diseño asistido por IA y prototipado rápido.
También es altamente apto para tareas de comprensión visual compleja, donde la relación entre el texto y la imagen requiere una sinergia profunda, como en la generación de contenido multimedia automatizado o la asistencia en entornos de diseño industrial y gráfico.
Actualmente, Gestalt se encuentra en una fase de investigación temprana. Aunque los pesos han sido liberados bajo Apache 2.0, su adopción es todavía incipiente, con aproximadamente 101 descargas mensuales y sin proveedores de inferencia gestionada (hosted inference) disponibles en este momento.
Los desarrolladores pueden acceder al código de investigación y al demo a través de Hugging Face y GitHub. Para ejecutarlo localmente, se requiere el uso de la librería `transformers` con el parámetro `trust_remote_code=True`, debido a la implementación personalizada de su arquitectura.
A día de hoy, GeWu-Lab no ofrece un endpoint de API comercial para Gestalt, ya que el modelo se ha lanzado principalmente como un recurso de investigación académica. Por lo tanto, no existen tarifas de uso por millón de tokens definidas por el proveedor.