Découvrez Gestalt, le nouveau modèle multimodal de GeWu-Lab capable de compréhension et de génération unifiée grâce à un framework de diffusion discret.

Le paysage de l'intelligence artificielle multimodale franchit une nouvelle étape avec la sortie de Gestalt, un modèle 'any-to-any' développé par GeWu-Lab de l'Université Renmin de Chine. Contrairement aux architectures classiques qui séparent souvent la compréhension de la génération, Gestalt propose une approche unifiée où les modalités s'interpénètrent de manière fluide.
Lancé le 28 septembre 2026 sous licence Apache 2.0, ce modèle ne se contente pas de traiter du texte ou des images de manière isolée. Il cherche à reproduire la synergie cognitive évoquée par la psychologie de la forme (Gestalt), en permettant un échange cross-modal profond via des tokens d'interaction apprenables.
L'architecture de Gestalt repose sur un framework de diffusion discret unifié. Le cœur du système utilise une 'pyramide d'interaction multimodale' qui guide le modèle à travers trois phases critiques : la modélisation spécifique à chaque modalité, l'alignement cross-modal, et enfin la synergie multimodale.
Avec un total de 8,75 milliards de paramètres (répartis en 8B pour le noyau et 0,6B pour les composants spécialisés), le modèle dispose de 32 couches et d'une taille de cache (hidden size) de 4096. Le vocabulaire étendu de 142 848 tokens permet une gestion précise des différentes entrées, tandis que la fenêtre de contexte est fixée à 4 096 tokens.
Pour la partie vision, Gestalt s'appuie sur le tokenizer IBQ (TencentARC/IBQ-Tokenizer-16384), essentiel pour l'encodage et la génération d'images de haute fidélité.
Le processus d'apprentissage de Gestalt suit un curriculum rigoureux en trois phases. Il a d'abord subi un pré-entraînement multimodal sur 70 millions d'échantillons avec une prédiction masquée conjointe, suivi d'un pré-entraînement continu sur 8 millions d'échantillons supplémentaires. Enfin, un fine-tuning supervisé (SFT) a été réalisé sur 13,7 millions d'échantillons, incluant 2,5 millions de paires texte-image.
Sur le plan des performances, Gestalt a marqué les esprits en dominant le benchmark 'Contra Labs Frontier Design' avec un score Elo de 1 931. Ce score surpasse la référence humaine (1 739) ainsi que le modèle Claude Fable 5.2 (1 713). Ce test, basé sur 4 311 votes en aveugle de 68 designers professionnels sur 33 briefs clients réels, souligne la capacité créative du modèle.
Toutefois, les ingénieurs doivent rester prudents : ce benchmark est spécifique au design et ne reflète pas nécessairement les capacités générales sur des tests standards comme MME ou MMMU, qui ne figurent pas encore sur la fiche technique du modèle. De plus, l'avantage de Gestalt provient de sa capacité de génération native, là où ses concurrents LLM se contentent souvent de générer du code HTML/CSS.
À l'heure actuelle, Gestalt est principalement une sortie de recherche. Il n'existe pas encore de fournisseur d'inférence hébergé (hosted inference provider) proposant des services API commerciaux pour ce modèle spécifique.
Les développeurs souhaitant l'utiliser doivent déployer les poids open-source sur leur propre infrastructure ou utiliser des instances GPU privées. Aucun tarif public n'est donc disponible pour une utilisation via API tierce.
Grâce à sa nature any-to-any, Gestalt ouvre des perspectives fascinantes pour le design génératif et la création de contenu multimodal. Sa capacité à comprendre des instructions complexes et à produire des visuels natifs en fait un outil de choix pour les agents de création assistée par IA.
Il est également pertinent pour les tâches de raisonnement visuel complexe et l'interrogation de documents hybrides (texte et image), bien que sa fenêtre de contexte de 4 096 tokens limite son usage pour des documents extrêmement longs ou des architectures RAG massives.
Pour les développeurs, l'accès à Gestalt est direct via les plateformes de recherche. Le modèle peut être chargé via la bibliothèque `transformers` en utilisant l'option `trust_remote_code=True` en raison de sa structure personnalisée.
Vous pouvez retrouver le code de recherche, les poids du modèle et une démo interactive sur Hugging Face et GitHub. Le papier de recherche complet est disponible sur arXiv (2610.00576).