Black Forest Labs franchit une étape majeure dans l'IA physique avec FLUX 3 Action, un modèle de 7 milliards de paramètres capable de prédire des actions robotiques à partir de flux vidéo et d'instructions textuelles.

Le 22 septembre 2026 marque un tournant pour la robotique pilotée par l'intelligence artificielle. Black Forest Labs (BFL), le laboratoire allemand déjà célèbre pour ses modèles de génération d'images et de vidéos, vient de dévoiler FLUX 3 Action. Ce n'est pas simplement une extension de sa suite logicielle, mais le premier modèle de la famille FLUX 3 disponible en open-weights, spécifiquement conçu pour transformer la perception visuelle en exécution motrice.
Alors que l'industrie cherche désespérément à combler le fossé entre les grands modèles de langage (LLM) et l'interaction physique, FLUX 3 Action propose une solution concrète. En tant que 'World Action Model' (WAM), il ne se contente pas de comprendre le monde ; il prédit comment le monde réagira à une intervention physique, offrant ainsi une base robuste pour la prochaine génération d'agents robotiques autonomes.
L'architecture de FLUX 3 Action repose sur une fusion sophistiquée de la vision et de la commande textuelle. Contrairement aux modèles de contrôle traditionnels qui reposent sur des scripts rigides, FLUX 3 Action utilise une approche de prédiction séquentielle. Le modèle prend en entrée une frame vidéo (observation de la caméra) ainsi qu'une instruction textuelle naturelle (ex: 'Prends la tasse rouge et déplace-la vers la gauche').
Le cœur du système repose sur une synergie entre un modèle de génération vidéo et un modèle de dynamique inverse (Inverse Dynamics Model - IDM). Le premier prédit l'évolution visuelle de l'environnement suite à une action potentielle, tandis que le second traduit ces changements visuels en commandes motrices précises. Cette capacité permet au modèle de prédire les 2 prochaines secondes d'action de manière fluide et cohérente avec les lois de la physique.
FLUX 3 Action redéfinit les standards de l'efficacité en robotique. Les premiers tests montrent que le modèle surpasse ses concurrents directs tout en affichant une taille de paramètres deux fois moindre. Cette compacité est cruciale pour le déploiement sur l'edge, directement sur le matériel embarqué des robots, réduisant ainsi la latence de décision.
L'évaluation a été menée sur des datasets de manipulation d'objets complexes et de navigation en environnement non structuré. Les benchmarks mettent en avant une précision de trajectoire supérieure et une capacité de généralisation remarquable face à des objets jamais vus lors de l'entraînement. Le modèle a été testé via des simulations physiques haute fidélité avant d'être validé sur des plateformes réelles comme le SO-101, garantissant une transition fluide du 'sim-to-real'.
L'un des aspects les plus révolutionnaires de cette sortie est la nature 'open weights' du modèle. Black Forest Labs a opté pour un déploiement progressif de la famille FLUX 3, et FLUX 3 Action est la première étape non restreinte (non-gated). Cela signifie que les développeurs peuvent télécharger les poids directement sur Hugging Face pour un déploiement local ou sur leurs propres infrastructures.
Pour ceux qui préfèrent une solution managée via API, les coûts restent compétitifs, bien que la nature open-source du modèle encourage principalement l'auto-hébergement pour les applications industrielles nécessitant une latence ultra-faible.
Les applications de FLUX 3 Action sont vastes et touchent plusieurs secteurs de pointe. Pour les ingénieurs en robotique, il s'agit d'un moteur de contrôle capable de gérer des tâches de manipulation fine sans nécessiter de programmation explicite de chaque mouvement. C'est l'outil idéal pour créer des agents capables d'apprendre par l'observation et l'instruction.
Dans le domaine de la logistique et de l'industrie 4.0, ce modèle peut être utilisé pour automatiser des processus de tri complexes dans des entrepôts où les objets sont disposés de manière aléatoire. Les chercheurs en IA peuvent également s'en servir comme base pour explorer de nouvelles méthodes d'apprentissage par renforcement (Reinforcement Learning) grâce à sa capacité de prédiction de monde.
Le déploiement de FLUX 3 Action est immédiat. Les développeurs peuvent se rendre sur Hugging Face pour récupérer les checkpoints de base ou les variantes spécifiques aux robots Droid et SO-101. L'annonce conjointe sur bfl.ai et le blog de Hugging Face fournit une documentation technique complète pour l'intégration.
Pour une utilisation optimale, il est recommandé d'utiliser les variantes pré-entraînés correspondant à votre hardware spécifique. L'écosystème Black Forest Labs est conçu pour faciliter l'intégration dans les pipelines de vision par ordinateur existants.
API Pricing — Context: Modèle Open Weights disponible gratuitement sur Hugging Face