DeepSeek-VL : La nouvelle frontière de l'IA multimodale Open-Source

Introduction : L'éveil de la vision chez DeepSeek

Le paysage de l'intelligence artificielle connaît une accélération fulgurante, et le 7 mars 2024 a marqué une étape cruciale avec la sortie de DeepSeek-VL. Alors que la plupart des modèles de pointe se concentrent sur la performance pure via des API fermées, DeepSeek fait le pari de l'open-source avec une famille de modèles vision-langage (VLM) conçue pour le monde réel.

L'enjeu est de taille : comment permettre à une machine non seulement de 'lire' du texte dans une image (OCR), mais de véritablement comprendre le contexte visuel, les relations spatiales et les nuances d'une scène complexe ? DeepSeek-VL répond à ce défi en proposant des modèles légers mais extrêmement robustes, capables de rivaliser avec des architectures beaucoup plus lourdes.

• Date de sortie : 7 mars 2024
• Nature : Modèle multimodal Open-Source
• Objectif : Compréhension visuelle contextuelle plutôt que simple OCR

Architecture et Spécifications Techniques

L'innovation majeure de DeepSeek-VL réside dans son encodeur de vision hybride. Contrairement aux approches classiques qui utilisent un encodeur unique, DeepSeek combine la puissance de SAM (Segment Anything Model) avec le ViT-H et l'efficacité de CLIP avec le ViT-L. Cette fusion permet une granularité de perception exceptionnelle.

Ces deux encodeurs sont entraînés conjointement avec le modèle de langage, assurant une alignement parfait entre les tokens visuels et les tokens textuels. Le modèle est disponible en deux variantes stratégiques pour répondre à différents besoins de déploiement : une version 1.3B pour l'edge computing et une version 7B pour des performances de haut niveau.

• Variantes de paramètres : 1.3B et 7B (versions Chat disponibles)
• Encodeur de vision : Hybride SAM ViT-H + CLIP ViT-L
• Entraînement : Alignement conjoint Vision-Langage
• Disponibilité : Open-source

Performance : Au-delà du simple OCR

La plupart des modèles multimodaux actuels brillent sur les benchmarks d'OCR (Reconnaissance Optique de Caractères), mais échouent dès qu'il s'agit de raisonnement visuel. DeepSeek-VL a été spécifiquement entraîné pour éviter ce piège. L'accent est mis sur la compréhension de scènes réelles, la description d'images et l'interaction complexe entre le texte et le visuel.

Un point crucial pour les ingénieurs : l'intégration de la vision ne dégrade pas les capacités linguistiques. Grâce à un mix de données soigneusement sélectionné, le modèle VL Chat conserve une compétitivité impressionnante en tant que LLM pur, évitant le phénomène de 'catastrophic forgetting' souvent observé lors de l'ajout de nouvelles modalités.