Model Releases
Vicuna 13B : Le modèle open-source qui rivalise avec ChatGPT
Découvrez Vicuna 13B, le modèle open-source de LMSYS qui atteint 90% de la qualité de ChatGPT grâce au fine-tuning de LLaMA sur des conversations ShareGPT.
30 mars 2023
Model ReleaseVicuna
Introduction
Dans un paysage dominé par les modèles propriétaires, LMSYS a lancé Vicuna 13B en mars 2023, marquant une percée significative dans l'univers des grands modèles linguistiques open-source. Ce modèle conversationnel gratuit et accessible publiquement a été conçu pour combler le fossé entre les performances des modèles commerciaux et la transparence du code ouvert.
Vicuna s'est distingué en atteignant environ 90% de la qualité de ChatGPT selon les évaluations préliminaires utilisant GPT-4 comme juge. Cette réalisation impressionnante a été obtenue en affinant LLaMA à partir de conversations utilisateur partagées provenant de ShareGPT, démontrant ainsi le potentiel des données de dialogue crowdsourcées pour améliorer les capacités conversationnelles.
Le développement de Vicuna représente un effort concerté de la communauté open-source pour démocratiser l'accès aux technologies d'intelligence artificielle avancées. En fournissant un modèle performant gratuitement, LMSYS permet aux chercheurs, développeurs et startups d'expérimenter sans les contraintes financières liées aux API propriétaires.
Cette initiative s'inscrit dans la mission plus large de LMSYS de promouvoir la recherche ouverte et transparente en matière de grands modèles linguistiques, encourageant la collaboration et l'innovation dans le domaine de l'IA.
Caractéristiques clés et architecture
Vicuna 13B est construit sur l'architecture fondamentale de LLaMA (Large Language Model Meta AI) avec des améliorations spécifiques pour les interactions conversationnelles. Le modèle comprend 13 milliards de paramètres, ce qui lui confère une capacité de traitement et de compréhension linguistique substantielle tout en restant relativement léger pour un déploiement local.
Le processus de fine-tuning a utilisé environ 125 000 conversations collectées depuis ShareGPT.com, fournissant un ensemble de données riche en dialogues multiconversationnels naturels. Cette approche permet au modèle de mieux saisir le contexte des échanges humains et de produire des réponses plus cohérentes et naturelles.
Le modèle prend en charge des fenêtres de contexte allant jusqu'à 2048 tokens, ce qui est suffisant pour la plupart des interactions conversationnelles quotidiennes. Les versions ultérieures ont même étendu cette capacité à 16K tokens dans certaines variantes, permettant des conversations plus longues et des tâches de traitement de documents plus complexes.
Vicuna est disponible en plusieurs tailles, notamment les versions 7B et 13B, permettant aux utilisateurs de choisir selon leurs besoins en puissance de calcul et en précision. La version 1.5 a introduit des améliorations supplémentaires par rapport à la version initiale.