Model Releases
Alpaca 7B de Stanford : Comment un modèle open-source de 7 milliards de paramètres rivalise avec les géants du marché
Découvrez comment le modèle Alpaca 7B de Stanford, fine-tuné à partir de LLaMA sur 52 000 instructions générées par GPT-3.5, démontre que l'instruction tuning économique fonctionne.
13 mars 2023
Model ReleaseAlpaca
Introduction
Le 13 mars 2023, le Stanford Center for Research on Foundation Models (CRFM) a lancé Alpaca 7B, un modèle de langage open-source qui a révolutionné la compréhension de ce que l'on peut accomplir avec des techniques d'optimisation économiques. Ce modèle, basé sur LLaMA 7B de Meta, a été fine-tuné sur 52 000 démonstrations d'instructions pour transformer un modèle de base en un assistant conversationnel capable de suivre des instructions complexes.
Ce qui distingue Alpaca n'est pas seulement sa performance impressionnante, mais surtout son coût extrêmement faible de développement. Avec seulement 600 dollars de frais de calcul, les chercheurs de Stanford ont démontré que l'on pouvait obtenir des résultats comparables à ceux d'OpenAI's text-davinci-003, un modèle commercial bien plus coûteux à produire. Cela ouvre la voie à une démocratisation de l'accès aux modèles de langage avancés.
L'impact d'Alpaca sur la communauté open-source a été immédiat et profond. En fournissant non seulement le modèle fini mais aussi le code source, les données d'entraînement et les scripts nécessaires à sa reproduction, Stanford a permis à des milliers de développeurs et de chercheurs dans le monde entier de construire, expérimenter et améliorer ce travail fondamental.
Ce modèle représente un tournant majeur dans l'écosystème des grands modèles linguistiques, prouvant que des institutions académiques peuvent produire des modèles compétitifs avec des ressources limitées, tout en maintenant l'ouverture et la transparence.
Caractéristiques clés et architecture
Alpaca 7B est un modèle de langage à transformation de 7 milliards de paramètres, basé sur l'architecture LLaMA (Large Language Model Meta AI) originale. Cette architecture repose sur un modèle de type decoder-only avec attention multi-tête, optimisée pour des performances efficaces sur du matériel standard.
Le processus d'entraînement fine-tuning a utilisé un ensemble de 52 000 démonstrations d'instructions générées synthétiquement par OpenAI's text-davinci-003. Chaque exemple comprenait une instruction, une entrée (optionnelle), et une réponse attendue, permettant au modèle de comprendre comment répondre de manière utile et sûre aux demandes des utilisateurs.
Bien qu'Alpaca ne soit pas un modèle MoE (Mixture of Experts), il bénéficie d'une architecture optimisée qui permet un bon équilibre entre capacité de traitement et efficacité mémoire. Le contexte maximal n'a pas été officiellement spécifié, mais il hérite des capacités de LLaMA, généralement autour de 2048 tokens.
Le modèle est purement textuel, sans capacités multimodales, se concentrant sur la compréhension et la génération de texte de haute qualité dans une variété de domaines et de tâches d'instructions.