Model Releases
MPT-7B : Le modèle open-source commercialisable qui révolutionne le paysage des LLM
Découvrez MPT-7B, le modèle de langage open-source de 7 milliards de paramètres de MosaicML, entraîné sur 1 trillion de tokens et disponible sous licence Apache 2.0.
5 mai 2023
Model ReleaseMPT-7B
Introduction
Le paysage des modèles de langage à grande échelle connaît une évolution majeure avec la sortie de MPT-7B par MosaicML en mai 2023. Ce modèle de 7 milliards de paramètres représente une avancée significative dans le domaine des modèles open-source commercialisables, offrant aux développeurs et entreprises une alternative puissante aux solutions propriétaires.
Conçu pour être à la fois performant et accessible, MPT-7B a été entraîné à partir de zéro sur un corpus impressionnant de 1 trillion de tokens de texte et de code, surpassant les limites traditionnelles des modèles de cette taille. Son importance réside non seulement dans ses capacités techniques mais aussi dans sa licence Apache 2.0, permettant une utilisation commerciale sans restrictions.
Ce modèle s'inscrit dans la série Foundation de MosaicML, démontrant que l'open-source peut rivaliser avec les meilleurs modèles du marché. La communauté des développeurs IA attendait ce type d'innovation qui combine excellence technique, transparence et liberté d'utilisation.
Avec son entraînement complet sur 1 trillion de tokens, MPT-7B établit une nouvelle référence pour les modèles de 7B paramètres, prouvant qu'une architecture soigneusement conçue et un entraînement approfondi peuvent produire des résultats comparables à ceux des modèles plus volumineux.
Caractéristiques Clés et Architecture
MPT-7B est un modèle de type transformer purement décodeur, comportant environ 6,7 milliards de paramètres effectifs. L'architecture intègre plusieurs innovations technologiques, notamment FlashAttention pour optimiser les calculs d'attention et ALiBi (Attention with Linear Biases) pour gérer efficacement des contextes étendus.
La capacité de contexte exceptionnelle du modèle atteint jusqu'à 65 000 tokens dans certaines variantes comme StoryWriter-65k+, bien que la version standard propose environ 2 048 tokens. Cette caractéristique ouvre des possibilités inédites pour les applications nécessitant des traitements de longs documents ou des conversations complexes.
Le modèle a été entraîné exclusivement sur un corpus de 1 trillion de tokens combinant texte anglais et code, ce qui lui confère des compétences solides à la fois en compréhension linguistique et en génération de code. L'absence de fine-tuning supervisé initial signifie que le modèle repose sur ses capacités fondamentales d'entraînement.
L'implémentation utilise des techniques d'optimisation mémoire avancées, permettant un déploiement sur des configurations GPU relativement modestes. La consommation mémoire est d'environ 13,3 GB pour un fonctionnement optimal, rendant le modèle accessible à un large éventail d'utilisateurs.