Model Releases
GPT-NeoX 20B : Le modèle open-source qui a changé la donne pour les LLM locaux
Découvrez comment le modèle open-source GPT-NeoX d'EleutherAI a révolutionné l'écosystème des grands modèles linguistiques en démontrant que les LLM locaux pouvaient rivaliser avec GPT-3.
14 avril 2022
Model ReleaseGPT-NeoX
Introduction
Le 14 avril 2022, EleutherAI lançait GPT-NeoX-20B, un modèle de langage à 20 milliards de paramètres qui allait bouleverser l'écosystème open-source des grands modèles linguistiques. Ce modèle représentait une avancée majeure dans la mission d'EleutherAI visant à démocratiser l'accès aux grands modèles de langage, offrant une alternative sérieuse aux modèles propriétaires comme ceux d'OpenAI.
GPT-NeoX-20B a marqué un tournant historique en fournissant la première preuve concrète que des modèles open-source pouvaient atteindre des performances comparables à celles de GPT-3, ouvrant ainsi la voie à l'écosystème actuel des modèles open-source. Cette percée a permis aux développeurs et chercheurs du monde entier d'expérimenter avec des modèles de grande taille sans dépendre des API propriétaires.
Conçu comme un précurseur essentiel de l'écosystème open-source moderne, GPT-NeoX a établi des normes techniques et architecturales qui influencent encore aujourd'hui le développement des modèles open-source. Son impact s'étend bien au-delà de sa simple publication, inspirant des dizaines de modèles dérivés et contribuant à l'évolution des frameworks d'entraînement distribué.
L'importance de ce modèle réside non seulement dans ses capacités techniques, mais aussi dans sa philosophie fondamentale d'ouverture et de transparence, permettant à la communauté de reproduire, modifier et améliorer librement les résultats de recherche.
Caractéristiques clés et architecture
GPT-NeoX-20B est construit sur une architecture transformer autoregressive avec 20 milliards de paramètres, positionnant ce modèle au niveau des plus grands modèles de l'époque. L'implémentation repose sur les bibliothèques Megatron et DeepSpeed, optimisées pour l'entraînement parallèle sur GPU, ce qui permet une scalabilité exceptionnelle dans des environnements distribués.
L'une des innovations majeures de GPT-NeoX est son tokenizer spécialement conçu, qui attribue des tokens supplémentaires aux caractères d'espacement. Cette approche rend le modèle particulièrement performant pour la génération de code et les tâches nécessitant une gestion précise des espaces et de la structure du texte.
L'architecture supporte le parallélisme de modèle, permettant de distribuer efficacement les calculs sur plusieurs GPU. Cette caractéristique est cruciale pour l'entraînement de modèles de cette taille, car elle permet de contourner les limitations de mémoire des cartes graphiques individuelles.
Le modèle dispose d'une fenêtre contextuelle de 2048 tokens, suffisante pour la plupart des applications pratiques tout en maintenant des temps de réponse raisonnables. La version 2.0 de GPT-NeoX prend en charge les fonctionnalités avancées de DeepSpeed, y compris l'apprentissage par curriculum et l'autotuning.