Model Releases
StarCoder 2 : La Révolution des Modèles de Code Open Source avec 3B, 7B et 15B Paramètres
Découvrez StarCoder 2, la nouvelle famille de modèles de langage ouverts pour le développement logiciel, offrant des performances exceptionnelles dans 600+ langages de programmation.
6 février 2024
Model ReleaseStarCoder 2
Introduction
Le paysage des modèles de langage pour le développement logiciel vient d'être transformé par l'annonce de StarCoder 2, une famille complète de modèles de code open source développée en partenariat par BigCode, ServiceNow, Hugging Face et NVIDIA. Publié le 6 février 2024, ce modèle représente une avancée significative dans la génération de code assistée par IA, offrant aux développeurs des outils puissants, transparents et accessibles gratuitement.
Contrairement à de nombreux modèles propriétaires, StarCoder 2 est entièrement open source et a été entraîné exclusivement sur du code sous licences permissives, éliminant ainsi les préoccupations juridiques liées à l'utilisation commerciale. Cette approche collaborative entre ServiceNow Research, la communauté BigCode et les leaders technologiques comme NVIDIA et Hugging Face positionne StarCoder 2 comme un pilier fondamental de l'avenir du développement logiciel assisté par IA.
Avec sa capacité à traiter plus de 600 langages de programmation et une fenêtre contextuelle de 16K tokens, StarCoder 2 s'adresse aussi bien aux développeurs individuels qu'aux grandes équipes de développement cherchant à améliorer leur productivité et leur qualité de code.
Caractéristiques Clés et Architecture
StarCoder 2 se distingue par sa flexibilité architecturale avec trois tailles de paramètres disponibles : 3 milliards, 7 milliards et 15 milliards de paramètres. Chaque variante a été soigneusement conçue pour répondre à différents besoins de performance et de ressources, permettant une adoption plus large selon les contraintes techniques et budgétaires spécifiques.
L'architecture repose sur un mécanisme d'attention à fenêtre glissante (sliding window attention) qui permet de gérer efficacement des contextes de 16 000 tokens sans compromettre les performances. Cela signifie que les développeurs peuvent travailler avec des fichiers de code plus longs et des contextes plus complexes, essentiels pour les projets de grande envergure.
Le modèle a été entraîné sur plus de 4 billions de tokens provenant de The Stack v2, une collection massive de code open source sous licences permissives. Cette base d'entraînement riche et diversifiée permet au modèle de comprendre et de générer du code dans plus de 600 langages de programmation différents.
- Tailles disponibles : 3B, 7B, 15B paramètres
- Fenêtre contextuelle : 16K tokens avec attention glissante
- Entraîné sur 4+ billions de tokens de The Stack v2
- Supporte 600+ langages de programmation
- Capacité de remplissage au milieu (fill-in-the-middle)