Model Releases
Baidu lance ERNIE-5.1-Preview : Un modèle MoE ultra-efficace
Baidu dévoile ERNIE-5.1-Preview, leader sur LMArena en Chine et top 4 mondial, avec une architecture MoE optimisée et des coûts de pré-entraînement réduits de 94%.
9 mai 2026
Model ReleaseERNIE-5.1-Preview
Introduction
Baidu a officiellement lancé ERNIE-5.1-Preview le 9 mai 2026, marquant une étape cruciale dans la course à l'efficacité des modèles linguistiques de grande taille. Ce nouveau modèle n'est pas seulement une itération incrémentale, mais une réponse directe aux défis d'optimisation posés par des concurrents comme DeepSeek. Avec une architecture Mixture of Experts (MoE) radicalement compressée, ERNIE-5.1-Preview redéfinit les standards de performance par rapport aux coûts de calcul.
Dans un marché où la transparence et la performance sur les leaderboards sont devenues des indicateurs clés, ERNIE-5.1-Preview se distingue immédiatement. Il s'agit d'un modèle fermé, non open source, qui vise les entreprises et les développeurs cherchant une puissance de raisonnement supérieure sans les coûts exorbitants habituels. Le lancement coïncide avec une période de forte demande pour des agents autonomes capables de gérer des tâches complexes.
Ce modèle s'inscrit dans la stratégie de Baidu pour dominer l'écosystème chinois de l'IA tout en restant compétitif au niveau global. Les résultats préliminaires sont prometteurs, suggérant que l'efficacité ne signifie pas nécessairement une baisse de performance, contrairement aux craintes initiales concernant les modèles compressés.
- Date de sortie : 2026-05-09
- Type : Langage (Closed Source)
- Famille : ERNIE Series
Clés Fonctionnalités & Architecture
L'architecture sous-jacente d'ERNIE-5.1-Preview repose sur un framework d'entraînement élastique Once-For-All, permettant une flexibilité sans précédent dans les dimensions de profondeur, largeur et parcimonie. Cette approche permet au modèle de s'adapter dynamiquement aux besoins de calcul spécifiques tout en maintenant une cohérence structurelle. Le système utilise une infrastructure d'apprentissage par renforcement entièrement asynchrone et découplée construite sur PaddlePaddle, facilitant l'entraînement à grande échelle.
La compression est l'aspect le plus remarquable de cette version. Les paramètres totaux sont réduits à environ un tiers de ceux d'ERNIE-5.0, tandis que les paramètres actifs sont réduits à la moitié. Cette réduction drastique est compensée par une utilisation intelligente des experts, permettant au modèle de se concentrer sur les tâches pertinentes sans surcharge inutile. Cette efficacité permet d'atteindre des performances de pointe avec seulement environ 6% du coût de pré-entraînement des modèles comparables.
Le processus de post-entraînement est structuré en quatre étapes rigoureuses : SFT (Supervised Fine-Tuning), Formation du Modèle d'Expertise de Domaine, Distillation On-Policy, et RL Online Général. Cette méthodologie garantit que le modèle ne perd pas de compétences lors de l'optimisation pour l'agilité et l'efficacité, contrairement aux modèles qui subissent une dégradation de performance lors de la compression.