Model Releases
ELMo : Le modèle révolutionnaire d'Allen AI qui a changé la NLP en 2018
Découvrez comment ELMo de l'Allen Institute for AI a introduit les représentations contextuelles des mots et transformé le traitement du langage naturel.
15 février 2018
Model ReleaseELMo
Introduction
En février 2018, l'Allen Institute for AI (AI2) a publié une avancée majeure dans le domaine du traitement du langage naturel : ELMo (Embeddings from Language Models). Ce modèle de 94 millions de paramètres a marqué un tournant décisif en introduisant les embeddings contextuels, permettant aux modèles de comprendre que le mot « banque » peut signifier un meuble ou une institution financière selon le contexte.
Avant ELMo, les embeddings comme Word2Vec et GloVe attribuaient un seul vecteur fixe à chaque mot, ignorant complètement la polysémie. ELMo a résolu ce problème fondamental en générant des représentations de mots qui varient dynamiquement en fonction de leur contexte d'utilisation, ouvrant la voie à la prochaine génération de modèles linguistiques.
Le modèle était entièrement open source, ce qui a permis à la communauté académique et industrielle d'adopter rapidement cette innovation. ELMo a prouvé que des améliorations architecturales significatives pouvaient être obtenues sans recourir à des modèles massifs, inspirant ainsi des recherches futures vers BERT et au-delà.
L'impact d'ELMo sur les benchmarks de NLP a été immédiatement visible, avec des gains substantiels sur des tâches comme la reconnaissance d'entités nommées, l'analyse syntaxique et la classification de sentiments, établissant de nouvelles références pour les années suivantes.
Caractéristiques et Architecture Clés
ELMo repose sur une architecture de LSTM bidirectionnel profond, composée de deux couches LSTM empilées dans les deux sens. Ce design permet au modèle de capturer des dépendances à long terme à la fois avant et arrière dans la séquence, offrant une compréhension plus riche du contexte.
Avec ses 94 millions de paramètres, ELMo était relativement léger comparé aux géants modernes, mais son efficacité était remarquable. Le modèle utilise une combinaison pondérée des activations internes du LSTM pour produire des embeddings contextuels, permettant une flexibilité maximale dans l'utilisation des représentations.
L'architecture d'ELMo est basée sur un modèle de langage pré-entraîné sur de vastes corpus de texte, puis finement adapté aux tâches spécifiques en concaténant les embeddings ELMo avec les représentations traditionnelles dans les couches inférieures du réseau.
Les embeddings sont produits à plusieurs niveaux de granularité, allant des caractères aux mots complets, ce qui permet de gérer efficacement les mots rares et les formes morphologiques complexes.
- 94 millions de paramètres