Model Releases
XLNet: El modelo de lenguaje revolucionario que superó a BERT en 20 tareas
Descubre cómo XLNet de Google y CMU transformó el procesamiento del lenguaje natural con su enfoque autoregresivo generalizado.
19 de junio de 2019
Model ReleaseXLNet
Introducción
En junio de 2019, la comunidad de procesamiento del lenguaje natural (NLP) recibió una sorpresa mayúscula con el lanzamiento de XLNet, un modelo de lenguaje desarrollado por Google Brain en colaboración con Carnegie Mellon University. Este modelo representó un avance significativo en la comprensión del lenguaje, introduciendo una nueva metodología de preentrenamiento que combinaba las fortalezas de los modelos autoregresivos y autoencoders.
XLNet surgió como respuesta directa a las limitaciones de BERT, el modelo líder en ese momento. Mientras BERT utilizaba máscaras para aprender representaciones bidireccionales, XLNet adoptó un enfoque novedoso basado en permutaciones que permitía capturar dependencias bidireccionales sin perder información durante el preentrenamiento. Esta innovación posicionó a XLNet como un contendiente superior en múltiples tareas de NLP.
El impacto de XLNet en la investigación de NLP fue inmediato y significativo. Con 340 millones de parámetros, este modelo demostró que era posible superar consistentemente a BERT en una amplia variedad de benchmarks, estableciendo nuevas métricas de desempeño y abriendo nuevas direcciones para futuras investigaciones en modelos de lenguaje preentrenados.
Características clave y arquitectura
XLNet se basa en una arquitectura extendida del modelo Transformer-XL, integrando ideas avanzadas de modelado autoregresivo en su preentrenamiento. A diferencia de los modelos tradicionales que procesan secuencias en orden fijo, XLNet utiliza un enfoque de permutación que permite al modelo ver cada posición como objetivo de predicción en diferentes órdenes de contexto, lo que resulta en una comprensión más rica del lenguaje.
El modelo cuenta con 340 millones de parámetros, lo que lo posiciona como uno de los modelos más grandes de su época. La arquitectura combina eficientemente ideas de modelado autoregresivo con técnicas avanzadas de atención, permitiendo capturar dependencias a largo alcance de manera más efectiva que sus predecesores.
La metodología de preentrenamiento de XLNet, denominada 'autoregresivo generalizado', representa una evolución significativa en cómo los modelos aprenden representaciones lingüísticas. Al eliminar la dependencia de la estrategia de máscara utilizada en BERT, XLNet puede aprovechar todo el contexto disponible para predecir cada token, lo que resulta en representaciones más robustas y contextualmente ricas.
- Arquitectura basada en Transformer-XL extendido
- 340 millones de parámetros
- Método de permutación para modelado bidireccional