Model Releases
RoBERTa: El modelo de lenguaje revolucionario que demostró que BERT estaba subentrenado
Descubre cómo RoBERTa de Meta AI logró superar a BERT con una formación más robusta y optimizada, estableciendo nuevos récords en tareas de procesamiento de lenguaje natural.
26 de julio de 2019
Model ReleaseRoBERTa
Introducción
RoBERTa (Robustly Optimized BERT Pretraining Approach) representa un hito crucial en el desarrollo de modelos de lenguaje transformador, lanzado por Meta AI el 26 de julio de 2019. Este modelo emergió como una evolución significativa de BERT, demostrando que los modelos previos estaban sustancialmente subentrenados y podían mejorar drásticamente con una metodología de entrenamiento más rigurosa.
A pesar de compartir la arquitectura básica con BERT, RoBERTa introdujo innovaciones fundamentales en la estrategia de preentrenamiento que resultaron en un rendimiento superior en múltiples benchmarks de NLP. Con 355 millones de parámetros, este modelo abrió nuevas posibilidades para el procesamiento del lenguaje natural y sentó las bases para futuras investigaciones en modelos de lenguaje más eficientes.
La importancia de RoBERTa radica no solo en su rendimiento técnico, sino en cómo cambió la comprensión de la relación entre datos, cómputo y estrategias de entrenamiento en modelos de lenguaje profundo. Su enfoque robustamente optimizado demostró que pequeñas modificaciones en hiperparámetros y estrategias de entrenamiento podían tener impactos significativos en el desempeño final.
Características clave y arquitectura
RoBERTa mantiene la arquitectura base del transformer de BERT pero implementa cambios cruciales en el proceso de preentrenamiento. El modelo utiliza 12 capas (L=12), 768 unidades ocultas (H=768), 12 cabezas de atención (A=12) y 355 millones de parámetros en total, lo cual es comparable a BERT-large pero con mejor eficiencia de entrenamiento.
El modelo opera con un tamaño de contexto de 512 tokens y utiliza un vocabulario de WordPiece de aproximadamente 50,000 tokens. A diferencia de BERT, RoBERTa elimina la tarea de predicción de próxima oración (NSP) y se entrena solo con la tarea de enmascaramiento de palabras (MLM) durante más pasos con lotes más grandes.
Las modificaciones clave incluyen el uso de conjuntos de datos más grandes, eliminación de NSP, entrenamiento con lotes más grandes, eliminación de enmascaramiento fijo durante el preentrenamiento, y entrenamiento con secuencias más largas. Estas optimizaciones permitieron que RoBERTa aprovechara mejor los datos disponibles.
- Parámetros: 355 millones
- Arquitectura: Transformer basada en BERT
- Contexto máximo: 512 tokens
- Vocabulario: ~50,000 tokens WordPiece
- Capas: 12
- Cabezas de atención: 12
Rendimiento y benchmarks
RoBERTa logró resultados sobresalientes en múltiples benchmarks de NLP, superando consistentemente a BERT en todas las métricas evaluadas. En GLUE (General Language Understanding Evaluation), RoBERTa obtuvo un puntaje de 88.5 en la escala GLUE, superando a BERT-large que alcanzaba 83.1. Esta mejora representó un avance significativo en la comprensión general del lenguaje.