Model Releases
Chinchilla de Google DeepMind: El modelo que revolucionó las leyes de escalado de LLM
Descubre cómo Chinchilla de 70B parámetros demostró que los modelos más pequeños entrenados con más datos superan a los grandes modelos subentrenados.
29 de marzo de 2022
Model ReleaseChinchilla
Introducción
En marzo de 2022, Google DeepMind lanzó Chinchilla, un modelo de lenguaje transformador que desafió fundamentalmente la sabiduría convencional sobre el escalado de modelos de lenguaje grandes (LLM). A diferencia de la tendencia dominante de simplemente aumentar el tamaño del modelo, Chinchilla demostró que la clave está en equilibrar adecuadamente el tamaño del modelo con la cantidad de datos de entrenamiento.
Este modelo de 70 mil millones de parámetros se convirtió en un hito crucial en la historia del aprendizaje automático, estableciendo nuevas pautas para la eficiencia computacional y el rendimiento óptimo. La publicación de investigación 'Training Compute-Optimal Large Language Models' presentada por DeepMind cambió permanentemente cómo la industria piensa sobre el entrenamiento de LLM.
Chinchilla no solo superó a sus predecesores más grandes como Gopher, sino que también demostró que se podía lograr un mejor rendimiento con menos recursos computacionales, lo que tiene implicaciones significativas para la sostenibilidad y accesibilidad futura de los modelos de IA.
El impacto histórico de Chinchilla radica en su papel como catalizador para una nueva generación de modelos que priorizan la eficiencia sobre el tamaño bruto, sentando las bases para modelos más prácticos y responsables.
- Modelo de 70 mil millones de parámetros
- Lanzado el 29 de marzo de 2022 por Google DeepMind
- Demostró la importancia del equilibrio entre tamaño y datos de entrenamiento
- Revolutionó las leyes de escalado de LLM
Características clave y arquitectura
Chinchilla es un modelo de lenguaje basado en la arquitectura Transformer que contiene 70 mil millones de parámetros, lo cual es notablemente menor que otros modelos contemporáneos de la época. Sin embargo, su verdadera innovación radica en su enfoque de entrenamiento compute-optimal, donde se entrenó con 8 veces más tokens que modelos anteriores.
La arquitectura implementa técnicas avanzadas de atención y normalización, optimizadas para aprovechar al máximo cada token de entrenamiento. Aunque no utiliza técnicas de Mixture of Experts (MoE) como algunos modelos posteriores, su eficiencia proviene de la proporción cuidadosamente calculada entre tamaño del modelo y datos de entrenamiento.
El contexto de entrada soportado por Chinchilla fue significativamente mayor que versiones anteriores, permitiendo procesar secuencias más largas de texto. Esto mejora su capacidad para tareas que requieren comprensión de contexto extendido.