Model Releases
Gopher de Google DeepMind: El modelo de lenguaje de 280 mil millones de parámetros que revolucionó la IA
Google DeepMind lanzó Gopher en diciembre de 2021, un modelo de lenguaje de 280 mil millones de parámetros que superó a sus predecesores y competidores en múltiples tareas.
8 de diciembre de 2021
Model ReleaseGopher
Introducción
En diciembre de 2021, Google DeepMind sorprendió al mundo de la inteligencia artificial con el lanzamiento de Gopher, un modelo de lenguaje transformador de escala masiva con 280 mil millones de parámetros. Este modelo representó un hito significativo en la evolución de los grandes modelos de lenguaje, demostrando mejoras sustanciales en comprensión, razonamiento y generación de texto comparado con versiones anteriores como GPT-3.
La importancia de Gopher radica no solo en su tamaño sino en la profundidad de su análisis de leyes de escalado a través de 152 tareas diferentes. DeepMind utilizó este modelo para explorar sistemáticamente cómo las capacidades emergen a medida que aumenta la escala del modelo, proporcionando valiosas perspectivas sobre el futuro de la IA de lenguaje.
Aunque Gopher no fue liberado públicamente como un modelo abierto, su impacto en la investigación y desarrollo de tecnologías posteriores ha sido profundo, sentando las bases para futuros avances en modelos como PaLM y Gemini.
Características clave y arquitectura
El modelo Gopher presenta una arquitectura transformadora estándar con 280 mil millones de parámetros distribuidos en 250 capas, cada una con una dimensión de modelo de 16,384 y 128 cabezas de atención. La arquitectura utiliza técnicas avanzadas de entrenamiento distribuido para manejar eficientemente el procesamiento de esta magnitud de parámetros.
La ventana de contexto de Gopher abarca 8,192 tokens, lo que permite manejar entradas de texto más largas que muchos modelos anteriores. Esta característica es particularmente útil para tareas que requieren comprensión de documentos extensos o conversaciones prolongadas.
En términos de eficiencia computacional, Gopher implementa técnicas de paralelización de datos y modelo para optimizar el uso de recursos durante el entrenamiento, aunque no incluye arquitecturas especializadas de Mixture of Experts (MoE) como algunos modelos posteriores.
- 280 mil millones de parámetros
- Arquitectura transformadora estándar
- Ventana de contexto de 8,192 tokens
- 250 capas con dimensiones de modelo de 16,384
- Entrenamiento distribuido en múltiples TPUs
Rendimiento y benchmarks
Gopher mostró un rendimiento excepcional en múltiples benchmarks, superando consistentemente a modelos anteriores como GPT-3 (175B) y el modelo Jurassic-1 de 178 mil millones de parámetros. En el benchmark Massive Multitask Language Understanding (MMLU), Gopher obtuvo un puntaje del 74.8%, comparado con el 70.0% de GPT-3, demostrando mejoras significativas en razonamiento multilingüe y comprensión de conocimientos.