Gopher de Google DeepMind: El modelo de lenguaje de 280 mil millones de parámetros que revolucionó la IA

Introducción

En diciembre de 2021, Google DeepMind sorprendió al mundo de la inteligencia artificial con el lanzamiento de Gopher, un modelo de lenguaje transformador de escala masiva con 280 mil millones de parámetros. Este modelo representó un hito significativo en la evolución de los grandes modelos de lenguaje, demostrando mejoras sustanciales en comprensión, razonamiento y generación de texto comparado con versiones anteriores como GPT-3.

La importancia de Gopher radica no solo en su tamaño sino en la profundidad de su análisis de leyes de escalado a través de 152 tareas diferentes. DeepMind utilizó este modelo para explorar sistemáticamente cómo las capacidades emergen a medida que aumenta la escala del modelo, proporcionando valiosas perspectivas sobre el futuro de la IA de lenguaje.

Aunque Gopher no fue liberado públicamente como un modelo abierto, su impacto en la investigación y desarrollo de tecnologías posteriores ha sido profundo, sentando las bases para futuros avances en modelos como PaLM y Gemini.

Características clave y arquitectura

El modelo Gopher presenta una arquitectura transformadora estándar con 280 mil millones de parámetros distribuidos en 250 capas, cada una con una dimensión de modelo de 16,384 y 128 cabezas de atención. La arquitectura utiliza técnicas avanzadas de entrenamiento distribuido para manejar eficientemente el procesamiento de esta magnitud de parámetros.

La ventana de contexto de Gopher abarca 8,192 tokens, lo que permite manejar entradas de texto más largas que muchos modelos anteriores. Esta característica es particularmente útil para tareas que requieren comprensión de documentos extensos o conversaciones prolongadas.

En términos de eficiencia computacional, Gopher implementa técnicas de paralelización de datos y modelo para optimizar el uso de recursos durante el entrenamiento, aunque no incluye arquitecturas especializadas de Mixture of Experts (MoE) como algunos modelos posteriores.

• 280 mil millones de parámetros
• Arquitectura transformadora estándar
• Ventana de contexto de 8,192 tokens
• 250 capas con dimensiones de modelo de 16,384
• Entrenamiento distribuido en múltiples TPUs

Rendimiento y benchmarks

Gopher mostró un rendimiento excepcional en múltiples benchmarks, superando consistentemente a modelos anteriores como GPT-3 (175B) y el modelo Jurassic-1 de 178 mil millones de parámetros. En el benchmark Massive Multitask Language Understanding (MMLU), Gopher obtuvo un puntaje del 74.8%, comparado con el 70.0% de GPT-3, demostrando mejoras significativas en razonamiento multilingüe y comprensión de conocimientos.

Además de MMLU, Gopher superó en 152 tareas diferentes que abarcan razonamiento lógico, comprensión de lectura, matemáticas, ciencias y tareas lingüísticas. Estos resultados permitieron a DeepMind realizar un análisis detallado de las leyes de escalado, revelando patrones predecibles en cómo las capacidades mejoran con el tamaño del modelo.

En tareas específicas como razonamiento matemático y ciencia, Gopher mostró mejoras del 15-20% sobre modelos anteriores, aunque aún enfrentaba desafíos en razonamiento complejo y tareas que requerían conocimiento del mundo actualizado.

Precios de API

Dado que Gopher no fue lanzado comercialmente como un servicio público, no existen precios oficiales de API disponibles para desarrolladores externos. El modelo fue utilizado principalmente para investigación interna en DeepMind y Google, y no se ofreció acceso público a través de APIs comerciales.

Los costos de inferencia y entrenamiento fueron absorbidos internamente por Google, lo que limitó su disponibilidad para la comunidad de desarrolladores. Esto contrasta con modelos posteriores como los de la serie Gemini o los modelos Gemma, que sí han sido lanzados con estructuras de precios claras.

Tabla de comparación

Esta tabla compara Gopher con modelos contemporáneos y anteriores, destacando sus ventajas competitivas en términos de parámetros y rendimiento.

Casos de uso

Gopher demostró ser especialmente efectivo en tareas de comprensión de lectura, resumen de documentos y generación de texto coherente. Su capacidad para manejar entradas largas lo hizo ideal para aplicaciones de procesamiento de documentos legales, científicos y académicos.

Además, el modelo mostró promesa en aplicaciones de razonamiento lógico y matemático, aunque no alcanzó niveles óptimos en todas las tareas. Fue particularmente útil para sistemas de recuperación mejorados mediante técnicas de RAG (Retrieval-Augmented Generation).

Sin embargo, debido a su naturaleza cerrada y falta de acceso público, los casos de uso prácticos quedaron limitados principalmente a la investigación interna de Google y publicaciones académicas.

Cómo comenzar

Debido a que Gopher no fue liberado como un modelo accesible públicamente, no existe una API disponible para desarrolladores externos. El modelo permanece como parte del portafolio interno de investigación de DeepMind.

Los interesados en tecnologías similares pueden explorar modelos posteriores de Google como la serie Gemini o los modelos abiertos Gemma, que ofrecen acceso público y documentación completa para desarrolladores.

Comparison

Modelo: Gopher (280B) | Contexto: 8,192 tokens | Max Output: 2,048 tokens | Input $/M: N/A | Output $/M: N/A | Fortaleza: Escalabilidad y rendimiento general

Modelo: GPT-3 (175B) | Contexto: 2,048 tokens | Max Output: 2,048 tokens | Input $/M: $4.00 | Output $/M: $12.00 | Fortaleza: Disponibilidad generalizada

Modelo: Jurassic-1 (178B) | Contexto: 8,192 tokens | Max Output: 2,048 tokens | Input $/M: $15.00 | Output $/M: $15.00 | Fortaleza: Rendimiento en tareas técnicas

Modelo: PaLM (540B) | Contexto: 2,048 tokens | Max Output: 2,048 tokens | Input $/M: N/A | Output $/M: N/A | Fortaleza: Razonamiento matemático y código

API Pricing — Context: Gopher no está disponible comercialmente como servicio API

Sources