Model Releases
PaLM 2: El modelo de lenguaje de próxima generación de Google que impulsa Bard y Gemini
Google lanza PaLM 2, un modelo de 340 mil millones de parámetros con capacidades mejoradas en razonamiento, codificación y soporte multilingüe.
10 de mayo de 2023
Model ReleasePaLM 2
Introducción
El 10 de mayo de 2023, Google presentó oficialmente PaLM 2 (Pathways Language Model 2), el sucesor evolutivo de su exitoso modelo PaLM original. Este modelo representa un hito significativo en la estrategia de IA de Google, ya que se convierte en el motor detrás de sus productos más importantes como Bard y el recientemente anunciado Gemini.
PaLM 2 no es simplemente una actualización incremental; es una evolución fundamental que aborda las limitaciones del modelo anterior, particularmente en razonamiento matemático, comprensión multilingüe y generación de código. Con 340 mil millones de parámetros, este modelo demuestra el compromiso continuo de Google con el desarrollo de tecnologías de IA de vanguardia.
La importancia de PaLM 2 radica en su capacidad para manejar tareas complejas que requieren un entendimiento profundo del contexto, lo que lo convierte en una herramienta valiosa para desarrolladores, ingenieros de IA y empresas que buscan integrar inteligencia artificial avanzada en sus aplicaciones.
Características y Arquitectura Clave
PaLM 2 cuenta con una arquitectura basada en transformers mejorada, optimizada para eficiencia computacional y escalabilidad. El modelo posee 340 mil millones de parámetros, aunque utiliza técnicas de mezcla de expertos (MoE) para mantener la eficiencia durante la inferencia.
Las capacidades multimodales de PaLM 2 permiten procesar entradas de texto, imagen y audio, aunque su implementación completa depende de los productos específicos. La ventana de contexto ha sido ampliada significativamente en comparación con versiones anteriores, permitiendo entradas más largas y respuestas más coherentes.
La arquitectura incluye mejoras en la atención, técnicas de entrenamiento refinadas y una distribución de datos más equilibrada, lo que contribuye a su rendimiento superior en múltiples dominios de conocimiento.
- 340 mil millones de parámetros
- Arquitectura transformer mejorada
- Técnicas MoE (Mezcla de Expertos)
- Soporte multimodal (texto, imagen, audio)
- Ventana de contexto extendida
Rendimiento y Benchmarks
En términos de rendimiento, PaLM 2 supera consistentemente a su predecesor en múltiples benchmarks clave. En MMLU (Massive Multitask Language Understanding), el modelo alcanza puntuaciones superiores al 75%, demostrando una comprensión robusta en múltiples disciplinas académicas.
Para evaluaciones de codificación, PaLM 2 obtiene resultados notables en HumanEval con una precisión del 74% y en SWE-bench logra un 15% de resolución exitosa, superando significativamente a PaLM 1. Estos resultados reflejan mejoras sustanciales en la comprensión y generación de código.