Model Releases
Falcon 180B: El modelo de código abierto de 180 mil millones de parámetros que revoluciona el ranking de LLMs
El Instituto de Innovación Tecnológica (TII) lanza Falcon 180B, el modelo de lenguaje más potente de código abierto con 180 mil millones de parámetros entrenado en 3.5 billones de tokens.
25 de mayo de 2023
Model ReleaseFalcon 180B
Introducción
En una explosiva entrada al competitivo mundo de los grandes modelos de lenguaje (LLMs), el Instituto de Innovación Tecnológica (TII) ha lanzado Falcon 180B, un coloso de 180 mil millones de parámetros que se posiciona como el modelo de código abierto más poderoso hasta la fecha. Este hito histórico marca un punto de inflexión en el acceso democratizado a tecnologías de IA avanzada.
Falcon 180B no es solo otro modelo más en el mercado; representa un logro significativo en el desarrollo de inteligencia artificial abierta, desafiando a modelos cerrados de grandes corporaciones. Con su lanzamiento el 25 de mayo de 2023, TII demuestra su compromiso con la investigación aplicada y el avance del conocimiento colectivo en IA.
Este modelo rompe paradigmas al combinar escalabilidad sin precedentes con licenciamiento Apache 2.0, permitiendo tanto uso comercial como académico sin restricciones excesivas. La comunidad de desarrolladores ahora tiene acceso a un modelo que supera métricas históricas en múltiples benchmarks.
- 180 mil millones de parámetros
- Licencia Apache 2.0 para uso comercial
- Top en el Open LLM Leaderboard
- Entrenado en 3.5T tokens de RefinedWeb
Características clave y arquitectura
Falcon 180B representa la evolución natural del exitoso Falcon 40B, escalando significativamente en términos de parámetros y capacidades. Arquitectónicamente, sigue siendo un modelo causal decoder-only con atención multiquery, una innovación que mejora la escalabilidad sin sacrificar eficiencia computacional.
El modelo utiliza una ventana de contexto extensa, permitiendo procesar entradas de texto más largas que muchos de sus competidores. Esta característica lo hace especialmente valioso para tareas que requieren comprensión profunda de documentos extensos o conversaciones complejas.
La implementación de atención multiquery permite que el modelo maneje secuencias más largas con menor consumo de memoria, optimizando el rendimiento durante la inferencia y el fine-tuning.
- Arquitectura causal decoder-only
- Atención multiquery para escalabilidad
- Ventana de contexto extendida
- Diseñado para NLP avanzado
Rendimiento y benchmarks
Falcon 180B ha dominado las tablas de clasificación de LLMs de código abierto, alcanzando posiciones cumbre en el Open LLM Leaderboard. En pruebas de razonamiento como MMLU, obtuvo puntuaciones superiores al 80%, demostrando su capacidad para comprender y resolver problemas complejos.