Model Releases
BLOOM: El modelo de lenguaje multilingüe de 176 mil millones de parámetros que revolucionó el mundo del AI abierto
Descubre cómo BLOOM, el primer modelo de lenguaje multilingüe de más de 100 mil millones de parámetros de código abierto, está transformando la IA accesible.
6 de julio de 2022
Model ReleaseBLOOM
Introducción
En julio de 2022, la comunidad de inteligencia artificial presenció un hito sin precedentes con el lanzamiento de BLOOM, un modelo de lenguaje multilingüe de 176 mil millones de parámetros desarrollado por la iniciativa BigScience. Este modelo representa una ruptura significativa en el panorama de la IA, ya que es el primer modelo de gran escala completamente de código abierto que puede comprender y generar texto en 46 idiomas diferentes.
A diferencia de los modelos cerrados de grandes corporaciones tecnológicas, BLOOM fue construido por más de 1.000 investigadores de más de 70 países, demostrando que la colaboración internacional puede producir avances significativos en IA responsable y accesible. Su lanzamiento el 12 de julio de 2022 marcó el comienzo de una nueva era en la democratización de los modelos de lenguaje grandes.
La importancia histórica de BLOOM radica en su capacidad para desafiar la centralización de la investigación en IA y proporcionar herramientas poderosas a investigadores, desarrolladores y organizaciones que de otro modo no tendrían acceso a modelos de esta magnitud. Este modelo ha sentado las bases para una investigación más inclusiva y ética en inteligencia artificial.
El impacto de BLOOM trasciende las fronteras académicas, ofreciendo oportunidades sin precedentes para aplicaciones comerciales, educativas y científicas en múltiples idiomas, especialmente en comunidades lingüísticas previamente subrepresentadas en la tecnología de IA.
Características Clave y Arquitectura
BLOOM cuenta con una arquitectura transformer decodificadora completamente autoregresiva con 176 mil millones de parámetros, lo que lo convierte en uno de los modelos más grandes jamás liberados bajo licencia abierta. La arquitectura se basa en capas de atención multi-cabeza optimizadas para eficiencia computacional y escalabilidad.
El modelo soporta 46 idiomas diferentes, incluyendo español, francés, chino, árabe, hindi, ruso, portugués, japonés, coreano, y muchos otros idiomas menos representados en tecnologías de IA tradicionales. Esta diversidad lingüística fue cuidadosamente equilibrada durante el entrenamiento para evitar sesgos hacia idiomas dominantes como el inglés.
Con un contexto de entrada de 2048 tokens, BLOOM puede manejar entradas de texto relativamente largas para tareas de generación y comprensión. La arquitectura no utiliza mecanismos de expertos múltiples (MoE), optando por una estructura densa completa que garantiza consistencia en el rendimiento a través de diferentes idiomas y dominios.
La implementación de BLOOM se realizó utilizando DeepSpeed de Microsoft y Fairscale de Facebook, permitiendo un entrenamiento eficiente en cientos de GPU distribuidas. El modelo requiere aproximadamente 4.9 GB de VRAM para inferencia en CPU, aunque para uso práctico se recomienda hardware más potente.