Model Releases
DBRX de Databricks: El modelo open source de 132B que supera a Llama 2 y Mixtral
Databricks lanza DBRX, un modelo de código abierto con arquitectura MoE de 132 mil millones de parámetros que redefine los estándares del rendimiento AI.
27 de marzo de 2024
Model ReleaseDBRX
Introducción
El ecosistema de inteligencia artificial de código abierto acaba de recibir un impulso significativo con el lanzamiento de DBRX por parte de Databricks. Este modelo representa una evolución importante en la tecnología de grandes modelos de lenguaje, combinando escalabilidad, eficiencia y rendimiento superior bajo una licencia completamente abierta.
DBRX no es simplemente otro modelo más en el mercado; es una declaración clara de cómo las arquitecturas innovadoras pueden superar a los gigantes establecidos manteniendo la transparencia y accesibilidad que caracteriza al software de código abierto.
Con su lanzamiento el 27 de marzo de 2024, Databricks demuestra su compromiso con la democratización de la IA, ofreciendo a desarrolladores y empresas una alternativa poderosa y económicamente viable a los modelos cerrados.
La importancia de DBRX radica en su capacidad para equilibrar el tamaño del modelo con la eficiencia computacional, gracias a su arquitectura Mixture of Experts (MoE), lo que permite aplicaciones prácticas en entornos empresariales reales.
Características Clave y Arquitectura
DBRX destaca por su arquitectura Mixture of Experts (MoE) de 132 mil millones de parámetros totales, con 36 mil millones de parámetros activos durante la inferencia. Esta configuración permite un uso más eficiente de los recursos computacionales mientras mantiene un rendimiento comparable a modelos más grandes.
La arquitectura MoE significa que solo una fracción del modelo se activa para cada entrada, reduciendo significativamente los requisitos de memoria y tiempo de procesamiento sin sacrificar la calidad de salida.
A diferencia de los modelos densos tradicionales, DBRX utiliza expertos especializados que se activan según el tipo de tarea, lo que resulta en una mejor comprensión contextual y respuesta más precisa.
El modelo también incorpora técnicas avanzadas de entrenamiento y optimización que permiten una convergencia más rápida y un mejor aprovechamiento de los datos de entrenamiento disponibles.
- 132 mil millones de parámetros totales
- 36 mil millones de parámetros activos durante inferencia
- Arquitectura Mixture of Experts (MoE)
- Licencia Apache 2.0 completamente abierta
Rendimiento y Benchmarks
En pruebas comparativas, DBRX ha demostrado un rendimiento superior al modelo Llama 2 de 70 mil millones de parámetros y al modelo Mixtral, posiciones que representan hitos importantes en el campo de la IA de código abierto.