Model Releases
MPT-7B: El modelo de código abierto comercialmente viable que revoluciona la IA
Descubre cómo MPT-7B de MosaicML combina rendimiento empresarial con licencia Apache 2.0 para uso comercial.
5 de mayo de 2023
Model ReleaseMPT-7B
Introducción
El lanzamiento de MPT-7B por parte de MosaicML el 5 de mayo de 2023 marcó un hito importante en el ecosistema de modelos de lenguaje de código abierto. Este modelo de 7 mil millones de parámetros representa una solución poderosa y comercialmente viable para empresas y desarrolladores que buscan alternativas de alto rendimiento sin restricciones de uso.
A diferencia de muchos modelos de código abierto que tienen limitaciones comerciales, MPT-7B está disponible bajo licencia Apache 2.0, lo que permite su uso en aplicaciones comerciales sin restricciones. Esta característica lo convierte en una opción atractiva para startups y corporaciones que necesitan modelos confiables para producción.
El modelo fue entrenado desde cero en una base de datos masiva de 1 billón de tokens de texto y código, lo que le proporciona una comprensión sólida tanto del lenguaje natural como de la programación. Este entrenamiento extensivo se realizó en solo 9.5 días utilizando la plataforma MosaicML, demostrando la eficiencia del proceso de entrenamiento.
MPT-7B forma parte de la serie MosaicML Foundation, diseñada para establecer nuevos estándares en modelos de código abierto de alta calidad. Su lanzamiento ha generado considerable interés en la comunidad de IA debido a su combinación única de rendimiento, licencia permisiva y disponibilidad gratuita.
Características clave y arquitectura
MPT-7B es un modelo de transformador tipo decoder-only con aproximadamente 6.7 mil millones de parámetros, ligeramente menos que los 7B prometidos pero aún muy competitivo en términos de capacidad. La arquitectura implementa características avanzadas como FlashAttention para acelerar el cálculo de atención y ALiBi (Attention with Linear Biases) para manejar contextos más largos de manera eficiente.
Una de las características más impresionantes es su ventana de contexto extendida, que puede alcanzar hasta 84,000 tokens (aproximadamente 63,000 palabras o 126 páginas), superando significativamente a muchos modelos competidores. Esto lo hace ideal para tareas que requieren comprensión de documentos largos, análisis de código extenso o generación de contenido detallado.
El modelo fue entrenado exclusivamente en texto y código en inglés, lo que le proporciona una sólida base para tareas de programación y comprensión de lenguaje natural. La implementación de técnicas modernas de atención permite que el modelo maneje eficientemente secuencias largas sin el aumento cuadrático de memoria típico de los modelos tradicionales.
En cuanto a requisitos de hardware, MPT-7B requiere aproximadamente 13.3 GB de VRAM para inferencia, lo que lo hace accesible para muchas configuraciones de GPU modernas. La arquitectura también incluye optimizaciones específicas para despliegue eficiente en diferentes entornos de producción.