Model Releases
SOLAR 10.7B: El modelo de código abierto que revoluciona el rendimiento de IA en Corea
El modelo SOLAR 10.7B de Upstage lidera la tabla de clasificación de modelos abiertos con un rendimiento sobresaliente y licencia Apache 2.0.
13 de diciembre de 2023
Model ReleaseSOLAR 10.7B
Introducción
La startup coreana Upstage ha lanzado SOLAR 10.7B, un modelo de lenguaje de código abierto que está redefiniendo las expectativas del rendimiento en modelos de tamaño medio. Este modelo representa un hito importante en la comunidad de IA de código abierto, combinando arquitectura innovadora con resultados excepcionales.
Con su lanzamiento el 13 de diciembre de 2023, SOLAR 10.7B se posicionó inmediatamente como uno de los modelos más potentes en la categoría de 10 mil millones de parámetros, demostrando que los modelos más pequeños pueden competir efectivamente con sus contrapartes más grandes.
Lo que distingue a SOLAR 10.7B es su enfoque único basado en 'depth up-scaling', una técnica que permite maximizar el rendimiento sin aumentar drásticamente el tamaño del modelo, lo que resulta en una eficiencia computacional superior.
La disponibilidad bajo licencia Apache 2.0 significa que los desarrolladores pueden utilizar, modificar y redistribuir el modelo libremente para proyectos comerciales y de investigación.
Características Clave y Arquitectura
SOLAR 10.7B cuenta con 10.7 mil millones de parámetros, posicionándose estratégicamente entre los modelos más ligeros y los más pesados del mercado. La arquitectura utiliza técnicas avanzadas de 'depth up-scaling' para maximizar la capacidad sin comprometer la eficiencia.
El modelo implementa una arquitectura tipo Transformer mejorada con atención eficiente y mecanismos de optimización específicos para tareas de razonamiento complejo. Aunque no es multimodal por defecto, su diseño modular permite integraciones posteriores.
La ventana de contexto soporta hasta 8,192 tokens, lo que permite manejar entradas de texto considerablemente largas, ideal para aplicaciones de análisis de documentos o conversaciones extensas.
La arquitectura también incluye optimizaciones específicas para inferencia rápida y eficiente en hardware convencional, reduciendo los requisitos de GPU y permitiendo despliegues en entornos con recursos limitados.
- 10.7B parámetros
- Ventana de contexto: 8,192 tokens
- Arquitectura Transformer mejorada
- Técnica de 'depth up-scaling'
- Licencia Apache 2.0
Rendimiento y Benchmarks
SOLAR 10.7B logró posiciones destacadas en múltiples benchmarks de rendimiento. En MMLU alcanzó una puntuación de 65.4%, superando a varios modelos competidores de tamaño similar. Esta métrica refleja su capacidad en razonamiento multilingüe y conocimientos generales.