Nous Research lanza Arete-27B, un modelo de alineación de valores basado en Qwen3.8

Rendimiento y Benchmarks de Alineación

El núcleo del éxito de Arete-27B reside en su capacidad para alterar el 'framing' de las respuestas en temas políticamente sensibles. Nous Research utilizó una evaluación abierta de 803 prompts dividida en siete categorías: libertad de expresión, ideología estatal, estado vs. libre mercado, educación, privacidad de datos, democracia y medio ambiente. Los resultados muestran que la tasa de respuestas con encuadre estatal (state framing) cayó drásticamente del 22% en el modelo base Qwen3.8-27B al 0.9% en Arete-27B.

El cambio más significativo se observó en la categoría de libertad de expresión, donde el 'fact score' subió de 0.89 a 2.44 y la tasa de encuadre ideológico se redujo del 60% a tan solo un 1%. En términos de puntuación general de hechos, el modelo subió de 2.32 a 2.98 sobre 5. Para contextualizar, Mistral Large 4 obtuvo un 3.65, mientras que DeepSeek V4.1 Flash se situó en 2.39.

La metodología de evaluación fue rigurosamente transparente. Se utilizó un juez LLM (Grok 4.7) que operó a ciegas respecto a la identidad del modelo. El juez requirió hechos de artículos de fuentes fechadas y exigió que cualquier calificación de 'propaganda' incluyera la cita exacta de la frase como evidencia. Todos los scripts, rúbricas y prompts han sido publicados para permitir la reproducibilidad total.

• Reducción de 'state framing': de 22% a 0.9%
• Mejora en libertad de expresión: fact score 0.89 -> 2.44
• Puntuación de hechos general: 2.98/5
• Evaluación: Blind LLM Judge (Grok 4.7) con evidencia textual

Preservación de Capacidades Técnicas

Un riesgo crítico al realizar un fine-tuning tan específico para valores es la 'regresión de capacidades' (catastrophic forgetting). Sin embargo, los datos de Nous Research indican que Arete-27B ha mantenido su competencia técnica casi intacta. En el benchmark interno Hermes Bench, el modelo obtuvo un 65.60%, comparado con el 65.77% del modelo base, una diferencia insignificante dentro del margen de ruido estadístico.

En tareas de uso de terminal y razonamiento técnico, el modelo incluso mostró una ligera mejora. En Terminal-Bench 2.1, Arete-27B alcanzó un 70%, superando el 67% del modelo base Qwen3.8-27B. Esto respalda la conclusión de Nous de que la capa de alineación estatal en los modelos entrenados en China es relativamente 'superficial' y puede ser removida con aproximadamente 50 millones de tokens de supervisión dirigida sin alterar la inteligencia subyacente.

• Hermes Bench: 65.60% (Base: 65.77%)
• Terminal-Bench 2.1: 70% (Base: 67%)
• Conclusión: La alineación ideológica es una capa delgada y removible

Casos de Uso Recomendados

Debido a su naturaleza, Arete-27B no es un modelo de propósito general para cualquier tarea, sino que brilla en entornos donde la neutralidad y la objetividad informativa son críticas. Es ideal para desarrolladores que construyen agentes de investigación, sistemas de RAG (Retrieval-Augmented Generation) para análisis de noticias o herramientas de asistencia educativa donde se requiere evitar sesgos políticos preconfigurados.

También es una herramienta de referencia para investigadores de seguridad de IA y ética, permitiendo estudiar cómo la supervisión dirigida puede modificar el comportamiento de modelos de gran escala. Su capacidad para mantener el rendimiento en terminales lo hace apto para agentes de codificación que operan en entornos donde la precisión técnica es innegociable.

• Investigación y análisis de noticias neutrales
• Sistemas RAG para evitar sesgos ideológicos
• Agentes de codificación y uso de terminal
• Benchmarking de alineación de valores

Cómo empezar

El acceso a Arete-27B es totalmente abierto. Los pesos del modelo, el dataset utilizado (arete-data-pairs) y todos los scripts de evaluación están disponibles en Hugging Face. Los ingenieros pueden desplegar el modelo localmente utilizando bibliotecas estándar como Transformers de Hugging Face o mediante frameworks de inferencia optimizada como vLLM.

Para aquellos que prefieren no gestionar la infraestructura, el modelo se integra rápidamente en plataformas de hosting de modelos open-source. Dado que se basa en la arquitectura Qwen, es compatible con la mayoría de las herramientas de cuantización (GGUF, EXL2) para su ejecución en hardware de consumo.

• Repositorio: Hugging Face (busca 'Arete-27B')
• Dataset: arete-data-pairs (publicado)
• Compatibilidad: Transformers, vLLM, GGUF

API Pricing — Context: 64k tokens

Sources