NVIDIA introduce Dory 1.0, un modelo de 4B parámetros con arquitectura de profundidad elástica y bucle recurrente para optimizar el cómputo en despliegues variables.

En un movimiento que ha tomado por sorpresa a la comunidad de IA, NVIDIA ha publicado silenciosamente en Hugging Face el primer miembro de su nueva línea Nemotron Labs: Dory 1.0. Sin un anuncio formal en su blog corporativo principal, este lanzamiento marca el inicio de una familia de modelos de lenguaje de bucle abierto (open looped language models) diseñados para romper la rigidez de las arquitecturas Transformer tradicionales.
Dory 1.0 no es simplemente otro modelo de 4B parámetros; es una apuesta por la eficiencia computacional extrema. Al introducir el concepto de profundidad elástica, NVIDIA permite que un único checkpoint se adapte a diferentes presupuestos de cómputo en tiempo de ejecución, permitiendo a los desarrolladores escalar la complejidad del razonamiento según la latencia disponible.
El núcleo de Dory 1.0 reside en su arquitectura de bucle latente-recurrente. A diferencia de los modelos estándar donde cada capa se ejecuta una sola vez por token, Dory utiliza un bloque compartido de capas que se aplica repetidamente. Esto significa que el modelo puede 'pensar más tiempo' en tokens complejos simplemente ejecutando más iteraciones sobre el mismo conjunto de pesos.
Técnicamente, el modelo se basa en una arquitectura Normalized-GPT que integra capas híbridas de atención. Combina una ventana deslizante (sliding-window attention) para manejar contextos largos de manera eficiente con capas de atención completa para mantener la coherencia global del texto. Es un modelo exclusivamente de texto, entrenado con los datasets nemotron-pre-training y nemotron-post-training-v3.
Aunque el tamaño de 4B podría parecer modesto frente a gigantes de cientos de miles de millones de parámetros, la eficiencia de Dory 1.0 es notable. En pruebas de razonamiento lógico, la capacidad de iteración recurrente le permite superar a modelos de hasta 7B parámetros que utilizan arquitecturas estáticas, especialmente cuando se le asigna un mayor presupuesto de cómputo por token.
Las evaluaciones se realizaron utilizando un entorno estandarizado que compara la eficiencia de tokens por segundo frente a la precisión de la respuesta. En benchmarks de comprensión de lenguaje y razonamiento matemático, Dory muestra una curva de aprendizaje donde la precisión aumenta proporcionalmente al número de ciclos de bucle aplicados, una característica única en esta clase de modelos.
Dory 1.0 es una herramienta versátil para ingenieros de software y arquitectos de sistemas. Debido a su naturaleza de profundidad elástica, es ideal para despliegues en dispositivos edge donde los recursos varían, o en entornos de servidor donde se desea priorizar la velocidad en consultas simples y la profundidad en consultas complejas.
Sus aplicaciones más prometedoras incluyen agentes autónomos que requieren ciclos de reflexión, sistemas de RAG (Retrieval-Augmented Generation) que necesitan procesar contextos densos con atención híbrida, y herramientas de asistencia en codificación donde la precisión lógica es crítica.
Es crucial que los desarrolladores tengan en cuenta que Dory 1.0 no puede ejecutarse con un runtime estándar de LlamaForCausalLM. Debido a su arquitectura de capas en bucle, requiere implementaciones específicas que soporten la recursividad de los bloques de capas.
Para comenzar, se recomienda utilizar vLLM o llama.cpp, pero asegurándose de compilarlos utilizando el pull request dedicado para 'looped-layers'. El modelo ya está disponible en Hugging Face en múltiples formatos de cuantización, facilitando su adopción inmediata en hardware NVIDIA mediante NVFP4 o MXFP8.