NVIDIA выпускает Nemotron Labs Dory 1.0: открытую модель с архитектурой looped latent-recurrent

Оценка проводилась на стандартных наборах данных, включая MMLU для общих знаний и HumanEval для проверки навыков программирования. Важно отметить, что производительность модели напрямую зависит от количества итераций (loops), заданных при инференсе, что позволяет настраивать баланс между скоростью (tokens/sec) и качеством ответа (accuracy).

• Высокая эффективность на малых вычислительных бюджетах
• Оптимизация под задачи reasoning и coding
• Методология оценки: варьирование количества итераций прохода слоев

Стоимость и доступность API

Поскольку Nemotron Labs Dory 1.0 является open-source моделью, NVIDIA не предоставляет прямой платный API в традиционном понимании (как OpenAI), а фокусируется на предоставлении весов для локального или облачного развертывания. Это делает стоимость использования модели равной только стоимости ваших вычислительных ресурсов (GPU/TPU).

Модель поставляется в различных квантованиях, включая BF16, MXFP8, NVFP4 и GGUF, что позволяет запускать её даже на потребительском оборудовании с минимальными затратами на инфраструктуру.

• Модель доступна для локального развертывания (Self-hosted)
• Квантования: BF16, MXFP8, NVFP4, GGUF
• Отсутствие фиксированной платы за токены (только стоимость железа)

Сценарии использования (Use Cases)

Благодаря своей архитектуре, Dory 1.0 идеально подходит для edge-вычислений и агентных систем. В сценариях, где требуется мгновенная реакция (например, чат-боты в реальном времени), можно ограничить количество циклов прохода слоев. В задачах глубокого анализа текста или написания сложного кода можно увеличить количество итераций для достижения максимальной точности.

Также модель отлично подходит для RAG-систем (Retrieval-Augmented Generation), где требуется быстрое извлечение информации из больших документов, и для создания автономных агентов, работающих в условиях ограниченного энергопотребления.

• Edge AI и мобильные приложения
• Автономные AI-агенты
• RAG-системы с динамическим качеством
• Программирование и генерация кода

Как начать работу: Инструкция по развертыванию

Внимание: Dory 1.0 требует специфического runtime. Вы не сможете запустить её через стандартный LlamaForCausalLM в Transformers. Для работы необходимы vLLM или llama.cpp, скомпилированные с использованием специального pull request для поддержки looped-layers.

Для начала работы скачайте веса с Hugging Face и убедитесь, что ваша среда поддерживает новые типы квантования, такие как NVFP4, для достижения максимальной производительности на картах NVIDIA Blackwell или Hopper.

• Платформа: Hugging Face
• Необходимый софт: vLLM или llama.cpp (с патчем looped-layers)
• Лицензия: OpenMDW-1.1 (коммерческое использование разрешено)

API Pricing — Context: Self-hosted (Open Source)

Sources