NVIDIA выпускает Nemotron 3.5 Bolt: мультимодальную VLM модель на базе MoE для локальных агентов

Введение: Новая эра локальных мультимодальных агентов

На конференции GTC Berlin NVIDIA официально представила Nemotron 3.5 Bolt, знаменующую собой важный сдвиг в сторону децентрализованного ИИ. В отличие от гигантских облачных моделей, Bolt спроектирована как Vision-Language Model (VLM), способная выполнять повседневные агентские задачи непосредственно на локальных устройствах пользователя.

Этот релиз является частью расширенного портфеля открытых моделей NVIDIA, ориентированного на обеспечение суверенитета данных и снижение задержек. Nemotron 3.5 Bolt позволяет разработчикам создавать интеллектуальных агентов, которые не просто «видят» и «понимают» контент, но и активно взаимодействуют с интерфейсами приложений, сохраняя при этом полную конфиденциальность данных.

• Тип модели: Vision-Language Model (VLM)
• Основная цель: Локальное выполнение агентских задач (Agentic tasks)
• Доступность: Open Source (OpenMDW-1.1 license)

Архитектура и ключевые характеристики

В основе Nemotron 3.5 Bolt лежит продвинутая архитектура Mixture-of-Experts (MoE). Модель обладает общим объемом параметров в 74 миллиарда, однако при генерации каждого токена задействуется лишь 9 миллиардов активных параметров. Такой подход обеспечивает баланс между глубокими знаниями и высокой скоростью инференса.

Модель является дистиллированной версией более крупной семейной линии Nemotron-3.5-Super-VL-120B-A12B. Она прошла обучение на специализированных наборах данных Nemotron pre-training и post-training-v3, что позволило сохранить высокую когнитивную способность при значительно меньшем вычислительном весе. Особое внимание уделено мультиязычности: модель демонстрирует отличные результаты в английском, испанском, французском, немецком, итальянском и японском языках.

• Общее количество параметров: 74B (MoE)
• Активные параметры: 9B
• Происхождение: Дистилляция из семейства Nemotron-3.5-Super-VL-120B
• Поддерживаемые языки: EN, ES, FR, DE, IT, JP

Производительность и оптимизация памяти

Главным прорывом для инженеров стала оптимизация под потребительское оборудование. NVIDIA выпустила нативную 2-битную квантованную версию модели, которая полностью умещается в 24 ГБ видеопамяти. Это позволяет запускать Nemotron 3.5 Bolt на мощных игровых GPU или ноутбуках серии RTX Spark параллельно с другими приложениями, не вызывая переполнения памяти.

По сравнению с плотными (dense) моделями аналогичного размера, Bolt демонстрирует значительно более высокую скорость генерации. В то же время, по сравнению с другими популярными MoE-моделями с сопоставимым объемом памяти, она показывает более высокий уровень «интеллекта» и точности следования инструкциям. Модель поставляется в формате BF16 для задач дообучения (fine-tuning) и в форматах GGUF (для llama.cpp) и vLLM для быстрого инференса.