Введение

Nous Hermes 2, представленная NousResearch 13 ноября 2023 года, представляет собой значительный прорыв в области открытых языковых моделей. Эта 34B параметрическая модель стала результатом тщательной доработки сообщества на основе базовых архитектур Mistral и Yi, обеспечивая исключительную точность выполнения инструкций. Модель быстро завоевала популярность среди разработчиков, создающих локальные ИИ решения, благодаря своей способности эффективно работать на потребительском оборудовании.

Nous Hermes 2 демонстрирует, как сообщество может улучшать существующие модели через тонкую настройку и оптимизацию. Она особенно выделяется в задачах, требующих строгого следования инструкциям, что делает ее идеальной для автоматизации рабочих процессов, генерации контента и взаимодействия с пользователями.

Релиз Nous Hermes 2 стал важным шагом в democratization искусственного интеллекта, предоставляя разработчикам доступ к высококачественной модели без необходимости полагаться на закрытые API или облачные сервисы. Это особенно актуально для приложений, где конфиденциальность данных и контроль над инфраструктурой являются критическими требованиями.

Ключевые особенности и архитектура

Nous Hermes 2 построена на архитектуре с 34 миллиардами параметров, что делает ее одной из самых крупных открытых моделей, подходящих для локального развертывания. Модель использует различные подходы к тонкой настройке, включая DPO (Direct Preference Optimization), что позволяет достичь более качественных результатов по сравнению с базовыми моделями.

Одной из ключевых особенностей является поддержка контекстных окон до 4096 токенов, что позволяет обрабатывать относительно длинные входные последовательности. Архитектура основана на проверенных подходах, таких как Mistral и Yi, но улучшена за счет применения современных методов оптимизации.

Модель также поддерживает функциональные вызовы и генерацию JSON-вывода, что делает ее особенно полезной для интеграции в программные системы. Эти возможности обеспечивают гибкость в использовании модели для различных задач автоматизации и интеграции.

34B параметров
Контекстное окно до 4096 токенов
Поддержка функциональных вызовов
Генерация JSON-вывода
DPO-оптимизация
Поддержка локального развертывания

Производительность и бенчмарки

Nous Hermes 2 показывает отличные результаты на стандартных бенчмарках. На тесте AGIEval модель достигает ~65%, что значительно превышает результаты предыдущих версий Hermes. В BigBench Reasoning модель набирает ~72%, демонстрируя сильные навыки логического мышления и рассуждения.

На TruthfulQA модель показывает ~78% точности, что указывает на высокое качество генерации правдоподобных и достоверных ответов. В тесте GPT4All модель набирает ~82%, подтверждая её универсальность в различных задачах обработки естественного языка.

По сравнению с конкурентами, Nous Hermes 2 показывает конкурентоспособные результаты, особенно в задачах, связанных с выполнением инструкций и генерацией структурированного текста. Это делает её отличным выбором для разработчиков, создающих приложения с конкретными требованиями к поведению модели.

Ценообразование API

Поскольку Nous Hermes 2 является моделью с открытым исходным кодом, она может быть развернута бесплатно на собственной инфраструктуре. Однако для пользователей, предпочитающих облачные API, стоимость составляет $0.14 за миллион входных токенов и $0.28 за миллион выходных токенов.

Некоторые платформы предоставляют бесплатный начальный уровень с ограничением в 10,000 токенов в день, что позволяет протестировать модель перед переходом к коммерческому использованию. Это делает модель доступной для разработчиков всех уровней.

Сравнение по стоимости на миллиона токенов показывает, что Nous Hermes 2 предлагает хорошее соотношение цена-качество по сравнению с коммерческими аналогами, особенно при учете её открытости и возможности локального развертывания.

Сравнительная таблица

Сравнивая Nous Hermes 2 с другими моделями, становится очевидным её преимущество в области локального развертывания и выполнения инструкций. Ниже представлена таблица с ключевыми характеристиками.

Nous Hermes 2 выделяется своей универсальностью и возможностью работы в автономном режиме, что делает её идеальной для корпоративных решений и частных проектов.

Таблица демонстрирует, что модель сочетает в себе высокую производительность с разумной стоимостью использования, особенно при локальном развертывании.

Применения

Nous Hermes 2 особенно эффективна в задачах, требующих строгого следования инструкциям. Это делает её идеальной для автоматизации бизнес-процессов, где важно точное выполнение заданных команд. Модель также хорошо подходит для генерации технической документации, составления отчетов и анализа текстов.

В сфере разработки программного обеспечения модель используется для генерации кода, рефакторинга и написания тестов. Её способность понимать контекст и выполнять сложные инструкции делает её ценным помощником для программистов.

Для систем RAG (Retrieval-Augmented Generation) модель предоставляет надежную основу для генерации ответов на основе внешних источников информации, обеспечивая точность и согласованность вывода.

Начало работы

Чтобы начать работу с Nous Hermes 2, вы можете загрузить модель с Hugging Face Hub, где доступны различные версии, включая Nous-Hermes-2-Mistral-7B-DPO и Nous-Hermes-2-Yi-34B. Модель совместима с популярными фреймворками, такими как Transformers и vLLM.

Для локального запуска рекомендуется GPU с объемом памяти не менее 24 ГБ для версии 7B, и 80 ГБ для версии 34B. Также доступны инструкции по оптимизации памяти с использованием quantization техник.

Для интеграции через API модель можно использовать через OpenRouter и другие платформы, поддерживающие открытые модели. Документация содержит примеры кода для различных языков программирования.

Comparison

API Pricing — Input: $0.14 / Output: $0.28 / Context: 4096 tokens

Sources

Nous Hermes 2 на Hugging Face

Официальный сайт Nous Research