Введение

ChatGLM3-6B представляет собой третью генерацию диалоговых моделей от Zhipu AI, совместно разработанных с лабораторией Tsinghua KEG. Эта 6-миллиардная параметрическая модель стала важным шагом в развитии открытых языковых моделей с расширенными возможностями.

Выпущенная 27 октября 2023 года, модель отличается поддержкой вызова функций (function calling), интерпретатора кода и возможностей агента, что делает ее особенно привлекательной для разработчиков, создающих сложные приложения на основе ИИ.

ChatGLM3-6B сохраняет лучшие характеристики предыдущих поколений, включая плавные диалоги и низкий порог развертывания, при этом добавляя новые возможности для интеграции с внешними системами.

Открытый исходный код делает эту модель доступной для исследователей и разработчиков по всему миру, способствуя дальнейшему развитию экосистемы открытого ИИ.

Ключевые особенности и архитектура

ChatGLM3-6B основана на архитектуре GLM (General Language Model) с 6 миллиардами параметров, что обеспечивает баланс между производительностью и требованиями к вычислительным ресурсам.

Модель поддерживает вызов функций (function calling), позволяя интегрировать внешние API и инструменты в процесс генерации ответов. Это особенно полезно для построения агентских систем и приложений, требующих взаимодействия с реальными данными.

Возможности интерпретатора кода позволяют модели выполнять фрагменты Python-кода, что значительно расширяет ее применимость в задачах анализа данных, математических вычислений и программирования.

Агентские возможности включают планирование, вызов инструментов и управление диалогами, что делает модель подходящей для создания сложных интерактивных систем.

6 миллиардов параметров
Поддержка вызова функций (function calling)
Интерпретатор кода
Агентские возможности
Низкий порог развертывания

Производительность и бенчмарки

ChatGLM3-6B показывает улучшенные результаты по сравнению со своими предшественниками, демонстрируя более высокую точность в задачах понимания естественного языка и генерации текста.

На бенчмарке MMLU модель набирает значительные очки, превышая предыдущие версии ChatGLM благодаря более оптимизированной стратегии обучения и разнообразным обучающим наборам данных.

В задачах программирования модель показывает конкурентоспособные результаты, особенно в сравнении с другими открытыми моделями аналогичного размера.

Результаты на HumanEval и других кодовых бенчмарках свидетельствуют о способности модели эффективно решать задачи программирования и генерировать корректный код.

Ценообразование API

Поскольку ChatGLM3-6B является открытой моделью, она может быть развернута локально без затрат на использование API, что делает ее экономически выгодной для многих пользователей.

Для тех, кто предпочитает облачные сервисы Zhipu AI, стоимость использования API зависит от конкретного тарифного плана и объема запросов.

Бесплатный уровень доступности позволяет исследователям и стартапам экспериментировать с моделью без значительных финансовых вложений.

Сравнение по стоимости на миллион токенов показывает, что ChatGLM3-6B предлагает хорошее соотношение цена-качество по сравнению с коммерческими аналогами.

Таблица сравнения

Эта таблица сравнивает ChatGLM3-6B с двумя другими популярными моделями, чтобы показать ключевые различия в возможностях и ценах.

Применение

ChatGLM3-6B особенно подходит для задач, требующих вызова функций и интеграции с внешними системами. Это делает модель идеальной для построения чат-ботов с расширенной функциональностью.

Модель также эффективна в задачах программирования благодаря встроенному интерпретатору кода, что полезно для автоматизации разработки и решения математических задач.

Агентские возможности открывают возможности для создания интеллектуальных помощников, способных выполнять сложные многоступенчатые задачи.

Также модель подходит для систем извлечения и генерации (RAG), где требуется точное понимание контекста и генерация ответов на основе внешних знаний.

Начало работы

Доступ к ChatGLM3-6B возможен через официальный репозиторий на GitHub, где можно найти инструкции по установке и запуску модели локально.

Для разработчиков доступны SDK и API-интерфейсы, позволяющие интегрировать модель в собственные приложения.

Официальная документация содержит примеры кода и рекомендации по оптимизации производительности.

Сообщество разработчиков активно поддерживает проект, предоставляя плагины, адаптеры и дополнительные инструменты для расширения функциональности.

Comparison

API Pricing — Input: Free (open source) / Output: Free (open source) / Context: Model can be deployed locally without API costs

Sources

ChatGLM3 README