ChatGLM2: Второе поколение мощной модели Zhipu AI с улучшенной производительностью и контекстом 32K

Введение

ChatGLM2 представляет собой значительное обновление в семействе моделей GLM от Zhipu AI, выпущенное 25 июня 2023 года. Это второе поколение архитектуры GLM, которое демонстрирует значительные улучшения в скорости обработки, контекстном окне и специализированных задачах, таких как математика и программирование.

Модель с параметрами 6 миллиардов (6B) была разработана как открытый проект, что делает её доступной для исследовательского сообщества и разработчиков. Она особенно привлекательна для тех, кто ищет эффективную модель для задач, требующих длинного контекста и высокой вычислительной производительности.

ChatGLM2 продолжает традицию Zhipu AI создавать передовые языковые модели, но при этом остается энергоэффективным решением благодаря оптимизированной архитектуре.

Выпуск этой модели стал важным шагом в развитии открытых ИИ-моделей, особенно в китайскоязычном сегменте.

Ключевые особенности и архитектура

ChatGLM2 основана на архитектуре Transformer с 6 миллиардами параметров. Основной особенностью является увеличенное контекстное окно до 32 768 токенов (32K), что позволяет модели обрабатывать значительно большие объемы текста за один проход.

Архитектура включает в себя оптимизации для ускорения инференса, такие как эффективная реализация внимания (attention mechanism) и оптимизация вычислений. Это позволило достичь на 42% более быстрой обработки по сравнению с первой версией GLM.

Модель не использует архитектуру Mixture-of-Experts (MoE), вместо этого полагаясь на плотную сеть для обеспечения стабильной производительности.

Также стоит отметить поддержку различных форматов ввода и вывода, что делает её гибкой для различных приложений.

• Параметры: 6B
• Контекстное окно: 32K токенов
• Увеличенная скорость инференса на 42%
• Оптимизированная архитектура Transformer

Производительность и бенчмарки

ChatGLM2 показывает улучшенные результаты в задачах, связанных с математикой и программированием. На бенчмарках, таких как MMLU и HumanEval, модель превосходит свои предыдущие версии, демонстрируя более глубокое понимание логических и вычислительных задач.

На бенчмарке MMLU модель набрала ~65%, что является значительным улучшением по сравнению с оригинальным ChatGLM. В задачах кодирования (HumanEval) точность также повысилась примерно до 35%, что делает её конкурентоспособной среди других моделей среднего размера.