Yi 34B: Открытая билингвальная модель от 01.AI, конкурирующая с Llama 2 70B

Введение

В быстро развивающемся мире больших языковых моделей появилась новая значимая фигура, способная изменить ландшафт открытого ИИ. Yi 34B, разработанная китайской компанией 01.AI, основателем которой является легендарный Кай-Фу Ли, представляет собой революционный шаг вперед в области билингвальных моделей. Эта 34-миллиардная параметрическая модель не только поддерживает английский и китайский языки на высоком уровне, но и демонстрирует конкурентоспособную производительность по сравнению с гораздо более крупными моделями, такими как Llama 2 70B.

Релиз модели 2 ноября 2023 года ознаменовал важный момент в развитии открытого ИИ в Азии. Yi 34B стала первой моделью в семействе Yi, которое включает как языковые, так и мультимодальные возможности. С момента своего запуска она получила признание за свои выдающиеся результаты в различных бенчмарках, особенно в задачах, требующих понимания как английского, так и китайского языков.

Модель была обучена на 3 триллионах токенов и предлагает контекстное окно 4096 токенов, что делает ее подходящей для широкого спектра приложений, от простых чат-ботом до сложных систем анализа данных. Архитектура трансформера, лежащая в основе Yi 34B, обеспечивает эффективную обработку последовательностей и качественное понимание контекста.

Для разработчиков и инженеров ИИ Yi 34B предлагает привлекательную комбинацию производительности, доступности и лицензионной гибкости. Модель доступна под лицензией Apache 2.0, что позволяет использовать её как в академических, так и в коммерческих проектах без серьезных ограничений.

Ключевые особенности и архитектура

Yi 34B основана на современной архитектуре трансформера с рядом оптимизаций, специально разработанных для билингвального понимания. Модель использует 34 миллиарда параметров, что значительно меньше, чем у некоторых конкурентов, но компенсирует это эффективным дизайном и тщательной предварительной подготовкой данных. Основные характеристики включают контекстное окно 4096 токенов и поддержку как английского, так и китайского языков на равных уровнях.

Семейство Yi также включает варианты с увеличенным контекстом (до 200K), модели для чатов и мультимодальные версии (Yi-VL). Это свидетельствует о гибком подходе к дизайну архитектуры, позволяющем адаптировать базовую модель под различные сценарии использования. Модель была обучена на диверсифицированном наборе данных объемом 3 триллиона токенов, что обеспечивает хорошее покрытие различных тем и стилей написания.

Особое внимание было уделено билингвальному пониманию, что делает Yi 34B особенно ценной для приложений, работающих с китайско-язычной аудиторией или требующих мультиязычной поддержки. Модель показывает сопоставимую производительность на английских и китайских бенчмарках, что не всегда характерно для других моделей.

Архитектура также включает оптимизации для эффективного вывода, что важно для реальных приложений. Память видеокарты, необходимая для запуска модели, составляет примерно 17.6 ГБ для версии Yi-9B, а более крупная 34B-версия требует соответствующего увеличения ресурсов.

• 34 миллиарда параметров
• Контекстное окно 4096 токенов
• Поддержка английского и китайского языков
• Обучение на 3 триллионах токенов
• Лицензия Apache 2.0
• Мультимодальные версии (Yi-VL)

Производительность и бенчмарки

Yi 34B показала впечатляющие результаты в различных независимых бенчмарках, часто превосходя модели с большими параметрами. На Hugging Face Open LLM Leaderboard Yi-34B заняла первое место среди всех существующих открытых моделей как в английских, так и в китайских категориях. В бенчмарке C-Eval, специфичном для китайского языка, модель также продемонстрировала лидерские позиции.

На универсальном бенчмарке MMLU Yi 34B набрала более 70 баллов, что делает её конкурентоспособной с Llama 2 70B, несмотря на меньшее количество параметров. В CMMLU (китайская версия MMLU) модель достигла еще более впечатляющих результатов, превышая 80 баллов. Эти цифры подтверждают эффективность билингвального подхода в дизайне модели.

В тестах на кодирование, такие как HumanEval и GSM8K, Yi 34B также показала достойные результаты, хотя и немного уступая самым передовым моделям кодирования. Тем не менее, для универсальной модели это хороший баланс между языковыми и аналитическими способностями.

Мультимодальная версия Yi-VL-34B также заняла первое место в нескольких бенчмарках, включая MMMU и CMMMU, что указывает на успешную интеграцию визуальных и текстовых возможностей. Это делает семейство Yi полезным инструментом для разработчиков, работающих над мультимодальными приложениями.

Цены на API

Платформа 01.AI предоставляет доступ к Yi моделям через API с гибкой системой ценообразования. Для Yi 34B стоимость составляет 0.005 долларов США за миллион входных токенов и 0.015 долларов США за миллион выходных токенов. Это делает модель экономически эффективной для масштабных приложений.

Для новых пользователей предоставляется бесплатный уровень, который включает определенное количество токенов в месяц для пробного использования. Это позволяет разработчикам протестировать возможности модели без начальных затрат.

По сравнению с другими коммерчески доступными моделями аналогичного размера, цена Yi 34B находится на конкурентоспособном уровне. Учитывая её билингвальные способности и высокую производительность, соотношение цена-качество делает её привлекательным выбором для многих приложений.

Платформа также предлагает различные уровни обслуживания в зависимости от объема использования, что позволяет масштабировать использование по мере роста потребностей проекта.

Таблица сравнения

Сравнение Yi 34B с ключевыми конкурентами показывает её сильные стороны в билингвальном понимании и общей производительности.

Сценарии использования

Yi 34B особенно хорошо подходит для приложений, требующих билингвального понимания. Это включает в себя системы поддержки клиентов, работающие как с англо-, так и с китайско-говорящими пользователями, системы перевода и локализации, а также образовательные платформы. Благодаря своей универсальности модель может использоваться для генерации текста, суммаризации, классификации и анализа данных.

Для разработчиков программного обеспечения Yi 34B может быть полезна в задачах генерации кода, написания документации и автоматического тестирования. Хотя она не является специализированной моделью для кодирования, её аналитические способности остаются на хорошем уровне.

Модель также подходит для построения RAG (Retrieval-Augmented Generation) систем, особенно в мультиязычных средах. Её способность понимать контекст на двух языках делает её идеальным выбором для корпоративных знаниевых баз, содержащих информацию на английском и китайском языках.

В сфере чат-ботов и ассистентов Yi 34B демонстрирует отличные результаты благодаря отдельной настройке чат-моделей в семействе Yi. Это делает её подходящей для создания человеческих чат-ботов и систем поддержки.

Начало работы

Доступ к Yi 34B можно получить через официальную платформу 01.AI (platform.01.ai), где предоставляются подробные документы по API и SDK для различных языков программирования. Модель также доступна на Hugging Face Hub по адресу huggingface.co/01-ai/Yi-34B, где можно скачать веса модели для локального использования.

Для начала работы рекомендуется зарегистрироваться на платформе 01.AI и получить API-ключ. Документация включает примеры вызовов API, руководства по интеграции и лучшие практики использования модели. Также доступны предварительно обученные чат-модели для быстрого внедрения.

Сообщество разработчиков активно поддерживает проект, предоставляя примеры использования, плагины и инструменты интеграции. Это упрощает процесс внедрения Yi 34B в существующие системы.

Для исследовательских целей модель может быть загружена бесплатно с Hugging Face под лицензией Apache 2.0, что позволяет использовать её в академических и коммерческих проектах без ограничений.

Comparison

Model: Yi 34B | Context: 4096 | Max Output: 4096 | Input $/M: 0.005 | Output $/M: 0.015 | Strength: Strong bilingual (EN/ZH)

Model: Llama 2 70B | Context: 4096 | Max Output: 4096 | Input $/M: 0.015 | Output $/M: 0.030 | Strength: English-focused, general purpose

Model: Falcon 180B | Context: 2048 | Max Output: 2048 | Input $/M: 0.020 | Output $/M: 0.040 | Strength: High parameter count

Model: Yi-VL 34B | Context: 4096 | Max Output: 4096 | Input $/M: 0.008 | Output $/M: 0.025 | Strength: Multimodal (text + vision)

API Pricing — Input: 0.005$/M tokens / Output: 0.015$/M tokens / Context: 4096 tokens

Sources