Введение

InstructGPT, выпущенная OpenAI 27 января 2022 года, стала поворотным моментом в эволюции языковых моделей. Эта 175-миллиардная модель не просто улучшила предыдущие версии, но ввела революционный подход к обучению моделей следовать человеческим инструкциям безопасно и эффективно. Это был важнейший шаг в направлении создания ИИ, который действительно понимает и выполняет задачи так, как ожидают люди.

Модель стала промежуточным этапом между GPT-3 и GPT-3.5, но её значение трудно переоценить. InstructGPT заложила основы для всех последующих моделей, которые мы видим сегодня, включая ChatGPT и более поздние версии GPT. Она доказала, что можно создать модель, которая не только генерирует качественный текст, но и следует инструкциям, минимизируя небезопасные или нежелательные ответы.

Для разработчиков и инженеров по ИИ InstructGPT стала поворотной точкой в понимании того, как можно использовать обучение с подкреплением для улучшения поведения языковых моделей. Это стало началом новой эры в области ИИ, где модели не просто предсказывают следующее слово, а действительно стремятся выполнить конкретные задачи, заданные пользователем.

Ключевые особенности и архитектура

InstructGPT основана на архитектуре GPT-3, но содержит 175 миллиардов параметров и была обучена с использованием новаторской техники RLHF (Reinforcement Learning from Human Feedback). В отличие от оригинального GPT-3, который обучался только на задаче предсказания следующего слова, InstructGPT прошла дополнительное обучение для выполнения инструкций, данных человеком.

Модель использует контекстное окно до 2049 токенов, что позволяет ей обрабатывать относительно длинные входные данные. Хотя она не поддерживает мультимодальные возможности, как более поздние модели, её фокус на текстовых инструкциях сделал её исключительно эффективной для задач, требующих точности и соблюдения указаний пользователя.

Одним из ключевых аспектов является то, что InstructGPT была обучена на разнообразных инструкциях, включая вопросы-ответы, суммаризацию, преобразование текста и другие задачи, что делает её универсальной для различных применений.

175 миллиардов параметров
Контекстное окно: 2049 токенов
Обучение с использованием RLHF
Фокус на выполнении инструкций
Базируется на архитектуре GPT-3

Производительность и бенчмарки

InstructGPT продемонстрировала значительное улучшение по сравнению с базовой GPT-3 в плане соответствия инструкциям и безопасности. В исследованиях OpenAI показали, что пользователи предпочитают ответы InstructGPT ответам GPT-3 в 85% случаев, когда речь идет о качестве и соответствии запросу. Модель также показала снижение частоты генерации нежелательного контента.

Хотя точные бенчмарки, такие как MMLU или HumanEval, не были официально опубликованы для InstructGPT как отдельной модели, она показала улучшенную способность к рассуждению и следованию инструкциям по сравнению с GPT-3. Это стало основой для всех последующих улучшений в производительности моделей OpenAI.

В тестах на соблюдение инструкций InstructGPT значительно превзошла GPT-3, особенно в задачах, где требовалось выполнение многошаговых инструкций или генерация структурированного текста. Это стало результатом применения RLHF и обучения на данных, помеченных людьми.

Ценообразование API

InstructGPT не была выпущена как отдельная коммерческая модель с фиксированным ценообразованием. Вместо этого она стала частью общего API OpenAI, где используется как одна из доступных версий. Стоимость использования зависит от выбранной модели в API OpenAI, и InstructGPT-подобные модели были доступны по тем же тарифам, что и другие версии GPT.

В 2022 году цена составляла примерно 0.02 доллара США за 1000 токенов для входных данных и 0.02 доллара США за 1000 токенов для выходных данных. Бесплатный уровень был ограничен, что позволяло разработчикам тестировать модели без больших затрат.

С экономической точки зрения, InstructGPT стала более выгодной альтернативой GPT-3 для приложений, требующих высокого качества выполнения инструкций, поскольку уменьшение количества итераций и ошибок компенсировало чуть более высокую стоимость за токен.

Таблица сравнения

Сравнение InstructGPT с конкурентами и предыдущими версиями показывает её значимость в истории развития языковых моделей. Хотя она не самая мощная по характеристикам, её фокус на выравнивании с человеческими предпочтениями делает её уникальной.

Применение

InstructGPT идеально подходит для задач, требующих четкого следования инструкциям, таких как генерация текста по шаблону, ответы на вопросы, суммаризация документов и создание контента. Её способность понимать и выполнять инструкции делает её отличным выбором для чат-ботов и систем поддержки.

Модель также хорошо работает в сценариях RAG (Retrieval-Augmented Generation), где важно, чтобы модель точно следовала инструкциям на основе предоставленного контекста. Для разработчиков это означает меньшее количество ошибок и более предсказуемое поведение.

Хотя InstructGPT не была оптимизирована для кодирования, её способность понимать инструкции сделала её полезной для генерации кода по описанию, особенно в сочетании с другими инструментами.

Начало работы

InstructGPT доступна через API OpenAI, и разработчики могут начать использовать её, зарегистрировавшись на платформе OpenAI и получив API-ключ. Модель может быть вызвана через стандартный интерфейс API, с указанием модели в запросе.

Для интеграции рекомендуется использовать официальный SDK OpenAI, который предоставляет удобные методы для отправки запросов и обработки ответов. Документация содержит примеры использования для различных задач.

Разработчики могут протестировать модель бесплатно в рамках ограниченного уровня, что позволяет оценить её возможности перед переходом к платному использованию.

Comparison

API Pricing — Input: 0.02 / Output: 0.02 / Context: 2049

Sources

InstructGPT Technical Report