Model Releases
RoBERTa от Meta AI: Революционная оптимизация BERT для NLP
RoBERTa от Meta AI стал ключевым прорывом в области обработки естественного языка, доказав, что BERT был значительно недообучен.
26 июля 2019 г.
Model ReleaseRoBERTa
Введение
RoBERTa (Robustly Optimized BERT Pretraining Approach) - это значимый языковой модель, разработанный Meta AI и выпущенный 26 июля 2019 года. Модель стала важным шагом вперед в области обработки естественного языка, представив более оптимальный подход к предварительной подготовке по сравнению с оригинальным BERT.
RoBERTa доказал, что оригинальный BERT был значительно недообучен, и достиг новых рекордов точности на различных бенчмарках NLP благодаря улучшенной стратегии обучения и увеличенному объему данных. Этот выпуск стал важным поворотным моментом в эволюции трансформерных моделей.
Модель была разработана командой исследователей из Facebook AI Research (ныне Meta AI) и сразу же получил признание научного сообщества за свои инновационные методы оптимизации и масштабирования обучения.
RoBERTa стал важным инструментом для разработчиков и исследователей NLP, открыв новые возможности для задач понимания языка, классификации текста и других приложений.
Ключевые особенности и архитектура
RoBERTa основывается на архитектуре трансформера и использует ту же базовую структуру, что и BERT, но с важными модификациями в стратегии обучения. Модель имеет 355 миллионов параметров, что делает его одной из самых крупных моделей того времени.
Основное отличие заключается в отказе от предобучения с Next Sentence Prediction (NSP), что позволило сосредоточить все вычислительные ресурсы на задаче Masked Language Modeling. Также использовалась динамическая маскировка токенов вместо статической.
Архитектура модели включает 12 слоев (для версии base) или 24 слоя (для версии large), 12 или 16 голов внимания соответственно, и скрытое пространство размером 768 или 1024. Размер словаря составляет 50,000 токенов.
Модель обучалась на увеличенном наборе данных по сравнению с BERT, включая BookCorpus, English Wikipedia, CC-News, OpenWebText и Stories, что обеспечило более широкое понимание контекста и языковых паттернов.
- 355 миллионов параметров
- Отказ от NSP предобучения
- Динамическая маскировка токенов
- Увеличенный объем данных для обучения
Производительность и бенчмарки
RoBERTa продемонстрировал выдающиеся результаты на различных бенчмарках NLP, включая GLUE, SQuAD и RACE. На GLUE он достиг 88.5 GLUE Score, что стало новым рекордом на тот момент, превзойдя оригинальный BERT на несколько процентных пунктов.
На SQuAD 2.0 модель достигла F1-меры 88.9, а на RACE - точности 83.2%, что также превышало результаты предшественников. Эти улучшения были достигнуты исключительно за счет лучшей стратегии обучения, без изменений в архитектуре.