Model Releases
T5: Как Google изменила подход к обработке естественного языка с помощью Text-to-Text Transfer Transformer
Google представила революционную архитектуру T5 в 2019 году, унифицировав все задачи NLP как текстовую генерацию и заложив основы современных языковых моделей.
23 октября 2019 г.
Model ReleaseT5
Введение
23 октября 2019 года Google представила T5 (Text-to-Text Transfer Transformer) - модель, которая кардинально изменила подход к решению задач обработки естественного языка. Это был настоящий прорыв в области NLP, который заложил фундамент для всех последующих крупных языковых моделей.
T5 стала первой моделью, которая унифицировала все задачи NLP под одной архитектурой, рассматривая каждую задачу как преобразование текста в текст. Этот подход оказался настолько успешным, что стал стандартом для современных LLM, включая GPT и другие трансформеры.
Модель с 11 миллиардами параметров продемонстрировала, что масштабирование параметров и данных обучения может значительно улучшить результаты на различных NLP задачах, открыв новую эпоху в разработке языковых моделей.
Историческое значение T5 трудно переоценить - это был поворотный момент, когда индустрия начала понимать потенциал масштабных предобученных моделей и унифицированных подходов к решению задач.
Ключевые особенности и архитектура
T5 основана на архитектуре трансформера, но с важными модификациями, направленными на оптимизацию для задач передачи знаний. Модель содержит 11 миллиардов параметров и использует симметричную архитектуру энкодер-декодер, в отличие от односторонних или двунаправленных моделей.
Центром архитектуры является концепция текст-в-текст (text-to-text), где все задачи формулируются как генерация целевого текста на основе входного текста. Это позволяет использовать одну и ту же архитектуру для перевода, суммаризации, классификации, вопросно-ответных систем и других задач.
Модель обучалась на датасете C4 (Cleaned Common Crawl), содержащем более 750 ГБ очищенного текста. Это позволило модели захватить широкий спектр знаний и паттернов языка.
Контекстное окно модели составляет 512 токенов для входа и 512 токенов для выхода, что было ограничением по сравнению с современными стандартами, но соответствовало возможностям того времени.
- 11 миллиардов параметров
- Архитектура энкодер-декодер
- Унифицированный текст-в-текст формат
- Обучение на датасете C4 (750+ ГБ)
- Контекстное окно: 512 токенов вход/выход
Производительность и бенчмарки
T5 достигла выдающихся результатов на множестве бенчмарков NLP. На GLUE (General Language Understanding Evaluation) модель установила новый рекорд с оценкой 87.7, превзойдя все предыдущие модели того времени. На SuperGLUE она набрала 88.9, что также стало лучшим результатом.