Блог

GShard от Google: первый в истории языковой модель масштаба 600B MoE

Google представила революционную языковую модель GShard с 600 миллиардами параметров на основе архитектуры Mixture of Experts, установив новый стандарт для машинного перевода и обработки естественного языка.