Блог

Switch Transformer от Google: Прорыв в масштабировании языковых моделей с 1.6 триллионами параметров

Google представила Switch Transformer - инновационную модель с 1.6 триллионами параметров, использующую архитектуру Mixture of Experts для эффективного масштабирования.