DeepSeekMath: Как 7B модель перевернула представление о математическом рассуждении

Введение: Новая эра математического AI

В мире больших языковых моделей (LLM) долгое время считалось, что для решения сложных математических задач требуются сотни миллиардов параметров. Однако релиз DeepSeekMath от команды DeepSeek 5 февраля 2024 года разрушил этот стереотип. Это не просто очередная языковая модель, а узкоспециализированный инструмент, ориентированный на логику и математическое мышление.

DeepSeekMath доказывает, что качество данных и архитектура обучения важнее грубой силы параметров. Для разработчиков и AI-инженеров этот релиз стал сигналом: специализированные малые модели (SLM) могут конкурировать с проприетарными гигантами в конкретных доменах, таких как STEM, при этом оставаясь доступными и эффективными.

• Специализация: Математические рассуждения и логика
• Тип: Open-source (открытые веса)
• Ключевой прорыв: Эффективность обучения через RL

Архитектура и процесс обучения: Сила DeepSeekMath Corpus

В основе DeepSeekMath лежит уникальный подход к подготовке данных. Вместо использования стандартных наборов данных, команда DeepSeek разработала DeepSeekMath Corpus — массив из 120 миллиардов токенов естественного языка, специально извлеченных из Common Crawl и очищенных для математического контекста. Это позволило модели выучить не просто формулы, а логические цепочки, стоящие за ними.

Модель имеет 7 миллиардов параметров, что делает её невероятно компактной по сравнению с современными флагманами. Однако именно этот объем позволяет ей работать на потребительском оборудовании, сохраняя при этом высочайшую плотность знаний. Основной упор был сделан на то, чтобы база модели была максимально 'насмотренной' в области математической логики еще до этапа дообучения.

• Параметры: 7B
• Объем обучающего корпуса: 120B токенов
• Источник данных: DeepSeekMath Corpus (на базе Common Crawl)

Прорыв в Reinforcement Learning: Алгоритм GRPO

Одним из самых значимых технических достижений, представленных вместе с DeepSeekMath, стало внедрение GRPO (Group Relative Policy Optimization). Это облегченный алгоритм обучения с подкреплением (RL), который оптимизирует политику модели, сравнивая её ответы внутри группы. Этот метод стал предтечей технологий, которые позже легли в основу знаменитой DeepSeek-R1.

DeepSeekMath-7B-RL продемонстрировала, что Reinforcement Learning, наложенный на сильную базовую модель, способен извлечь максимум математического потенциала. Вместо того чтобы просто предсказывать следующий токен, модель учится проверять свои рассуждения, что критически важно для задач, где ошибка в одном знаке делает весь ответ неверным.