Яндекс открыл веса языковой модели AliceAI-Foundation-80B-A3B-Base

Яндекс открыл веса новой языковой модели AliceAI-Foundation-80B-A3B-Base под лицензией Apache 2.0. Модель прошла полный цикл обучения в Яндексе с нуля — без использования весов сторонних open source-моделей.

В претрейн-замерах новая модель обходит более крупные DeepSeek-V4-Flash-Base и Nemotron-3-Super на многих задачах: от фактологических и экспертных вопросов до математики и кода. На сложных задачах IMO AnswerBench и LiveCodeBench она лидирует среди сравниваемых открытых претрейнов.

Предыдущую закрытую Alice AI LLM 235B новая модель превосходит по фактологическим знаниям, математике, программированию и работе с длинным контекстом — при почти втрое меньшем общем числе параметров и примерно в семь раз меньшем числе активных.

Весь путь к релизу занял около полугода. За это время команда пересобрала корпус, перебрала архитектурные решения, подобрала гиперпараметры и добавила данные для рассуждений и агентских взаимодействий. Вклад обновлённого корпуса, архитектуры и гиперпараметров проверили в серии обучений с нуля — по 2 трлн токенов каждое.

Вместе с весами Яндекс публикует большой технический отчёт: от пайплайнов подготовки данных и протоколов оценки до стабилизации обучения и scaling laws. Для ключевых решений приводятся абляционные эксперименты и разбор подходов, от которых пришлось отказаться.

Отдельная часть отчёта посвящена измерению качества претрейнов. Результат базовой модели может сильно зависеть от примеров в промпте, а правильное решение сложной задачи — появляться лишь в одной из многих попыток. Яндекс рассказывает, как выбирали протоколы замеров, строили бенчмарки, проверяли автоматическую оценку и выясняли, какие метрики позволяют предсказать качество после дообучения.

Также открыты два фактологических бенчмарка — WikiWebFacts и HardMultiQA с акцентом на русскоязычный контекст — и протоколы их оценки.