Epoch AI: стоимость фиксированного результата на ИИ-бенчмарках падает на 47% за квартал

Стоимость достижения фиксированного уровня производительности на отдельных ИИ-бенчмарках резко упала с 2023 года. Исследовательская организация Epoch AI, отслеживающая тренды в ИИ, оценивает снижение примерно в 47% за квартал — около 13 раз в год. По данным группы, ни одна другая трансформирующая технология не дешевела так быстро.

Речь идёт о рыночных ценах за фиксированный балл на бенчмарке, а не о чистом алгоритмическом или архитектурном прогрессе и не о реальной стоимости продуктивности. Исследователи MIT на сопоставимых данных видят снижение в 5–10 раз в год, но после вычета более дешёвого железа и ценового давления конкуренции оценивают собственно алгоритмический выигрыш примерно в 3 раза в год.

Насколько дешевле стало повторять результат o3

Epoch AI приводит пример с моделью o3 от OpenAI. В начале 2025 года o3 набрала 75% на GPQA Diamond — тесте уровня PhD по науке — при оценочной стоимости 30 центов за вопрос. Позже модель семейства GPT-5.6 достигла того же результата за четыре сотых цента. По оценке Epoch AI, это 1/725 от исходной цены.

Анализ Epoch AI опирается на пять бенчмарков, охватывающих математику, науку и логические задачи. Из-за узкой выборки организация называет свои выводы «разумными, но приблизительными измерениями на основе лучших доступных данных».

Что именно объясняет падение

Ханс Гундлах и его коллеги из MIT используют данные платформы сравнения Artificial Analysis за период с апреля 2024 по ноябрь 2025 года и оценивают гораздо больше моделей на тест, чем предыдущие исследования. Их цифры ниже, чем у Epoch AI, отчасти потому, что новые reasoning-модели могут тратить дополнительный test-time compute на сложные задачи, повышая стоимость правильного ответа даже при падении цены за токен.

Когда MIT разбирает, что толкает цены вниз, часть приходится на более дешёвое железо, часть — на конкуренцию. Чтобы исключить эффект конкуренции, исследователи отдельно смотрят на открытые модели. Остаётся чистый алгоритмический выигрыш — около 3 раз в год. Показатель Epoch AI в 13 раз выше, потому что не вычитает эффекты железа и конкуренции.

MIT также обнаружил, что часть прироста производительности объясняется просто большими затратами вычислений. Новая модель, обходящая предшественницу на GPQA Diamond, выглядит как прогресс со стороны, но авторы оценивают, что значительная доля улучшения связана с использованием большего объёма вычислений на вопрос. Она набирает больше баллов и стоит дороже в запуске. На бенчмарках по коду и математике наблюдается меньшая версия той же закономерности.

Есть и проблема «benchmaxxing»: ИИ-компании могут оптимизировать модели под известные тесты, завышая баллы без реальной отдачи. Epoch AI пытается этому противостоять, включая тест «Mystery Game Puzzles», основанный на державшейся в секрете игре. На этом тесте цены падают медленнее всего, что согласуется с теорией benchmaxxing, но может объясняться и форматом задачи, и шумом в данных.

Средние цены плохо помогают при выборе модели под конкретную задачу. Платформы вроде Artificial Analysis ранжируют модели по качеству, цене, задержке, размеру контекстного окна и скорости вывода, и самый дешёвый вариант редко выигрывает по всем параметрам.