Эксперты по ИИ сильно недооценили скорость прогресса в области

Исследование Forecasting Research Institute (FRI) показало, что ведущие специалисты по искусственному интеллекту и суперпрогнозисты систематически недооценивали скорость развития области. С середины 2022 года FRI собирал прогнозы о прогрессе ИИ в рамках нескольких проектов. В первой волне панели LEAP (Longitudinal Expert AI Panel) участвовали 339 экспертов, включая 76 компьютерных учёных, 76 отраслевых специалистов, 68 экономистов и 119 специалистов по политике в сфере ИИ. Среди компьютерных учёных были 30 профессоров из топ-20 вузов и 10 из 200 самых цитируемых авторов в области ИИ. В панели также вошли суперпрогнозисты — люди с доказанным опытом точных предсказаний.

Самый большой разрыв обнаружился в математике. ИИ достиг золотого уровня на Международной математической олимпиаде в июле 2025 года — на пять лет раньше медианного прогноза экспертов и на десять лет раньше прогноза суперпрогнозистов. Эти прогнозы были собраны в 2022 году, до запуска ChatGPT, но, по данным FRI, тенденция сохранилась и после.

Эксперты в среднем оценивали вероятность фактически случившихся результатов бенчмарков в 24,6%, суперпрогнозисты — в 9,7%. Для золотой медали на математической олимпиаде эти показатели упали до 8,6% и 2,3% соответственно.

В опросе августа–сентября 2025 года эксперты оценивали медианную вероятность решения одной из задач тысячелетия к концу 2027 года всего в 10%, суперпрогнозисты — в 5,4%. По данным FRI, ИИ, возможно, уже решил такую задачу, хотя пока неясно, соответствует ли решение критериям оценки.

В исследовании возможностей ИИ в вирусологии эксперты предсказывали, что модели не сравняются с топ-командой вирусологов на бенчмарке по устранению неполадок до 2030 года. Суперпрогнозисты называли 2034 год. FRI утверждает, что это, вероятно, произошло уже в апреле 2025 года. Похожая недооценка наблюдалась и в бенчмарке по кибербезопасности.

Экономические прогнозы также оказались слишком консервативными. Медианный прогноз экспертов по максимальной годовой выручке (ARR) любой ИИ-компании на конец 2026 года составлял $20 млрд. Экономисты называли $16 млрд, суперпрогнозисты — $25 млрд. FRI приводит цифру около $100 млрд для Anthropic в сентябре 2026 года как вероятно уже достигнутую. Годовая выручка Anthropic и OpenAI (слева) значительно превысила медианные прогнозы всех опрошенных групп (справа). Даже самая высокая групповая оценка в $25 млрд оказалась намного ниже $65 млрд, о которых сообщалось в июле 2026 года.

Не все прогнозы оказались заниженными. Специалисты по биобезопасности предсказывали, что 22,5% участников, использующих языковую модель, выполнят задачи в биолаборатории. Вирусологи ожидали 40%, суперпрогнозисты — 16,2%. В контролируемом испытании только 5,2% справились с языковой моделью и доступом в интернет по сравнению с 6,6% при использовании только интернета. Языковая модель не дала измеримой разницы, хотя испытание было небольшим.

Эксперты также, возможно, переоценили беспилотные автомобили. Их медианный прогноз доли автономных поездок в США в 2027 году составлял 7,3%, тогда как проекция LLM даёт 2,5%. FRI отмечает, что прогнозы по экономическому росту, занятости и крупному ущербу от ИИ пока нельзя надёжно оценить.

При этом респонденты пересматривают ожидания в сторону повышения. Среди тех, кто прошёл оба опроса, средняя вероятность того, что ИИ станет «технологией века», выросла с 31% до 36% у экспертов и с 28% до 35% у суперпрогнозистов за девять месяцев. Обе группы теперь ожидают более значительных societal-эффектов от ИИ, чем девять месяцев назад, и присваивают highest average probability именно «технологии века», сравнимой с электричеством.

В будущем FRI планирует выделять подвыборку респондентов, ожидающих очень быстрого прогресса ИИ до 2040 года, и публиковать непрерывно обновляемые прогнозы LLM вместе с человеческими. Согласно ForecastBench, некоторые модели уже сравнялись с суперпрогнозистами по определённым типам вопросов. FRI также хочет выявить самых точных участников панели LEAP и показывать их прогнозы, когда наберётся достаточно данных.

FRI отмечает и подвох в собственных данных: недооценки становятся очевидны, как только реальность опережает прогноз, а переоценки — только после наступления срока. Поэтому промежуточный отчёт естественным образом смещён в сторону случаев, где прогнозисты были слишком осторожны. Некоторые оценки FRI также опираются на проекции LLM, использующие информацию, которой у исходных прогнозистов не было.