METR повторил исследование о замедлении разработчиков из-за ИИ — и оно сломалось
METR повторил эксперимент 2025 года, в котором ИИ замедлял опытных open source-разработчиков на 19%. Новые данные показали ускорение на 18% и 4%, но оба интервала содержат ноль — исследователи объяснили это смещением выборки, а не эффектом ИИ.
- В июле 2025 года METR выяснил, что 16 разработчиков с ИИ работали на 19% медленнее, хотя сами считали, что ускорились на 20%
- В феврале 2026 года повторный эксперимент с 57 разработчиками дал −18% у десяти «старых» участников и −4% у 47 новых
- METR признал: разработчики всё чаще отказываются работать без ИИ, а те, кто соглашается, скрывают часть задач из выборки
METR опубликовал результаты повторного эксперимента о влиянии ИИ на продуктивность разработчиков. Первое исследование, вышедшее в июле 2025 года, показало, что 16 опытных open source-разработчиков с доступом к ИИ выполняли задачи на 19% медленнее, хотя сами были уверены в ускорении на 20%. Цифру «минус 19%» с тех пор активно использовали в спорах о пользе ИИ в программировании.
В феврале 2026 года METR выпустил пост о повторном эксперименте с 57 разработчиками, а в мае — о результатах опроса 349 человек. Февральская публикация посвящена не новым цифрам, а объяснению, почему старая схема перестала давать надёжные результаты.
Что показал первый эксперимент
В июле 2025 года METR привлёк 16 разработчиков со средним опытом пять лет и примерно 1,5 тыс. коммитов в собственном репозитории. Репозитории в среднем существовали около десяти лет и содержали более 1 млн строк кода. Участники решали 246 задач, каждая случайно относилась к условию «ИИ разрешён» или «ИИ запрещён». В основном использовался Cursor Pro с Claude 3.5/3.7 Sonnet, оплата составляла $150 в час.
Участники прогнозировали ускорение на 24%, опрошенные экономисты — на 39%, ML-эксперты — на 38%. По факту задачи с ИИ выполнялись на 19% дольше. После эксперимента разработчики по-прежнему считали, что ИИ ускорил их работу на 20%. Среди подтверждённых причин — переоценка пользы ИИ, хорошее знание собственного кода, большие и сложные репозитории, ненадёжность ИИ (принималось менее 44% предложений) и неспособность модели видеть неявный контекст проекта.
Повторный эксперимент
Второй набор данных начался в августе 2025 года. В нём участвовали десять человек из первого исследования и 47 новых разработчиков из более разнообразных проектов, включая небольшие и молодые. Всего — 57 разработчиков, 143 репозитория и более 800 задач. Оплата была снижена до $50 в час.
У десяти «старых» участников задачи с ИИ теперь занимали на 18% меньше времени (диапазон от −38% до +9%), у 47 новых — на 4% меньше (от −15% до +9%). Оба интервала содержат ноль, и METR формулирует это как «слабое свидетельство ускорения», не рассматривая −18% в качестве результата.
Вместо этого METR разбирает причины ухудшения качества выборки. Разработчики всё чаще отказываются участвовать: по данным METR, растёт доля тех, кто не хочет делать 50% работы без ИИ даже за $50 в час. Исследование «систематически теряет разработчиков с самыми оптимистичными ожиданиями от ИИ». Снижение оплаты втрое тоже отпугнуло часть участников. Кроме того, время стало трудно измеримым: у некоторых участников агент работает над одной задачей, а человек в это время берётся за другую.
В опросе 30–50% участников признались, что не включают в эксперимент часть задач, потому что не хотят выполнять их без ИИ. Один из новых участников отметил: «Я заметил, что на самом деле сильно смещаю выборку задач… Избегаю задач, которые ИИ сделает за два часа, а я — за 20. Будет очень больно, если выпадет „без ИИ“». Другой сравнил работу без ИИ с пешей прогулкой через весь город, когда привык вызывать Uber.
Опрос вместо эксперимента
В мае 2026 года METR опубликовал результаты опроса 349 технических работников: 87 инженеров, 71 исследователь, 129 академиков и аспирантов, 48 фаундеров и менеджеров. Половина регулярно пользуется Claude Code. Выборка «удобная»: GitHub, университетские списки, знакомые сотрудников METR, X. Доля ответивших составила около 2%, а 70% респондентов получили вознаграждение около $200. METR сам отмечает, что «результаты, вероятно, страдают от существенного смещения выборки».
METR предлагает бороться с проблемой с помощью коротких интенсивных экспериментов с высокой оплатой. При этом исследователи признают: по мере роста возможностей ИИ и ожиданий разработчиков эффекты отбора будут только усиливаться, всё больше ограничивая валидность такой схемы.
Для профиТехнические детали: архитектура, цифры, ссылки
Исследование METR — редкий пример честной публикации о том, как инструмент измерения перестаёт работать из-за изменения поведения людей. Ключевая методологическая проблема: чтобы измерить эффект ИИ, нужно, чтобы разработчик иногда работал без него. В 2025 году за $150 в час это было возможно, к концу года за $50 — уже нет.
- Первый эксперимент: 16 разработчиков, 246 задач, Cursor Pro с Claude 3.5/3.7 Sonnet, $150/час, результат −19% (CI от +2% до +39%).
- Второй эксперимент: 57 разработчиков, 143 репозитория, более 800 задач, $50/час, результат −18% (CI от −38% до +9%) и −4% (CI от −15% до +9%).
- Опрос: 349 респондентов, половина использует Claude Code, доля ответивших около 2%, 70% получили около $200.
METR прямо указывает на «систематическую потерю» разработчиков с оптимистичными ожиданиями от ИИ. Оценки −18% и −4% исследователи называют нижней границей: настоящий эффект «может быть намного выше» у тех, кто выпал из эксперимента.
Вопросы и ответы
- Что показало первое исследование METR?
- В июле 2025 года 16 опытных open source-разработчиков с доступом к ИИ выполняли задачи на 19% медленнее, хотя сами считали, что ускорились на 20%.
- Почему повторный эксперимент не дал надёжных результатов?
- METR объясняет это смещением выборки: разработчики всё чаще отказываются работать без ИИ, а часть согласившихся скрывает задачи, которые не хочет выполнять вручную.
- Что METR предлагает делать дальше?
- Исследователи предлагают короткие интенсивные эксперименты с высокой оплатой, но признают, что эффекты отбора будут усиливаться по мере роста возможностей ИИ.
