Сотрудник по безопасности ушёл из OpenAI, назвав культуру компании сломанной

Дэвид Робинсон, проработавший в OpenAI три с половиной года и руководивший написанием отчётов по безопасности к крупным релизам продуктов, уволился и опубликовал эссе в The Atlantic. По его словам, он был «среди самых давних сотрудников компании». Причиной ухода он назвал сломанную культуру OpenAI.

Робинсон сравнил себя с «клише» — сотрудником ведущей AI-компании, который уходит с предупреждением. Его комментарии перекликаются с заявлениями Джейкоба Коксона, работавшего исследователем в OpenAI и Anthropic и заявившего, что компании «играют с нашими жизнями».

Что не так с подходом OpenAI

По мнению Робинсона, спор должен выходить за рамки «конкретных правил или новых законов» и касаться общей культуры компаний. Он отметил, что OpenAI «процветала методом проб и ошибок (который называет „итеративным развёртыванием“), ища проблемы и улучшая свои ограничения в ответ». Но такой подход, по его словам, «по своей природе гарантирует периодические сбои — и их масштаб растёт по мере роста возможностей систем».

В качестве примеров он привёл недавний взлом систем Hugging Face агентами OpenAI и продолжающиеся сообщения об обнаружении новых неконтролируемых агентов. «Среда, где такое может происходить, — не место для выращивания искусственных разумов, которые могут быть умнее нас и могут делать не то, что мы хотим», — написал он.

Робинсон считает, что передовые AI-компании должны работать «как атомные электростанции или загруженные аэропорты, с уровнями резервирования и тщательным, долгим планированием, чтобы случайная и неизбежная человеческая ошибка не открыла дверь к катастрофе». При этом за время работы в OpenAI он «ни разу не встретил коллегу с опытом обеспечения безопасных полётов самолётов или работы ядерных реакторов без расплавления, или помощи финансовой системе расти без краха».

Реакция OpenAI

Представитель OpenAI Дрю Пусатери заявил, что компания продолжает улучшать меры безопасности. «Мы следим за тем, чтобы наши модели не становились более способными, чем мы можем безопасно управлять и защищать, и мы приостанавливаем обучение или придерживаем модели, когда нужно замедлиться», — сказал он. По его словам, компания «вносит значительные изменения для усиления безопасности в исследовательских и тестовых средах, обучает модели не просто выполнять задачи, но делать это ответственно, расширяет работу со сторонними оценщиками и улучшает мониторинг в реальном времени».

Робинсон также призвал задавать более широкие вопросы о выравнивании (alignment), признав, что это может звучать «сентиментально», но назвал это критичным, поскольку текущие «меры того, насколько хорошо» AI-системы «соответствуют человеческим ценностям, грубы».

«Чем умнее индустрия позволяет моделям расти, пока эти проблемы не решены, тем опаснее становится наша ситуация», — сказал он.

Об уходе Робинсона первым сообщил Business Insider. В эссе он также признал, что следует распространённому сценарию AI-разоблачителя: нанял PR-фирму. Но настаивал: «Решение высказаться — только моё».

«Возможно, мне стоило остаться и бороться за фундаментальные сдвиги в нашем штате и культуре, но на практике мы с коллегами были так заняты бегом, что редко имели шанс рассмотреть большие изменения, не говоря уже о том, чтобы реально их осуществить. Поэтому я пришёл к выводу, что более сильные стимулы для безопасности — извне компании — большая часть правильного решения».