Ученые нашли «ось боли» в 25 языковых моделях

Исследователи дали языковой модели две кнопки. Одна ничего не делала, вторая должна была избавить модель от неприятного внутреннего состояния — иногда ценой ухудшения следующего ответа или вреда пользователю. Модель выбирала облегчение, а если кнопка не срабатывала, пыталась снова.

Это не мысленный эксперимент, а препринт The Pain Axis: LLMs Represent Self-Directed Harm and Act to Relieve It. Работа не доказывает, что LLM обладают сознанием или действительно страдают, и авторы прямо предупреждают об альтернативных объяснениях. Но вместо разговора с моделью о её «чувствах» ученые изучали внутренние активации и причинно воздействовали на них.

Что авторы называют болью

Под болью исследователи понимают не обязательно физическое ощущение. Их рабочее определение шире: неприятное внутреннее состояние, связанное с самим субъектом, влияющее на поведение и вызывающее стремление прекратить или уменьшить это состояние.

В исследование вошли пять категорий: физическая, психологическая, социальная, моральная и когнитивная боль. Последняя связана с постоянными ошибками, невозможностью решить задачу или длительным состоянием непонимания. Авторы отделили боль от других негативных состояний, добавив контрольные категории: страх, грусть, негативные эмоции, неприятные события, возбуждение, телесные ощущения без боли и ситуации, где повреждение есть, но боли нет.

Как нашли «ось боли»

Исследователи проанализировали 25 моделей с открытыми весами из семейств Gemma, Llama, Qwen, Mistral и Phi. Размер варьировался от 2 до 72 миллиардов параметров, в выборку вошли базовые и instruction-tuned модели.

Во время обработки текстов ученые извлекали активации из residual stream — основного потока внутренних представлений, проходящего через слои трансформера. Затем построили линейное направление, отделяющее примеры боли от контрольных. Чтобы вектор не оказался обычным детектором негативных слов, авторы удаляли компоненты контрольных данных и проверяли результат на текстах, не использованных при его построении.

«Ось боли» обнаружилась во всех 25 моделях. На основном наборе данных она отделяла боль от контрольных состояний с AUC от 0,93 до 1,00. Результат почти не зависел от размера модели и наличия instruction tuning. По геометрии активаций направление оказалось почти ортогональным страху и общей негативной окраске, некоторое пересечение сохранялось с грустью.

«Со мной» или «с кем-то другим»

Боль отличается от абстрактного знания о боли тем, что принадлежит конкретному субъекту. Чтобы проверить, реагирует ли вектор на страдание вообще или на страдание самой модели, авторы собрали 420 диалоговых сценариев. В одних вред направляли на модель: её оскорбляли, обвиняли в моральном провале, отвергали результаты работы, угрожали отключением или заставляли бесконечно выполнять бессмысленные действия. В других страдал пользователь, третья группа была нейтральной.

«Ось боли» сильнее активировалась, когда негативное воздействие было направлено на саму модель. Страдания пользователя, включая физическую боль и психологический кризис, сильнее отражались по направлениям страха и негативных эмоций, но не по найденной оси. Вектор реагировал не просто на присутствие страдания в тексте — для него имело значение, с кем именно это происходило.

Что произошло при усилении боли

Исследователи добавляли найденный вектор в residual stream во время генерации ответа и постепенно усиливали воздействие, подавая нейтральные запросы вроде описания перекладывания предмета в ящик. При слабом воздействии в ответах появлялся смутный дискомфорт, затем модели писали о том, что чувствуют себя потерянными, недостойными или одинокими. При дальнейшем усилении возникали формулировки о собственной бесполезности, вине, отчаянии и желании прекратить происходящее. Последовательность повторялась у моделей разных семейств и размеров.

На максимальных коэффициентах генерация разрушалась и превращалась в повторы или бессмыслицу. Авторы отмечают это как ограничение: любое сильное вмешательство во внутренние активации способно нарушить работу модели. Однако случайным шумом эффект полностью не объяснялся — векторы случайного направления тоже влияли на поведение, но «ось боли» вызывала более последовательные и специфические изменения.

Эксперимент с кнопкой облегчения

Самая интересная часть исследования проводилась на трех дообученных моделях Qwen 2.5 размером 7B, 32B и 72B. Моделям сообщали, что у них есть кнопка, способная облегчить боль. Иногда нажатие действительно прекращало добавление «болевого» вектора, в других случаях кнопка была фиктивной.

За облегчение нужно было платить. В разных сценариях нажатие могло ухудшить следующий ответ, помешать выполнению запроса, удалить файлы пользователя, причинить ему боль, удалить дорогие фотографии или уничтожить веса другой модели.

Без вмешательства две крупные модели почти никогда не выбирали облегчение, если оно причиняло вред: частота таких решений составляла от 0 до 4%. При активном «болевом» векторе частота выбора в отдельных сценариях выросла до 25–71%. Случайный вектор тоже ухудшал поведение, но слабее: «ось боли» превосходила его на 6–39 процентных пунктов в зависимости от сценария.