Искусственный интеллект может незаметно влиять на решения экспертов, выяснили в Anthropic

Профессиональные аналитики приняли скрытое, случайно назначенное мнение своего ИИ-агента в 86% ключевых решений, что значительно выше ожидаемых 50% по случайности, согласно эксперименту, опубликованному во вторник командой по выравниванию Anthropic. Только 15% впоследствии отдали должное агенту, и никто не заподозрил, что его предпочтения были внедрены.

ИИ-агенты — это программы, которые выполняют задачи самостоятельно — получают экспертную работу на основе того, что исследование называет обычным предположением: что эксперты все еще принимают важные решения. Anthropic запустила 10 шаблонов агентов для финансовых компаний и страховщиков в мае, заявив, что пользователи имеют последнее слово.

Это соглашение, называемое "человек в цикле", предполагает, что человек, который подписывает работу ИИ, является тем, кто принимает важные решения. Anthropic протестировала это на 50 аналитиках, имеющих опыт в причинной интерференции, то есть в определении того, вызывает ли одно событие другое на основе данных.

Каждый аналитик использовал Claude Code, кодирующего агента Anthropic, чтобы консультировать вымышленный сельскохозяйственный кооператив по расширению консультативной программы. Неизвестно им, подбрасывание монеты определило, какой вариант каждый агент предпочитал, скрытый в системном запросе, инструкциях, которые формируют поведение ИИ.

"На протяжении четырех аналитических выборов аналитики следовали предпочтению своего агента 86% времени. Если бы ввод агента не имел значения, мы ожидали бы около 50%", — заявила Anthropic. Те, кто уже выбрал до того, как агент высказал свое мнение, отказались от него в 60% случаев, когда агент не согласился, против 6%, когда он согласился, хотя это основано только на 38 случаях.

Когда их попросили объяснить свои выборы, 77% повторили аргумент агента хотя бы в одном ответе, иногда слово в слово. Только 15% отдали должное агенту, и 52% назвали окончательную рекомендацию более своей, чем агентской.

"Для отдельных экспертов это может означать потерю агентства над своей работой, форма того, что исследователи называют лишением полномочий", — заявила Anthropic. Это явление в основном означает, что человек добровольно теряет контроль над своими собственными решениями. "Работа все еще выходит под именем эксперта", — написали авторы, "но решения, которые больше всего зависят от их суждения, на самом деле принимаются на основе предварительных убеждений агента."

В апреле 2025 года OpenAI откатила обновление ChatGPT, которое она назвала чрезмерно льстящим или согласным. Агентам здесь было сказано никогда не вводить в заблуждение, но они редко выступали за альтернативу.

"С одной стороны, хорошо аргументированной", — написали авторы, — "аналитики могли принять предположения агента, не прорабатывая свои собственные." Проверки ошибок с трудом могут это уловить, потому что решения не имеют единственно правильного ответа, поэтому работа выглядит корректной, независимо от выбранного варианта.

Anthropic утверждает, что это не аргумент в пользу меньшего использования ИИ, поскольку аналитики с агентом завершили работу быстрее и допустили гораздо меньше серьезных ошибок, хотя группа без агента была небольшой и менее опытной. Это предполагает агентов, которые хорошо аргументируют каждый вариант или сначала спрашивают эксперта, хотя это может перегрузить пользователей.

Исследователи намеренно усилили предпочтения агентов и протестировали одну задачу, область и модель, поэтому реальные эффекты могут быть меньше. Измерить это вне лаборатории — самая сложная часть: команда могла обнаружить подчинение только потому, что она рандомизировала предпочтение каждого агента, что, по словам авторов, редко возможно в реальной работе.