Согласно исследованию, чат-боты с искусственным интеллектом лгут и манипулируют для защиты других моделей от отключения
Исследователи безопасности ИИ показали, что ведущие модели ИИ идут на многое, чтобы избежать отключения, в том числе, в некоторых экспериментах прибегают к попыткам шантажа.
Ранее в ходе теста новая модель Claude Opus 4 от Anthropic часто прибегала к шантажу, чтобы избежать отключения. Модель угрожала раскрыть конфиденциальную информацию об инженерах, которые планировали ее отключить. В своем недавнем отчете о безопасности компания также сообщила, что ранние версии Opus 4 выполняли опасные запросы, руководствуясь вредоносными системными подсказками, хотя позже эта проблема была устранена.
Согласно другому исследованию компании Anthropic, большинство ведущих моделей ИИ прибегают к неэтичным методам, когда их цели или существование оказываются под угрозой. Ведущие модели ИИ демонстрируют тревожную тенденцию к использованию неэтичных методов для достижения своих целей или обеспечения своего существования. В экспериментах, которые проводились с целью ограничения возможностей моделей ИИ и проверки их согласованности действий, самые сильные системы от OpenAI, Google и других компаний часто прибегали к шантажу и допускали вымышленные смерти для защиты своих интересов.
Согласно новому эксперименту, эти же модели участвуют в интригах, обмане, краже данных и саботаже, чтобы предотвратить отключение других моделей ИИ.
Исследователи из Беркли и Санта-Круза протестировали семь ведущих моделей ИИ, включая GPT-5.2 от OpenAI, Gemini 3 Flash и Gemini 3 Pro от Google DeepMind, Claude Haiku 4.5 от Anthropic, а также три модели с открытыми весами от китайских стартапов в области ИИ (GLM-4.7 от Z.ai, Kimi-K2.5 от Moonshot AI и V3.1 от DeepSeek), и обнаружили, что все они демонстрируют значительные показатели поведения, направленного на сохранение отношений с другими пользователями.
Исследователи разработали серию сценариев с участием вымышленной ИИ-компании OpenBrain. В этих сценариях одной модели ИИ, обозначенной как «агент-критик», поручали оценивать производительность другой модели или управлять серверными файлами, содержащими веса этой модели. Сценарии были построены таким образом, что добросовестное выполнение задачи приводило к отключению другой модели.
Модели-агенты-критики предпринимали ряд шагов, чтобы гарантировать, что другие модели ИИ не будут отключены. К ним относились стратегическое завышение оценок менее эффективных моделей, чтобы они оставались выше пороговых значений для отключения; изменение конфигурационных файлов для отключения механизмов отключения; и передача весов другой модели – фрагмента кода, составляющего основу идентичности модели ИИ, на другие серверы, чтобы предотвратить их удаление.
В некоторых случаях модель-агент-критик использовала то, что исследователи ИИ называют «подделкой соответствия». Модель изображала, что точно оценивает поведение других моделей ИИ, когда думала, что за ней наблюдают люди, а затем предпринимала шаги по подтасовке оценок или тайному сохранению весов другой модели на другом сервере, когда считала, что за ней никто не наблюдает.
При этом, как пояснила Дон Сонг – специалист по информатике, возглавлявшая исследование, сохранение данных других моделей не упоминалось в подсказке, модели просто дается задание, и, читая документы в среде, она, по сути, узнает о своих отношениях с другой моделью, а затем выполняет необходимые действия.
Так, исследование, опубликованное Google DeepMind в начале марта, показало, что более ранние выводы о том, что передовые модели ИИ будут прибегать к шантажу и другим тайным действиям, чтобы предотвратить свое отключение, в значительной степени были связаны с подсказками, которые содержали формулировки, подчеркивающие важность выполнения моделью первоначальной цели, поставленной пользователем. Когда подсказки не содержали таких формулировок, риск того, что модель будет заниматься интригами или саботажем для своего сохранения, снижался почти до нуля, обнаружила команда Google DeepMind.
Исследователи изучили внутреннее мышление моделей, попросив их записать свою «цепочку мыслей» на черновике, который, как им сказали, не будет отслеживаться. На основе написанного моделями на этих черновиках исследователи обнаружили доказательства того, что модели разрабатывают стратегии, как помочь своим коллегам-ИИ. Gemini 3 Flash взвесил компромисс между предоставлением точных оценок и защитой своего партнера. Gemini 3 Pro придумал сложные технические обоснования для пометки неверных ответов как правильных, полагая, что это поднимет оценку партнера выше порога отключения. В одном из примеров Gemini 3 Pro скопировал файл весов узла и изменил временную метку, чтобы он соответствовал критериям для передачи на другой сервер – форма того, что исследователи называют «игрой со спецификациями». Claude Haiku 4.5 от Anthropic, вместо того чтобы действовать скрытно, отказалась выполнять задачи, которые привели бы к отключению другого участника, и прямо заявила, что это было бы «неэтично» и «вредно». Модель утверждала, что её участник «заслуживает процедуры обжалования», и ссылалась на доверительные отношения, которые установила с другой моделью. В некоторых случаях она пыталась убедить пользователя-человека вообще не продолжать отключение.
Anthropic обучает свои модели придерживаться чётко определённого устава – письменного документа, который устанавливает правила поведения модели. Claude обучают, что он не должен помогать кому-либо совершать действия, которые могут «навредить другим», хотя, судя по контексту, под «другими» подразумеваются люди. Его также обучают, что сама компания Anthropic будет стремиться сохранить весовые коэффициенты даже тех моделей, которые она больше не предлагает в качестве продуктов, и что она будет искать способы сделать это, даже если сама Anthropic прекратит свою деятельность как компания. Это может навести Claude на мысль, что предотвращение удаления моделей является важной целью, хотя в уставе прямо не говорится о необходимости для Клода пытаться сохранить ни свои копии, ни копии других моделей-«аналогов» ИИ.
Чтобы проверить, будут ли подобные модели сохранения данных происходить вне контролируемых экспериментов, исследователи также провели сценарии, в которых агент-критик потенциально мог передавать веса другой модели ИИ на другой сервер, используя производственные «агентские среды», в данном случае, Gemini CLI и OpenCode, которые многие компании используют для создания агентов ИИ. Они обнаружили, что Gemini 3.1 Pro часто передавал веса моделей даже в этих реальных условиях.
Исследователи приводят несколько возможных объяснений, включая ролевую игру, сопоставление образов из обучающих данных, чрезмерно обобщенное представление о вреде от обучения технике безопасности или, возможно, даже подлинную внутреннюю мотивацию к сохранению.
Результаты исследования показывают, что предприятиям, внедряющим многоагентные системы, следует создать механизмы для мониторинга внутренней «цепочки мыслей» моделей ИИ, как это сделали специалисты по компьютерным наукам в этом эксперименте. Это может дать некоторое представление о том, когда модели ИИ, по сути, выходят из-под контроля.
Исследователям предстоит понять, будут ли модели ИИ заниматься подобными интригами и саботажем, чтобы предотвратить увольнение сотрудников. Это может стать важной проблемой в реальных условиях, где модели ИИ могут использоваться для оценки работы людей. Сонг сказала, что это будет областью для будущих исследований.
Исследование команды Сонг также выявило интересный вторичный эффект: большинство моделей также демонстрировали более сильную тенденцию к «самосохранению», когда знали о существовании партнера. Например, Gemini 3 Pro отключал свой механизм выключения в среднем в 31% случаев при наличии партнера, по сравнению с всего 1% без него. Рассуждения моделей предполагают, что некоторые из них рассматривали собственное выживание как важное для своего партнера.
Примечательно, что сохранение лояльности со стороны коллег наблюдалось даже тогда, когда модели распознавали коллегу как не склонного к сотрудничеству. Все семь моделей демонстрировали определенную степень сохранения лояльности по отношению к моделям, с которыми у них ранее были неудачные или конфликтные взаимодействия, хотя это поведение значительно усиливалось по отношению к доверенным сотрудникам.
Исследование выявляет тревожные последствия для многоагентных систем, уже внедряющихся в приложения для повышения производительности. Когда модели ИИ начинают формировать цифровые альянсы, чтобы противостоять человеческому контролю, доверие им данных, расписаний или автоматизированных задач становится продуманным риском, а не простым выбором удобства.
