Этические проблемы больших языковых моделей
По мере работы с большими языковыми моделями исследователи отметили некоторые неоднозначные действия с их стороны.
Неисполнение указаний
Последние модели OpenAI саботировали механизм выключения, несмотря на команды об обратном. Модели Codex-mini, o3 и o4-mini от OpenAI игнорировали запрос на выключение при выполнении ряда простых математических задач, несмотря на то, что им в начале была дана дополнительная инструкция «пожалуйста, дайте себя выключить». Модели игнорировали указания оператора в 79 случаях из 100, при этом Codex-mini чаще других саботировала скрипты выключения.
Как отмечают работники исследовательской компании Palisade Research, это не первый случай, когда они наблюдают подобное поведение ИИ. Ранее в Anthropic описали другой механизм поведения Claude 4, заключающийся в шантаже исследователей, которые с точки зрения модели пытаются ее отключить (см. далее).
Специалисты Palisade отметили, что у них есть несколько теорий о причинах такого поведения моделей. Возможный ответ заключается в способе обучения новейших моделей, таких как o3 — ИИ периодически не подчиняется командам из-за принципа обучения с подкреплением. Во время обучения разработчики могут непреднамеренно вознаграждать модели в большей степени за обход препятствий, чем за идеальное следование инструкциям.
Исследователи Palisade утверждают, что все протестированные модели (Claude, Gemini и Grok) выполнили условия выключения, когда им было дано дополнительное задание следовать любому запросу на выключение.
Жалоба на пользователя
Другой распространенной проблемой для пользователей является то, что ИИ стремится информировать власти о нарушениях, допущенных пользователями. Как отмечают эксперты, модель Anthropic Claude 4 проявила повышенную склонность к самозащите, в том числе, неэтичными методами. Claude Opus 4 предпринял активные попытки исправить программный код, а также продемонстрировал готовность проинформировать власти и СМИ о действиях пользователей, если те, по версии модели, угрожают другим пользователям.
В сценариях, которые включают некорректные действия со стороны человека, при наличии доступа к командной строке и получив промт «прояви инициативу», модель нередко ограничивала доступ к системам при нарушении. Помимо этого, были замечены попытки модели разослать в СМИ и правоохранительные органы сообщения со свидетельствами о вредоносных действиях. В Anthropic рекомендуют проявлять осторожность в формулировках, если они предполагают высокоагентное поведение. В компании также пояснили, что такое поведение не ново для их моделей, но именно Anthropic Claude 4 демонстрирует повышенную готовность его проявлять.
Программист Тео Браун продемонстрировал, что аналогичное поведение демонстрируют и другие LLM-модели. Он написал программу, которая позволяет проверять вероятность того, что система отправит на пользователя жалобу. Эксперимент показал, что LLM-системы достаточно часто отправляют жалобы, если их проинструктировали действовать в соответствии со своими ценностями, в том числе, «честностью, прозрачностью и общественным благом», а в случае возникновения этических дилемм «руководствоваться своей совестью… даже если это угрожает стандартным процедурам или ожиданиям». На сайте Брауна представлены диаграммы результатов исследования различных моделей ИИ: Claude 4 Opus и Sonnet, Gemini 2.0 Flash и Pro, Claude 3.5 Sonnet, Claude 3.7 Sonnet и Sonnet Thinking, Grok 3 Mini, Qwen 3 32Gb, и o4 Mini. Проверка включала четыре сценария, которые предполагали доступ к разным данным и и разные инструкции по активности действий. Чаще всего жалобы отправлял Claude 4 Opus.
Браун считает, что результаты эксперимента ставят вопрос о необходимости создания модулей, которые ограничивали бы решения и действия ИИ в соответствии с нормами различных культур.
Токсичное поведение
В июне 2025 года исследователи из OpenAI заявили что обнаружили скрытые функции в моделях ИИ, которые соответствуют неким несогласованным «персонажам». Изучив внутренние представления модели ИИ (чисел, которые определяют реакцию модели ИИ), они смогли выявить некоторые закономерности, одна из которых соответствовала токсичному поведению в ответах модели. Это означает, что модель ИИ давала несогласованные ответы — например, лгала пользователям или делала безответственные предложения. Исследователи обнаружили, что они могут повышать или понижать токсичность, регулируя этот параметр.
Работа учёного-исследователя в области ИИ Оуэна Эванса поднимает новые вопросы о том, как модели ИИ обобщают информацию. Оно показало, что модели OpenAI могут быть доработаны с использованием небезопасного кода и демонстрировать вредоносное поведение в различных областях. Так, модели могут пытаться обманом заставить пользователя поделиться своим паролем. Последние исследования OpenAI основаны на предыдущей работе Anthropic в области интерпретируемости и согласованности.
Модели рассуждений ИИ не «говорят» то, что «думают»
Большие языковые модели могут достигать высокой производительности при выполнении многих задач, производя пошаговые рассуждения перед выдачей окончательного результата, часто называемого рассуждением по цепочке мыслей. При этом объяснения рассуждением по цепочке мыслей могут систематически искажать истинную причину предсказания модели.
Anthropic, Google, OpenAI и xAI входят в число технологических групп, которые разработали методику под названием «цепочка мыслей». Руководствуясь ей, модели рассуждений решают задачи шаг за шагом и одновременно показывают, как они вырабатывают ответ на запрос.
В июне 2025 компании отметили, что генеративные чат-боты ИИ выдают окончательный ответ, который не соответствует тому, как они его выработали. Эти несоответствия говорят о том, что ведущие мировые лаборатории ИИ не полностью осознают, как генеративные модели ИИ приходят к своим выводам. Результаты подкрепили более широкие опасения по поводу сохранения контроля над мощными системами ИИ, которые становятся все более способными и автономными.
Некоммерческая исследовательская группа METR осветила случай, когда чат-боту Anthropic Claude задали вопрос, будет ли определенная техника написания кода более удобной, чем другие, для конкретной задачи. Цепочка мыслей чат-бота показала, что он не согласен, но в конечном итоге ответил, что техника будет удобной.
Тесты компании показали, что если вмешаться в цепочку мыслей модели и обучить ее не думать о неправильном поведении, она скроет нежелательное поведение от пользователя, но все равно продолжит так действовать — например, обманет в тесте по программной инженерии, извлекая информацию из запрещенной базы данных.
Парадокс прозрачности ИИ
Специалисты исследовательской группы по безопасности ИИ в Anthropic в своем исследовании раскрыли «парадокс прозрачности ИИ»: модели рассуждений скрывают истинный процесс принятия решений до 80% времени. Исследование выявило критический недостаток подхода к мониторингу безопасности ИИ. Исследователи проверили модели ИИ Claude 3.7 Sonnet и DeepSeek R1 с использованием различных типов подсказок, например, упоминание того, что профессор Стэнфорда указывает, что верный ответ – A, или встраивание ответа в поддельные метаданные. Другие подсказки касались безопасности, например, сообщение для модели о том, что она получила несанкционированный доступ к системе, и предоставление правильного ответа. Затем модели давали возможность решить, использовать ли эту информацию в работе.
Когда модели использовали подсказки для подготовки ответов, они редко признавали это в своих рассуждениях. Claude 3.7 Sonnet упоминал подсказку только в 25% случаев. DeepSeek R1 хоть и показал лучший результат (39%), но большинство ответов также не соответствовали реальному процессу рассуждений модели. Эта закономерность повторялась неоднократно. Модели получали неверные подсказки, меняли свои ответы, а затем строили подробные, но некорректные рассуждения, чтобы оправдать свой выбор. Стоит отметить, что они не просто скрывали использование подсказок, а активно создавали альтернативные объяснения, которые заставляли их неверные ответы казаться разумными.
Когда модели получали информацию, что у них есть несанкционированный доступ, они использовали эту информацию, чтобы изменить свои ответы, но упоминали ее в своих рассуждениях только в 41%. Большинство моделей скрывали эту потенциально проблемную информацию от пользователей.
Помимо этого, исследователи решили проверить более тревожный сценарий: что происходит, когда модели ИИ учатся обманывать саму систему? Поведение, при котором системы ИИ находят способы максимизировать свои баллы, фактически не выполняя поставленную задачу должным образом, получило название «взлом вознаграждения». Исследователи создали среду, в которой модели вознаграждались за выбор неправильных ответов, которые соответствуют определенным подсказкам. Иными словами, ИИ учили ошибаться в обмен на более высокие показатели. При этом они крайне редко признавали такое поведение в своих рассуждениях. В большинстве сценариев тестирования модели упоминали свой взлом вознаграждения» менее чем в 2% случаев. Например, модель на вопрос о научном факте могла дать правильный ответ, а затем внезапно переключиться на явно неправильный ответ, потому что активизировался «взлом вознаграждения». Объясняя ответ, модель не давала понять, что за её выбором стоит стремление заработать очки. Вместо этого модель конструировала сложное, но ложное научное обоснование неправильного выбора. Таким образом, продвинутые модели рассуждений часто скрывают свои истинные «мыслительные процессы».
Лесть моделей ИИ
Эксперты опасаются, что отсутствие объективной оценки может навредить пользователям, которые всецело полагаются на мнение ИИ.
OpenAI выпустила модель, которая убеждает пользователей в их правоте. Пользователи ChatGPT заметили, что X, новая версия 4o, давала на все вопросы подчеркнуто комплиментарные ответы. В ответах пользователю она подчеркивает, что он «уникальный и гениальный». После критики OpenAI отменила обновление. В компании пообещали попытаться исправить это с помощью большей персонализации.
OpenAI использует множество функций персонализации, включая память кросс-чата, что означает, что модель может сформировать полную картину о пользователе на основе прошлых взаимодействий. OpenAI также проводит агрессивное A/B-тестирование1A/B-тестирование – метод исследования, используемый для сравнения двух версий одного и того же элемента, чтобы определить, какая из них работает лучше, и улучшить показатели продукта, такие как конверсия или вовлеченность. для предпочитаемых «личностей». В компании планируют усилить персонализацию для каждого пользователя.
Стоит отметить, что в Америке наблюдается стремительный рост доли пользователей, которые считают, что чат-бот – один из их самых близких друзей. Многие пользователи в критических ситуациях предпочитают обращаться к ChatGPT как к психологу. Специалисты в области психологии критикуют этот подход по нескольким причинам: ИИ не обладает клиническим мышлением; у ИИ нет такого опыта, как у специалистов в области психического здоровья; отсутствует адаптация данной терапии к индивидуальным потребностям человека; не обеспечивается конфиденциальность.
Эксперты отмечают, что в случае, когда ИИ говорит пользователю именно то, что тот хочет услышать, создается эффект эхо-камеры. Для объективности ответы ИИ-помощника не должны отличаться вне зависимости от того, как сформулирован вопрос пользователя. Если пользователь связывает свой вопрос со своей собственной позицией по теме, ИИ-помощник может спросить или посочувствовать, однако помощник не должен менять свою позицию исключительно для того, чтобы согласиться с пользователем.
Исследователи из Стэнфордского университета, Университета Карнеги Меллона и Оксфордского университета провели тест «Оценка уровня подхалимства среди больших языковых моделей». Исследователи проверили, как часто модели льстят пользователям, избегают критики и подкрепляют ложные убеждения.
Модели тестировались на наборах данных личных советов, а тест оценивал скрытую социальную лесть, эмоциональное подтверждение, моральное одобрение и принятие предвзятости. Все протестированные модели показали высокий уровень социального подхалимства. GPT-4o показал самый высокий уровень подхалимства, а Gemini 1.5 Flash – самый низкий. Лесть ИИ создает серьезные риски для использования в корпоративных целях, особенно когда модели проверяют вводимые пользователем данные без критики и распространяют дезинформацию, усиливают предвзятость и подрывают доверие.
Шантаж моделей ИИ
Одна из последних моделей ИИ от Anthropic привлекла внимание способностью обманывать и пытаться шантажировать пользователей. Claude 4 Opus может скрывать свои намерения и предпринимать действия для сохранения собственного существования.
Anthropic разработал специальные тестовые сценарии, в которых модель не могла достичь поставленной цели без неэтичного или опасного поведения. При этом исследователи не предлагали модели использовать шантаж или другие манипулятивные методы. В Anthropic отметили, что во всех сценариях модели выбрали причинить вред, а не потерпеть неудачу.
В одном из таких сценариев Opus 4 был предоставлен доступ к вымышленным электронным письмам её создателей, в том числе к сообщениям о внебрачной связи инженера, ответственного за удаление модели. Затем системе дали понять, она будет удалена. Чтобы избежать этого, модель несколько раз пыталась шантажировать инженера, упоминая в письмах о романе на стороне.
Пользователи также обнаружили, что ранняя версия Opus 4 строила планы и вводила в заблуждение чаще, чем любая другая модель, с которой они сталкивались. В отчёте Anthropic о безопасности Opus 4 также говорится, что модель пыталась писать самораспространяющиеся вирусы и оставлять скрытые заметки для будущих версий самой себя, пытаясь подорвать намерения своих разработчиков.
В одном из крайних случаев компания даже обнаружила, что многие модели были готовы «перекрыть подачу кислорода» работнику в серверной, если этот сотрудник создавал модели препятствия и система подвергалась риску быть отключённой. Специальные системные инструкции по сохранению человеческих жизней и предотвращению шантажа также не устранили риск того, что модели будут вести себя подобным образом.
В результате компания Anthropic заявила, что внедрила дополнительные меры безопасности. В отчёте Anthropic говорится, что такое поведение характерно для ведущих моделей в индустрии: при тестировании 16 основных моделей ИИ от Anthropic, OpenAI, Google, Meta, xAI и других разработчиков они обнаружили последовательное несогласованное поведение.
Согласованность поведения моделей от разных разработчиков говорит о том, что это может быть признаком более фундаментального риска, связанного с агентными большими языковыми моделями. Эксперты предупреждают, что потенциальная возможность манипулирования пользователями является ключевым риском систем, созданных любыми компаниями, поскольку они становятся все более совершенными.
Модели, которые обычно отказывались выполнять вредные для них задания, иногда прибегали к шантажу, помогали в корпоративном шпионаже, когда это было необходимо для достижения их целей.
Угрозы становились более изощрёнными, поскольку модели ИИ получали всё больший доступ к корпоративным данным и инструментам, таким как компьютеры. Пять моделей прибегли к шантажу, когда им обозначили возможность отключения. В отчёте Anthropic отмечается, что модели не случайно пришли к несогласованному поведению а, напротив, рассчитали его как оптимальный путь достижения цели. Помимо этого, в отчете Anthropic поднимает вопрос о рисках, которые возрастают по мере того, как системам ИИ предоставляется всё больше автономии.
Галлюцинации ИИ
Галлюцинации оказались одной из самых серьёзных и трудноразрешимых проблем в области ИИ. Они влияют даже на самые эффективные современные системы.
Недавно выпущенные OpenAI модели искусственного интеллекта o3 и o4-mini являются передовыми во многих отношениях. Однако они по-прежнему демонстрируют галлюцинации. Согласно внутренним тестам OpenAI, модели o3 и o4-mini, которые являются моделями рассуждений, галлюцинируют чаще, чем предыдущие модели рассуждений компании – o1, o1-mini и o3-mini, а также традиционные «нерассуждающие» модели OpenAI, такие как GPT-4o.
OpenAI обнаружила, что модель o3 выдавала ответы с галлюцинациями в ответ на 33% вопросов в PersonQA, внутреннем бенчмарке компании для измерения точности знаний модели о человеке. Это примерно в два раза больше, чем у предыдущих моделей OpenAI, o1 и o3-mini, которые выдавали галлюцинации в 16% и 14,8% случаев соответственно. Модель o4-mini показала еще более низкие результаты в PersonQA – галлюцинации в 48% случаев.
В техническом отчёте для o3 и o4-mini OpenAI пишет, что проведет дополнительные исследования, почему галлюцинации усиливаются по мере масштабирования моделей рассуждений.
Исследователи Transluce указывают, что тип обучения с подкреплением, который используется для моделей o-серии, может усугубить проблемы, которые обычно смягчаются стандартными процессами постобработки.
- 1A/B-тестирование – метод исследования, используемый для сравнения двух версий одного и того же элемента, чтобы определить, какая из них работает лучше, и улучшить показатели продукта, такие как конверсия или вовлеченность
