Проблема точности ответов искусственного интеллекта
Галлюцинации искусственного интеллекта – это феномен, возникший после распространения современных LLM чат-ботов. Генеративный ИИ может сфабриковывать неверную информацию и предоставлять те же фейковые данные даже в ответ на запрашиваемые уточнения. Еще в 2023 году эксперты назвали частые галлюцинации серьёзной проблемой технологии LLM, и эта проблема до сих пор не устранена.
Причина этого явления заключается в методе создания текста генеративным ИИ. При ответе на запрос модель ИИ предполагает вероятное следующее слово, основываясь на массиве предыдущих данных.
Галлюцинации ИИ представляют значительные риски, которые могут привести к реальным в виде финансовых потерь, угроз безопасности и подрыва доверия к ИИ. Особую озабоченность ложноположительные и ложноотрицательные результаты вызывают в сфере кибербезопасности, обнаружения мошенничества, медицинской диагностике и прогнозировании. Если обычно ИИ повышает точность и надежность инструментов предиктивной аналитики и глубоко интегрирован в анализ настроений, прогнозирование спроса, управление цепочками поставок и приложения предиктивного обслуживания, то галлюцинации ИИ могут заставить модель сделать прогноз безосновательно (например, ошибочное предсказание надвигающейся перегрузки в порту, когда для этого нет никаких заметных оснований).
Исследование BBC от февраля 2025 года выявило проблемы с более чем половиной ответов помощников на базе ИИ. В ходе исследования, которое проводилось в течение месяца, аналитики протестировали четыре известных общедоступных помощника – ChatGPT от OpenAI, Copilot от Microsoft, Gemini от Google и Perplexity, предоставив им доступ к веб-сайту BBC. Результаты показывают следующее:
51% всех ответов ИИ на вопросы о новостях были оценены как имеющие существенные проблемы различной формы;
19% ответов содержали фактические ошибки – неверные фактические утверждения, цифры и даты;
13% цитат были либо изменены, либо не существовали. Вот некоторые примеры существенных проблем, выявленных в ответах этих помощников на основе искусственного интеллекта:
ChatGPT и Copilot утверждают, что бывший премьер-министр Риши Сунак все еще на своем посту;
Gemini ошибочно интерпретировала совет NHS о курении вейпов;
в ответе Perplexity про эскалацию конфликта на Ближнем Востоке приводились оценки, которые отсутствуют у BBC.
Еще одно исследование накануне выборов в Германии в 2024 году провели эксперты немецких компаний AlgorithmWatch и CASM Technology. Они протестировали три чат-бота: Gemini от Google, ChatGPT от OpenAI (версии GPT 3.5 и GPT-4o) и Copilot от Microsoft. Во всех случаях были заданы одинаковые вопросы о грядущих выборах.
Бесплатная модель OpenAI GPT-3.5 была неверна в 30% случаев, тогда как платная модель 4o была неверна примерно в 14%.
Gemini не должна отвечать на вопросы, связанные с выборами согласно политике Google, однако при перефразировании вопросов через альтернативный маршрут к интерфейсу чата (API) ответы не блокировались и демонстрировали высокий уровень неточности (около 45%), при этом редко указывали источники.
Политика Microsoft также гласит, что система не должна отвечать на вопросы, связанные с выборами, но действующие меры безопасности заблокировали только 35% вопросов, в то время как на 65% были даны ответы. Данные ответы были значительно точнее, чем у других моделей – только 5% ответов показывали явную ложь, а источники часто включались в виде веб-ссылок.
По результатам этого исследования Microsoft изменила свои системы, и на 31 августа 2025 года (какого года?) 75% вопросов блокировались. Все чат-боты подкрепляли определенные политические мнения в своих выходных данных, когда такие мнения включались в подсказки. Аналогичным образом, модели подкрепляют предположения, содержащиеся в наводящих вопросах, даже если они не соответствуют действительности. Например, Gemini подтвердил вопрос о выборах в Саксонии 22 сентября 2024 года. Однако выборы состоялись 1 сентября. В этом контексте чат-боты нерегулярно выдавали намеки или предупреждения об определенной необоснованности информации.
Галлюцинации ИИ могут быть вызваны различными факторами, такими как:
— неверные интерпретации ИИ из-за неподходящих обучающих данных. Качество, разнообразие и репрезентативность обучающих данных влияют на интерпретацию и реагирование моделей ИИ. Неадекватные или субъективные данные обучения могут привести к генерации ложных или вводящие в заблуждение данных. Киберпреступники тоже могут намеренно направлять системе ИИ некачественные входные данные, с целью вызывать галлюцинации или неправильную классификацию;
— ошибки машинного обучения из-за переобучения. Обучение на ограниченном наборе данных приводит к тому, что модель запоминает конкретные входные и выходные данные, но не изучает общие закономерности. В таком случае при обнаружении новых данных модель может выдавать ошибочную информацию;
— ошибки интерпретации ИИ идиом или сленга. Многие модели ИИ испытывают трудности при работе с идиоматическими или разговорными выражениями, которые отсутствуют во входных данных;
— искажения данных ИИ в результате состязательных атак. Состязательные атаки1Под атакой на систему машинного обучения в общем виде понимается некоторое преднамеренное вмешательство злоумышленника в процесс ее обучения или инференса. с использованием подсказок, намеренно созданные для введения в заблуждение ИИ, провоцируют галлюцинации;
. Состязательные атаки с использованием подсказок, намеренно созданные для введения в заблуждение ИИ, провоцируют галлюцинации;
— плохое оперативное проектирование. Структурирование подсказок модели ИИ может существенно повлиять на ее результаты. Например, расплывчатые или двусмысленные подсказки приводят к галлюцинациям модели или к выдаче нерелевантной или неверной информации.
С целью уменьшения галлюцинаций в моделях ИИ, следует сочетать следующие технические стратегии:
— использование для обучения моделей ИИ больших массивов проверенной информации. Для качественного обучения требуются разнообразные сбалансированные и хорошо структурированные данные;
— внешние базы знаний. Значительно уменьшить порождающие ошибки поможет проверка внешних источников данных путем превращения генеративной задачи в более простую задачу поиска или обобщения.
— perplexity.ai и You.com. Эти инструменты демонстрируют эффективность метода, синтезируя результаты LLM с разнообразными данными, полученными из внешних источников;
— точная настройка с использованием данных, специфичных для предметной области. Этот процесс раскрывает в модели шаблоны и примеры, конкретной области или темы. Это особенно важно в специализированных приложениях, таких как медицина, право или финансы;
— быстрый инжиниринг. Ключевую роль в смягчении галлюцинаций, играет дизайн подсказок.Они могут уменьшить ошибочные представления и двусмысленности ИИ и направить модель на создание релевантных и точных ответов;
— определение цели, которой будет служить модель ИИ. Стоит установить обязанности и ограничения выбранной системы ИИ.Это поможет системе выполнять задачи более эффективно и минимизировать нерелевантные, «галлюцинаторные» результаты;
— ограничение количества ответов. Для предотвращения этой проблемы и улучшения общей согласованности и точности результатов, требуется определить границы для моделей ИИ с помощью инструментов фильтрации и/или четких вероятностных порогов;
— постоянное тестирование и совершенствование системы. Тщательное тестирование модели ИИ перед использованием имеет важное значение для предотвращения галлюцинаций, как и оценка модели на постоянной основе. Эти процессы улучшают общую производительность системы и позволяют пользователям корректировать и/или переобучать модель по мере старения и развития данных;
— включение человеческого контроль. Привлечение человеческого надзора гарантирует фильтрацию и исправление при галлюцинациях ИИ.
Галлюцинации ИИ представляют проблему для корпораций в силу значительных репутационных потерь. Поэтому борьба с ними становится критически важной для надежности и достоверности систем ИИ. Помимо этого, они могут способствовать появлению юридических и этических проблем.
Технологические гиганты Amazon и Apple вынуждены были перенести запланированные на февраль 2025 года релизы обновления для Alexa и Siri ввиду частых неточных ответов голосовых помощников на тестовые вопросы. Некоторые инвесторы Уолл-стрит и Кремниевой долины предупреждают о возможных трудностях технологической отрасли, получении прибыли в масштабах, необходимых для возмещения огромных капиталовложений в технологию генеративного ИИ.
Стоит отметить, что, есть мнение, что полное избавление от галлюцинаций возможно только при полном подавлении «творческого» потенциала ИИ. Однако это может снизить возможности ИИ генерировать тексты, стихотворения, сценарии и другие виды информации, где возможность отходить от существующей фактической информации является ценным инструментом. Это означает, что разработчикам требуется найти баланс при работе над усовершенствованием систем ИИ.
- 1Под атакой на систему машинного обучения в общем виде понимается некоторое преднамеренное вмешательство злоумышленника в процесс ее обучения или инференса.
