Угрозы, связанные с отсутствием маркировки ИИ-контента

Время на прочтение: 5 мин

Последние годы характеризуются стремительным развитием технологий искусственного интеллекта (ИИ), в частности генеративных моделей, способных создавать текст, изображения, аудио- и видеоконтент, сопоставимый по качеству с результатами человеческого творчества. Генеративные нейронные сети, включая большие языковые модели (LLM), диффузионные модели и алгоритмы для синтеза мультимедийных данных, получили массовое распространение благодаря доступности мощных облачных вычислительных платформ, открытых библиотек и специализированных сервисов. По данным АНО «Диалог регионы», количество размещенного в сети Интернет аудиовизуального контента, созданного с использованием искусственного интеллекта, выросло за 2024 год в 17 раз, до 570 тыс. единиц, что составило 10% от всего контента.

Вместе с ростом возможностей генеративного ИИ усиливаются и риски, связанные с неконтролируемым использованием таких технологий. Одним из ключевых вызовов становится проблема идентификации происхождения контента: пользователи всё чаще сталкиваются с текстами, изображениями или видео, которые невозможно однозначно отнести к произведённым человеком или ИИ. Отсутствие маркировки сгенерированного контента приводит к распространению дезинформации, снижению доверия к медиаисточникам и росту угроз, связанных с манипуляциями общественным мнением, мошенничеством и распространением дипфейков.

Распространение дезинформации и фейков

Серьёзной угрозой, связанной с развитием генеративного ИИ, является экспоненциальное увеличение объемов дезинформации, распространяемой в цифровой среде. Генеративные модели, такие как GPT, DALL-E, Stable Diffusion, Сбер GigaChat/Kandinskiy, Яндекс Алиса и другие, способны производить текст, изображения и аудио- или видеоматериалы, которые практически неотличимы от созданных человеком. Отсутствие обязательной маркировки подобных данных делает невозможным мгновенное определение их происхождения для рядового пользователя, что создает благоприятную среду для манипуляций.

Дезинформация традиционно была одним из инструментов информационной войны, но раньше её создание требовало значительных человеческих ресурсов, времени и экспертизы. Современные генеративные модели позволяют автоматизировать этот процесс, создавая фальсифицированные статьи, фотографии или видеозаписи буквально за минуты. Это приводит к резкому росту масштабов дезинформационных кампаний, которые могут быть направлены как на отдельные группы населения, так и на целые государства, особенно в условиях проведения СВО.

Приведем характерные особенности распространения ИИ-фейков:

Скорость производства. Создание качественных подделок больше не требует значительных затрат времени и человеческих ресурсов. Типичное значение соотношения продолжительности итогового видеоматериала к времени его генерации для современных публичных сервисов Sora компании OpenAI, Dreamina компании CapCut и их аналогов составляет порядка 1:100. Таким образом, дипфейк-видео с имитацией публичной речи известного политика продолжительностью несколько минут может быть сгенерировано за несколько часов без участия профессиональных видеоредакторов.

Трудности распознавания. Контент, созданный современными ИИ-моделями, отличается высоким уровнем реалистичности. Нейросети способны имитировать стиль письма, голосовые особенности конкретного человека, а также создавать визуальные образы, неотличимые от фотографий, снятых на профессиональную камеру (рис. 1).

Рис. 1. Примеры изображений человека, сгенерированных с помощью технологий искусственного интеллекта.
Источник: ресурс ThisPersonDoesNotExist.

Масштабируемость. Автоматизация генерации позволяет производить тысячи фейковых новостей, комментариев или изображений, формируя эффект информационного «шума», который затрудняет восприятие реальных фактов.

Активное использование ботов, генерирующих текст на основе больших языковых моделей и таким образом имитирующих человеческую коммуникацию, способно создавать атмосферу коллективной позиции (поощрение, или, напротив, порицание) на конкретной цифровой платформе (социальной сети, группе, форуме). Заказная акция, интенсивно продвигаемая ботами, способна создавать иллюзию активной поддержки или критики конкретного события или политического высказывания.

Пользователи обращают внимание, что в Facebook (запрещен в России) множество ИИ-ботов распространяют не только текстовые комментарии, но и сгенерированные иллюстрации. Часто на них изображено то, что вызовет у людей эмоции и желание поставить лайк, поделиться и прокомментировать публикацию (к примеру, дети, демонстрирующие свои достижения, животные, пожилые люди, празднующие дни рождения). Пользователи предположили, что руководство Meta (деятельность организации запрещена на территории России) намеренно продвигает созданный ИИ контент для увеличения вовлеченности, а также с целью обучения ботов мимикрии. В будущем это может помочь массово влиять на мнение людей изнутри. Аналогичная ситуация со сгенерированным контентом происходит в TikTok.

Локализация. Современные генеративные модели обучены на многоязычных корпусах данных, что позволяет создавать контент, адаптированный для любой культурной или региональной аудитории.

Низкий порог входа. Для создания фейков больше нет необходимости в профессиональных знаниях и/или умениях владеть специализированным программным обеспечением. Достаточно лишь навыков написания запросов к генеративной ИИ-модели (промт-инжиниринг) и, в некоторых случаях, небольшого объема обучающих данных.

Отсутствие маркировки ИИ-контента усиливает деструктивное воздействие подобных материалов, поскольку в настоящее время пользователи не имеют средств для мгновенной проверки их достоверности. Даже если существуют алгоритмы распознавания фейков, их применение требует дополнительных технических знаний или инструментов, которыми не владеет большинство пользователей.

Возможными примерами негативного воздействия могут служить политическая дезинформация, когда в период предвыборных кампаний могут создаваться поддельные заявления кандидатов или фальшивые новости, способные повлиять на результаты голосования; cоциальные конфликты, межэтнические или религиозные столкновения, основанные на распространении ложных материалов о событиях, которых не было, и/или дипфейков; экономические манипуляции, базирующиеся на фейковых новостях о банкротстве компаний, изменении курса акций, что способно вызвать панические продажи и привести к серьезным финансовым потерям; мошенничество и фрод с использованием технологий генерации голоса.

Ситуация осложняется тем, что даже в случаях обнаружения синтетического происхождения контента его воздействие может сохраняться. Исследования когнитивной психологии показывают, что опровержение фейковой информации редко приводит к полной ревизии убеждений: эффект первичного воздействия часто оказывается устойчивым и продолжает влиять на поведение, несмотря на фактологическое разоблачение.

Таким образом, распространение дезинформации и фейков, созданных с использованием генеративного ИИ, представляет собой серьезную угрозу для информационной безопасности общества.

Подрыв общественного доверия к информации. Феномен постправды

Одной из наиболее разрушительных и в то же время труднодиагностируемых последствий распространения сгенерированного ИИ-контента является эрозия общественного доверия к информации как таковой. Речь идет не о прямом обмане, как в случае с дезинформацией, а о накопительном эффекте сомнения, порождаемого невозможностью установить достоверность увиденного или услышанного. В условиях, когда любой визуальный, звуковой или текстовый материал может быть синтезирован ИИ без явных следов генерации, происходит фундаментальное смещение границ между реальным и виртуальным.

Наиболее тревожный аспект заключается в том, что под удар попадают не только недостоверные или спорные источники, но и признанные институты, обладающие формальной легитимностью, в т. ч. государственные СМИ, официальные лица, научные публикации. В докладе ЮНЕСКО «Руководящие принципы регулирования цифровых платформ» («Guidelines for the governance of digital platforms») 2023 г. подчеркивается, что отсутствие механизмов верификации контента ведет к падению доверия к медиаплатформам и государственным источникам информации. Сомнение начинает распространяться вширь и вглубь, охватывая весь спектр информационных отношений. Это стало особенно заметным в кризисных ситуациях, когда общество остро нуждается в достоверной информации: пандемия, стихийные бедствия, военные конфликты или нелегитимные протесты. В таких условиях подрыв доверия трансформируется из эпистемологической проблемы в политическую и социальную.

Способность генеративных моделей воспроизводить стиль и аргументацию экспертов, учёных, журналистов и других носителей социального доверия позволяет создавать публикации, комментарии, заключения и рекомендации, которые внешне неотличимы от работ квалифицированных специалистов, но могут содержать ошибочную, манипулятивную или вредоносную информацию. В совокупности с возможностью автоматической генерации изображений (например, фотографий «экспертов», которых не существует), создаётся угроза появления полностью синтетических персонажей, способных накапливать социальный капитал и влиять на общественное мнение. Исследование NewsGuard в конце 2023 года выявило более 600 сайтов, на которых публиковались «новости», созданные исключительно при помощи ИИ, зачастую от имени несуществующих журналистов с вымышленной биографией.

Подобное состояние можно охарактеризовать как переход от эпохи достоверности к эпохе неопределенности. Если раньше основным вызовом для пользователя была проверка фактов, то теперь даже зафиксированный на видео контент или сказанная фраза не обладают очевидной доказательной силой. Контент теряет свою аутентичность как функцию источника, и это приводит к релятивизации истины: каждый выбирает, во что верить, на основании субъективных симпатий, а не объективных признаков достоверности.

Этот кризис доверия имеет также значительное культурное измерение. Медиасреда, насыщенная синтетическим контентом, формирует у аудитории привычку к скепсису и недоверию. Психологические исследования последних лет фиксируют рост явления, получившего название «информационная усталость» – отказ от попыток верификации или даже понимания получаемой информации. Складывается парадокс: чем больше контента доступно, тем меньше он воспринимается как значимый. Это напрямую связано с тем, что субъекты коммуникации начинают воспринимать цифровую среду как потенциально недостоверную по умолчанию.

Другим важнейшим отрицательным эффектом ИИ-генерации является феномен постправды – обстоятельства, при которых объективные факты являются менее значимыми при формировании общественного мнения, чем обращения к эмоциям и субъективным убеждениям.

Постправда представляет собой информационный поток, который намеренно конструируется в современном обществе с помощью социальных сетей и средств массовой коммуникации для создания виртуальной, отличной от действительности, реальности с целью манипулирования общественным сознанием. Постправда значительно повышает ущерб от дезинформации: так как в эпоху постправды ценность заявлений смещается от фактической верности к эмоциональному эффекту и стыковке с субъективными убеждениями аудитории, распространять дезинформацию стало гораздо проще, а эффект от распространения увеличился.

Политические эксперты приводят свидетельства того, что в настоящее время политика постправды становится преобладающей в США и в других государствах, где публичный дискурс формируется на комбинации 24-часового новостного цикла, ангажированных СМИ и всепроникающих социальных сетей.

В условиях, когда искусственный интеллект способен создавать реалистичный контент, маркировка такого контента становится не просто техническим элементом, но необходимым условием для восстановления основополагающего доверия к коммуникации. Обозначение синтетической природы материала может вернуть аудитории ориентиры, способствовать формированию критического мышления без тотального скептицизма. Однако эффективность такой маркировки зависит не только от её технической надежности, но и от нормативной верифицируемости, институционального признания и культурной легитимности.