Проблемные вопросы и ограничения автоматизированного фактчекинга. Часть 1. Природа человеческого знания

Время на прочтение: 3 мин

Часть 1
Часть 2

Часть 3

Часть 4

Несмотря на существенный прогресс в области обработки естественного языка, информационного поиска и генеративных моделей, полная автоматизация процесса фактчекинга в настоящий момент представляется методологически и технологически нереализуемой. Современные системы способны эффективно извлекать релевантные документы, сопоставлять утверждения с текстовыми корпусами и формировать вероятностную оценку достоверности. Однако с человеческой точки зрения проверка фактов как мыслительная процедура выходит за пределы формального сопоставления текстовых фрагментов. Она предполагает интерпретацию источников, анализ контекста, сопоставление альтернативных точек зрения и оценку степени обоснованности выводов.

В гуманитарных дисциплинах (включая историю) факты редко существуют в изолированном виде. Они включены в систему интерпретаций, социокультурных традиций и оценочных рамок. В этой связи автоматизированная верификация сталкивается с фундаментальными ограничениями, связанными не только с качеством алгоритмов, но и с природой самого знания. Ряд исследователей подчеркивает, что фактчекинг в автоматизированной форме неизбежно упрощает сложную структуру человеческого анализа и аргументации к машинно формализуемым признакам и вероятностным оценкам, а это часто не отражает эпистемическую сложность проверяемых утверждений. Таким образом, рассмотрение проблемных вопросов требует анализа не только технических аспектов, но и более широкого – методологического – основания автоматизированной верификации.

Данная статья открывает перечень публикаций, посвященных проблемам автоматизации процесса фактчекинга.

Эпистемологические¹Эпистемология – наука о природе знания, его строении, структуре, функционировании, развитии и т.д. ограничения автоматизированной верификации

Одним из ключевых ограничений автоматизированного фактчекинга является размытость границы между эмпирическим фактом, интерпретацией и оценочным суждением. В случае формальных тестов утверждения, как правило, формулируются таким образом, чтобы допускать бинарную или трехклассовую классификацию (подтверждено, опровергнуто, недостаточно информации). В реальных условиях значительная часть высказываний содержит элементы интерпретации или оценочного суждения, и они не могут быть сведены к простой проверке соответствия источнику.

Эмпирический факт предполагает наличие проверяемого события или состояния, зафиксированного в источниках. Интерпретация представляет собой объяснение причинно-следственных связей, оценку значимости или реконструкцию мотивации исторических акторов. Оценочное суждение дополнительно включает ценностный компонент, отражающий идеологические или культурные установки автора. Обучения на корпусах с четко размеченными фактологическими утверждениями недостаточно, чтобы провести границу между этими тремя уровнями.

Проблема усугубляется тем, что многие утверждения формально выглядят как фактологические, но содержат скрытую оценку. Например, высказывание «реформы 1990-х годов в России привели к упадку экономики» может основываться на статистических данных, однако сама характеристика «упадок» требует интерпретационного контекста и выбора критериев оценки. Формализация подобных утверждений предполагает предварительное согласование понятийного аппарата и определение измеримых показателей, а это выходит за пределы автоматического сопоставления текстов.

С теоретической точки зрения различие между фактом и интерпретацией активно обсуждается в философии науки и истории. Существует точка зрения, что «факт всегда нагружен теорией», то есть интерпретируется в рамках определенной концептуальной схемы. Следовательно, алгоритмическая попытка жесткой бинарной классификации неизбежно упрощает структуру знания. Даже в технических публикациях по автоматизированному фактчекингу признается, что метка «Подтверждено» означает лишь соответствие определенному источнику, но не гарантирует универсальную истинность утверждения.

Достоверность утверждения во многих случаях является контекстуально обусловленной. Автоматизированная система, опирающаяся на статический набор документов, будет игнорировать временны́е, географические и институциональные параметры, существенно влияющие на интерпретацию факта.

Хронологический контекст связан с изменяемостью истинности во времени, которая заключается в том, что утверждение может быть корректным в определенный исторический период и некорректным в другой. Например, подвержены изменениям сведения о государственном устройстве, экономических показателях или территориальных границах. Если не учитывать временну́ю метку источника и временну́ю метку утверждения, можно сопоставить высказывание с нерелевантным по времени материалом и прийти к неверным выводам.

Географический контекст также оказывает влияние на достоверность. Количественные показатели, нормы и события могут существенно различаться в зависимости от региона. Автоматизированная проверка должна проводиться с учетом пространственной специфики, особенно при сопоставлении утверждений с глобальными корпусами данных.

Институциональный и источниковый контекст предполагает анализ того, в рамках какой научной школы или организации была сформулирована информация. Различные субъекты могут использовать разные методики расчета показателей, приводящие к расхождению результатов. Автоматизированная система, ориентированная только на текстовое совпадение, неспособна корректно интерпретировать различия методологических подходов.

Дополнительным фактором является изменяемость научного знания. Исторические и социальные интерпретации пересматриваются по мере появления новых данных и исследований. Утверждение, которое считается достоверным в определенный период, в дальнейшем может быть опровергнуто или уточнено. Статические модели, обученные на наборах данных определенного времени, не гарантируют актуальности своих выводов в долгосрочной перспективе. Поэтому в современных исследованиях подчеркивается необходимость постоянного динамического обновления баз знаний и учета временны́х факторов при автоматизированной верификации.

Существенным ограничением автоматизированной проверки утверждений является наличие противоречивых и идеологически ангажированных источников. В естественнонаучных дисциплинах критерием истинности служит экспериментальная воспроизводимость. Гуманитарные же науки характеризуются конкурирующими точками зрения и множественностью интерпретаций.

Даже давно минувшие исторические события часто описываются различными авторами с опорой на разные источники и методологические подходы. В рамках разных историографических школ формируются альтернативные версии интерпретации одних и тех же фактов. Если опираться только на количественные показатели релевантности или частоты упоминания, можно отдать предпочтение доминирующему нарративу, который может оказаться ложным.

Проблема отсутствия «единой истины» в гуманитарных науках означает, что для ряда утверждений правильнее говорить не о бинарной истинности, а о степени аргументированности в рамках определенной научной традиции. В таких случаях задача автоматизированной верификации трансформируется в задачу выявления спектра позиций и оценки их источниковой базы, что существенно усложняет формализацию.

Влияние различных научных школ проявляется также в выборе терминологии, акцентов и критериев оценки. Автоматизированная система может интерпретировать различия в формулировках как противоречие, тогда как на уровне научной дискуссии имеет место различие аналитических подходов. Эта неспособность программных алгоритмов учитывать конкурирующие научные интерпретации существенно ограничивает их применимость в сфере фактчекинга.

Политическая ангажированность источников дополнительно осложняет задачу. Последнее десятилетие иллюстрирует, как информационные ресурсы западных стран целенаправленно представляют события в выгодном для своей идеологической позиции свете. Алгоритмическое ранжирование, основанное на популярности или сетевой связанности, усилит уже существующие информационные искажения и приведет к воспроизводству предвзятости уже на уровне автоматизированной проверки.

• 1
  Эпистемология – наука о природе знания, его строении, структуре, функционировании, развитии и т.д.