Проблемные вопросы и ограничения автоматизированного фактчекинга. Часть 4. Природа данных

Время на прочтение: 3 мин

Часть 1

Часть 2

Часть 3

Часть 4

Эффективность автоматизированных систем фактчекинга опирается на качество, полноту и актуальность используемых источников данных. Алгоритмы машинного обучения, включая современные retrieval-based архитектуры и генеративные модели, в значительной степени зависят от доступных текстовых корпусов и баз знаний. Если исходные данные неполны, фрагментарны или систематически смещены, то результаты алгоритмической верификации также неизбежно унаследуют эти ограничения. В научной литературе неоднократно отмечается, что автоматическая проверка фактов опирается не столько на абстрактную «истину», сколько на доступное цифровое представление знаний, сформированное в конкретных институциональных и культурных условиях.

Ограничения наборов данных приобретают особую значимость при работе с политическими и историческими данными. В естественных науках существует относительно устойчивая система стандартизированных публикаций и научных знаний. Гуманитарные науки, напротив, характеризуются высокой степенью фрагментарности источников, разнообразием интерпретаций и значительной зависимостью от контекста.

Ошибки и предвзятость обучающих выборок

Большинство существующих датасетов для обучения и тестирования систем фактчекинга формируется на основе англоязычных медийных источников, прежде всего американских и британских новостных ресурсов. В результате модели машинного обучения демонстрируют более высокую точность при обработке англоязычных текстов и существенно худшие результаты при работе с другими языками и культурными контекстами. Эта проблема неоднократно отмечалась в исследованиях по многоязычным системам обработки естественного языка. Анализ распределения языков в крупнейших корпусах NLP показывает, что английский язык занимает непропорционально большую долю обучающих данных, тогда как большинство мировых языков представлено крайне ограниченно. Подобное смещение приводит к тому, что модели формируют статистические представления, отражающие прежде всего англоязычное информационное пространство.

Однако, более важным является наличие культурных и идеологических смещений в обучающих данных. Предвзятость возникает на разных этапах создания датасетов, от отбора источников до процедур аннотирования и подготовки обучающих выборок. При ручной разметке утверждений на категории «истина», «ложь» или «не определено» значительную роль играют субъективные интерпретации размечающих, которые напрямую зависят от их политических и культурных установок. Проверка ряда популярных датасетов для задач автоматизированной проверки фактов показывает, что критерии разметки нередко основаны на редакционной политике конкретных медиаорганизаций, что может привести к систематическим искажениям в обучении моделей.

Таким образом, обучение российской системы фактчекинга на англоязычных датасетах не представляется возможным.

Неполнота и фрагментарность исторических данных

В исторической области знаний часть источников по-прежнему существует исключительно в физической форме и не представлена в цифровой. Цифровые коллекции формируются по принципу институциональной доступности и технической реализуемости, а не исторической полноты. Как следствие, цифровое представление прошлого существенно отличается от реального распределения источников. Даже крупные российские и международные проекты оцифровки архивов охватывают лишь ограниченную долю исторических документов, что приводит к существенной фрагментарности доступных текстовых корпусов.

Дополнительную сложность добавляют ограничения архивов, различные условия политик доступа к документам и физическая утрата некоторой части исторических документов. Многие относящиеся к XX веку архивные материалы остаются закрытыми в соответствии с требованиями защиты государственной тайны, персональных данных или авторских прав. Потери информации вследствие войн, стихийных бедствий, разрушения архивов или естественного старения материалов приводят к тому, что многие исторические события известны лишь по ограниченному числу свидетельств. В гуманитарных науках подобная ситуация рассматривается как фундаментальная характеристика источниковедения: историческое знание всегда строится на неполном и частично сохранившемся корпусе документов. Поэтому автоматизированные системы вынуждены работать с частичным набором источников, не отражающим всего спектра исторических свидетельств, даже меньшим, чем доступно человеку. Это неизбежно снижает достоверность алгоритмических выводов.

Проблема актуализации данных основана на динамическом характере многих фактов, особенно в областях политики, экономики и науки. Информация, которая являлась достоверной в определенный исторический момент, со временем может устареть или уточниться по мере появления новых данных. В связи с этим автоматизированные системы фактчекинга, опирающиеся на статические базы знаний или заранее сформированные индексы документов, могут воспроизводить устаревшие сведения, соответствующие состоянию мира на момент формирования обучающего корпуса.

Таким образом, если модель не имеет доступа к регулярно обновляемым внешним источникам, она может продолжать выдавать утверждения, которые были корректными в прошлом, но перестали соответствовать действительности. Обновление же крупных текстовых корпусов требует значительных вычислительных ресурсов и сложных процедур синхронизации данных, вследствие чего многие retrieval-системы фактически всегда работают с частично устаревшими индексами. В условиях быстро меняющейся информационной среды это может приводить к существенным ошибкам при проверке фактов.