Лингвистические проблемы ИИ

Время на прочтение: 3 мин

По мере развития искусственного интеллекта (ИИ) возникает все больше вопросов в части лингвистики, понимание и решение которых является значимым для формирования ИИ, поддерживающего принципы инклюзивности и справедливости в процессе принятия решений. Формирующаяся в последнее время тенденция к усилению роли LLM в жизни людей не способствует сохранению языкового и культурного разнообразия.

Уровень и масштабы представления языка в виртуальном мире не всегда связаны с числом носителей в реальности. Глобализация и социально-экономические изменения приводят к доминированию определенных языков в цифровом пространстве, тем самым формируя глобальный лингвистический дисбаланс, приводящий к дискриминации отдельных языковых групп. По данным Ethnologue, крупнейшего языкового справочника, в мире насчитывается 7168 языков, из числа которых только около 20 имеют достаточно обучающих данных онлайн для создания информационных систем обработки естественного языка.

Так, согласно данным Statista, по состоянию на январь 2024 года на английский, являющийся самым популярным языком для веб-контента, приходилось почти 59 % веб-сайтов. Остальные языки значительно уступают по степени представленности: русский язык занял второе место – 5,3 % веб-контента, далее испанский язык – 4,3 %. Эти цифры показывают, что носители всех языков, кроме английского, в той или иной степени отрезаны от результатов глобального технологического прогресса.

Например, хинди, на котором говорят почти 500 млн человек, считается языком с «низким ресурсом» (имеет недостаточное количество обучающих корпусов данных), в то время как западноевропейские языки технически являются «высокоресурсными» языками просто в силу того, что их носители наиболее значимо влияли на развитие сферы информационных технологий. Чем шире корпуса текстов, тем больше видимость языка и качественнее языковые модели. Соответственно, в случае с «низкоресурсными» языками недостаток данных как правило сказывается на качестве работы нейросетевой модели и снижает ее эффективность. Исследователи из Microsoft Research India указали на один из не самых совершенных путей решения этой проблемы – создание отдельных слоев в составе генеративных моделей искусственного интеллекта, таких как ChatGPT или Llama.

Несовершенство решения определяется тем, что обработка естественного языка тесно связана с языковыми особенностями, поэтому методы и алгоритмы, которые работают для английского, могут быть неприменимы для других языков. В русском языке присутствует свободный порядок слов и большое число словоформ, что влияет на выбор алгоритмов: для русского языка для нормализации слов применяют лемматизацию – перевод слов к их первоначальной словарной форме. Так, для существительных это будет слово в мужском роде и именительном падеже. Для английского работает метод стемминга, при котором исходная словоформа обрезается до его основы.

Кроме того, эксперты из Университета Брауна провели исследование защитных механизмов GPT-4 в ходе которого было выявлено, что редкие или малоизвестные языки могут служить эффективным средством обхода защитных механизмов модели, предотвращающих создание «небезопасного контента». Исследуемый подход позволил обойти защитные меры в 79% случаев при использовании таких языков, как зулу, шотландский гэльский, хмонг и гуарани. Важно отметить, что лингвистика в данном случае стала мощным инструментом, позволяющим обходить многоязычные фильтры.

В дополнение к этому существенно и то, что лингвистика сама по себе используется в LLM не таким же образом, как при создании текстов человеком. Лингвистика описывает какие-либо сущности, которые философ Н. Хомский классифицирует как эпифеномены. Это некие усвоенные человеком в процессе жизни шаблоны, которые встречаются достаточно часто и усваиваются в процессе жизни, а следовательно, ложатся в основу человеческого языка. Человеческий язык строится на понимаемых в результате анализа внешней среды явлениях. Однако, обученная языковая модель не опирается на те аналитические понятия, которые разрабатывали лингвисты. Модель LLM не выделяет падежи или члены предложения, она моделирует предложения на основе математики, а не лингвистики.

Помимо безопасности генерируемой информации и совершенно иного механизма в основе формирования текста, генерация текста порождает еще одну задачу – необходимость снижения языковой предвзятости генеративного ИИ и сохранения культурных особенностей. Простой межязыковой перевод на основе значений различных языковых единиц не является оптимальным решением. Если перевод осуществляется на уровне словарных значений и часто употребляемых конструкций, он может иметь несоответствия контекста, не учитывать особенности диалекта, нарушать коммуникативную равноценность на уровне лексической, фразеологической и грамматической сочетаемости. Например, модели, обученные на текстах английского языка, в процессе предоставления результата могут переносить ценности и предположения, закодированные на данном языке, в другие языковые контексты, где они могут быть неуместны. Тем самым стирается национальная идентичность и оказывается влияние на когнитивный суверенитет.

Таким образом, возникает понимание, что ключевая задача в работе с текстом для ИИ та же, что и для переводчика – передать смысл с учетом географических, культурных и прочих нюансов, а не сделать перевод собственно текстовой информации. Это ставит вопрос о том, что модели ИИ, работающие с языками, должны «понимать» и «интерпретировать» смыслы и контекст. Такой подход означает переход к мультимодальности и, следовательно, увеличение самой модели.

С развитием возможностей ИИ предстоит перейти от работы с текстом к работе с языками. По мере того, как мы ориентируемся в ландшафте лингвистических проблем в области искусственного интеллекта, усиливается уверенность в необходимости разработки лингвистически справедливых систем. Постоянное совершенствование языковых моделей должно происходить в сочетании с этическими соображениями и равноправием всех языковых групп. Все эти аспекты уже сегодня рассматриваются экспертами и безусловно должны лечь в основу следующих шагов в развитии ИИ.