Большие языковые модели. Перспективы когнитивного развития
За последние несколько лет системы искусственного интеллекта превзошли человека в решении таких задач как распознавание изображений и речи, тяжелых заболеваний и в сложных играх.
Этот прорыв основан на инновационных алгоритмах глубокого обучения, удешевлении вычислительных технологий и огромных объемах данных для обучения. В частности, большие языковые модели (LLM) открывают новые возможности для изучения человеческого языка и когнитивистики. Это требует понимания разницы между формой, коммуникативным намерением, значением и пониманием. Так, в статье «Восхождение к нейролингвистическому пониманию: о значении, форме и понимании в эпоху больших данных» предлагается лингвистическая концепция, согласно которой значение невозможно узнать по форме. То есть, большие языковые модели, такие как BERT, не изучают значение. Они изучают некоторое отражение значения в лингвистической форме. В статье «Разделение языка и мышления в больших языковых моделях: когнитивная перспектива» объясняется взаимосвязь между изучением языка, системами познавательных функций, нейрофизиологии и потенциальными возможностями больших языковых моделей и чат-ботов. Способность больших языковых моделей генерировать связанные, грамматически значимые абзацы текста привела к предположению, что скоро эти системы станут мыслящими машинами, которые обладают абстрактными знаниями и способны к рассуждению. То есть, возможности LLM рассматриваются с точки зрения их эффективности в двух различных аспектах использования языка: формальная языковая компетенция (знание правил и моделей определенного языка) и функциональная языковая компетенция (множество когнитивных способностей, включая понимание и использование в реальном мире). В частности, авторы отмечают тесную связь между языком и мышлением. Это означает, что при восприятии или чтении предложения человек предполагает, что оно составлено другим рациональным человеком на основе его знаний реального мира, критического мышления и способности рассуждать. То есть, утверждения других людей рассматриваются нами не только как отражение языковых навыков, но и как окно в их разум.
Таким образом, можно говорить о двух ключевых заблуждениях в отношении языка и мышления, связанных с LLM:
способность к изучению языков => способности к мышлению;
отсутствие способности мыслить => отсутствие способности к изучению языков.
Из этого следует, например, что ChatGPT генерирует язык, который может конкурировать с выводами человека и может развиваться в направлении человекоподобного ИИ. Это заблуждение поддерживается опытом языкового взаимодействия исключительно между людьми и готовностью наделять LLM человеческими свойствами.
В основе этих заблуждений лежит смешение понятий языка и мышления, то есть, формальной и функциональной компетенций. Авторы полагают, что различие между этими компетенциями основано на понимании функциональной архитектуры мозга. То есть, механизмы человеческого мозга для обработки речи отделены от механизмов, ответственных за память, мышление и социальные навыки. Таким образом, современные LLM представляют научные модели одной части когнитивного инструментария человека – формальной обработке языка.
Формальная языковая компетенция – это набор основных конкретных способностей, необходимых для создания и понимания данного языка. К ним относятся наличие словарного запаса, знание грамматических правил формирования правильных предложений, а также множества исключений из этих правил и идиосинкразических языковых конструкций. В результате человек обладает способностью понимать и воспроизводить язык, а также выносить суждения о том, какие высказывания приемлемы и неприемлемы в языке. В человеческом мозге обработка языка (понимание, воспроизведение устной, письменной или жестовой речи) происходит в левом полушарии только в определенных областях мозга, которые никогда не отвечают за решение неязыковых когнитивных задач (выполнение арифметических действий, прослушивание музыки, распознавание выражения лица и пр.). Сегодня LLM генерируют связанные грамматические тексты, способны выводить лингвистические концепции, включая иерархические структуры и некоторые абстрактные категории из своих входных данных. Это свидетельствует, по мнению авторов, о возможности LLM к приобретению формальной языковой компетенции.
Функциональная языковая компетенция – это набор неспецифических для языка когнитивных функций при его использовании в реальных обстоятельствах. Например, это может быть формальное рассуждение, количественное мышление, логический анализ, знание о принципах работы, включая факты и идеи, предположения о человеческом поведении, понимание социального контекста и моделирование ситуации. То есть, использование языка в реальной жизни требует его интеграции в более широкую когнитивную структуру. По мнению авторов, это означает, что когнитивные функции, необходимые для понимания и воспроизведения языка не являются специфическими для языка, и поддерживаются другими нейронными связями, которые в свою очередь отличаются от тех, которые необходимы для прослушивания, чтения и создания предположений. Это означает, что модели, которые обладают значительным словарным запасом и знанием грамматических правил не смогут использовать язык по-человечески. То есть, они не могут приобрести всестороннее и последовательное знание мира, отслеживать отношения и события в наборах входных данных, делать выводы о коммуникативных намерениях на основе языкового ввода.
Таким образом, большие языковые модели могут рассматриваться как хороший инструмент обработки языка. Если рассматривать языковые модели с точки зрения их возможности перерасти в сильный (общий) искусственный интеллект (AGI), то авторы полагают целесообразным сосредоточиться на разработке модульных архитектур, которые интегрируют языковую обработку с дополнительными системами по восприятию, рассуждению и планированию, а не на увеличении размеров моделей.
