Графовые нейронные сети
Развитие искусственного интеллекта привело к появлению множества архитектур и подходов, позволяющих решать разнообразные задачи. Все большее число исследований и разработок расширяют границы использования нейронных сетей.
За последнее время были достигнуты выдающиеся результаты в таких областях, как обработка естественного языка, компьютерное зрение, распознавание речи и т.д. При этом, большинство архитектур глубокого обучения разработаны для извлечения информации из объектов, закодированных в «жестких» структурах. Что нельзя сказать о данных, имеющих графовую структуру. Ввиду высокой гибкости графов, позволяющих использовать большое количество возможностей для представления одной и той же части данных, имеют сложности в проектировании и возможности обучаться на этих данных. В связи с этим, такие данные долгое время оставались вне поля зрения классических нейронных моделей. Однако, естественный процесс развития в области нейросетей приводит к необходимости совершенствования аспектов связанности данных, что сопровождается увеличением числа исследований и разработок в части обработки различных данных в контексте графовых сетей, а их высокий потенциал поспособствовал увеличению тенденции в изучении графовых сетей и все большем их распространении.
«Первое представление об этом впечатляющем росте можно получить, если взглянуть на принятые исследовательские публикации за последние 3 года как для ICLR, так и для NeurIPS, двух крупных ежегодных конференций, посвященных передовым исследованиям в области искусственного интеллекта. Мы обнаружили, что термин «Графическая нейронная сеть» стабильно входит в топ-3 ключевых слов из года в год».
Концепция графовой нейронной сети была впервые предложена в 2009 году в работе «Модель графовой нейронной сети» (Скарселли Ф., Гори М., Цой А., Хагенбухнер М. и Монфардин).
Количество публикаций по теме GNN в целом и по теме «вычисления посредством GNN» в частности приведены на графике.
Графовые нейронные сети (GNN) – тип искусственной нейронной сети, предназначенный для работы с данными, структурированными в виде графов. Графы — это математические конструкции, которые используются для представления объектов и их связей, где узлы — объекты, а ребра — связи между ними. Каждый узел в графе имеет вектор опций, представляющий его атрибуты. Подобные опции могут быть разных типов. Ребра между узлами также могут иметь связанные опции, собирая более подробную информацию об отношениях между узлами. Это позволяет извлекать более глубокий смысл из данных, расширяя спектр задач в применении глубокого обучения. Графовые нейронные сети применяют прогностические возможности глубокого обучения к структурам данных, которые изображают объекты и их взаимосвязи в виде точек, соединенных линиями на графике.
Ключевыми функциям, выполняемыми GNN являются:
классификация узлов – процесс обучения модели для прогнозирования меток узлов, основанных на характеристиках и спецификациях соседних узлов и функций;
прогнозирование связей – процесс определения взаимосвязи между узлами графа;
классификация графов – процесс классификации на основе узлов, присутствующих на разных графах по схожести их категории. Она аналогична классификации узлов и прогнозированию связей, но направлена на сортировку графика.
Выделяется 3 типа графовых нейронных сетей:
Рекуррентный GNN. Это тип GNN, в котором соединение между различными узлами генерирует циклический допуск выходных данных от других узлов. Это влияет на узел того же цикла из выходных данных, и он ведет себя динамически по своей природе. Работа рекуррентной GNN основана на теореме Банаха о фиксированной точке.
Пространственный GNN. Пространственный GNN похож на широко известные сверточные нейронные сети. Он также работает на основе сбора свойств соседних узлов и передачи их центральному узлу.
Спектральный GNN. Этот GNN основан на матричной алгебре. Как и другие GNN, он использует в своих операциях опирается на оценку параметров узлов и их топологию. Однако спектральный GNN использует собственные значения и собственные расчетные вектора для получения результата из предоставленных графических данных.
За последние годы GNN стали важнейшим инструментом для решения реальных проблем во многих совершенно разных и не связанных областях, таких как рекомендательные системы, социальные сети, прогнозы трафика и многих других, применение к которым традиционных методов не позволит достичь должного результата.
Многие компании уже активно внедряют подходы, основанные на GNN, в свои разработки.
Рекомендательные системы Uber Eats. В свое приложение для доставки еды компания внедряет методы графического обучения (нейросеть GraphSage) в систему рекомендаций, позволяющую расширить возможности приложения, повысив степень ориентированности на отдельного пользователя.
В ходе первого теста модели производительность увеличилась более чем на 20% по сравнению с существующей моделью, применяемой Uber.
Pinterest также активно внедряет в систему рекомендаций нейросеть PinSage на базе GNN. PinSage предсказывает какие визуальные представления, могут быть интересны пользователю, на основе его опыта. Для оценки эффективности функционирования PinSage использовались два ключевых показателя:
Частота правильной рекомендации – прямое измерение вероятности того, что рекомендации, сделанные алгоритмом, содержат элементы, относящиеся к запросу.
Средний взаимный ранг (MRR) – измерение степени, в которой релевантные результаты близки к началу результатов поиска.
По результатам анализа было выявлено, что PinSage повышает на 150% скорость достижения правильной рекомендации и на 60% улучшает MRR по сравнению с лучшей базовой моделью, применяемой в Pinterest.
DeepMind применяет GNN в Google Maps в части повышения точности расчетного времени прибытия транспорта. Новый подход привел к улучшению точности до 50% по сравнению с предыдущим подходом. Карта ниже демонстрирует процент повышения точности работы сервиса.
Исследовательская лаборатория Массачусетского технологического института (MIT Media Lab) проводила исследование по выявлению эффективности использования модели искусственного интеллекта для прогнозирования активности молекул под воздействием антибиотиков путем изучения их графических представлений.
Лаборатория Бейкера (Baker Lab) Вашингтонского университета объединила графические нейронные сети и методы диффузии, создав систему искусственного интеллекта RosettaFoldDiffusion, которая способна решать ряд специфических задач в области проектирования структуры белков. На рисунке представлены молекулы белка в виде графиков, и упрощенно описана работа GNN, который обучен предсказывать их свойства.
«Сбер» также разработал и внедрил собственную графовую платформу. Она оптимизирует управление бизнес-процессами на основе больших данных. Платформа состоит из 8 сервисов:
лаборатория графов – интерактивный инструмент для исследования графов и разработки новых графовых моделей (ML), который позволяет пользователям загружать свои данные и строить собственные витрины;
графовые расчёты – сервис помогает выполнять массовые регулярные расчёты на больших графах для исполнения созданных графовых моделей;
единый граф клиентских связей – объединяет актуальные витрины данных о полной связанности между собой всех клиентов банка;
онлайн-доступ к графу – работает в режиме «вопрос — ответ» (например, с его помощью можно выяснить, есть ли признаки фрода (мошеннических операций) в окружении клиента);
визуализация графов – доступ к интерактивному просмотру графов и выявления скрытых взаимосвязей между юридическими и физическими лицами;
встраиваемая графовая база данных для нестандартных решений;
пайплайн на основе графовых нейронных сетей – это готовый пайплайн на базе PyTorch Geometric создаваемый по уникальным целевым значениям;
link prediction – сервис поиска неявных связей, предсказывает неизвестные факты о связанности клиентов, если данные о них изначально отсутствовали или были скрыты.
Графовые нейронные сети за последнее время превратились в мощный инструмент в области искусственного интеллекта. Это быстро развивающаяся область со множеством интересных разработок, и за последние несколько лет исследовательское сообщество существенно повысило свое внимание к ней.
«В промышленности приложения машинного обучения на основе графов в совершенно разных областях начали появляться сравнительно недавно, но уже зарекомендовали себя как средство, меняющее правила игры в некоторых современных моделях, применяемых в практике и в больших масштабах». Эти недавние успехи открывают возможности для нового спектра применений и делают шаг на следующую ступеньку эволюции искусственного интеллекта.
