Объяснимый искусственный интеллект для кибербезопасности
Широкое применение машинного обучения и ИИ в различных отраслях и сферах жизни привело к возможности их использования в кибербезопасности. Согласно данным Grand View Research объем мирового рынка ИИ составил 93,5 млрд долл. США в 2021 году, а годовой темп роста с 2022 по 2030 год прогнозируется на уровне 38,1%.
Рынок кибербезопасности по данным Mordor Intelligence составил 156,24 млрд долл. в 2020 году и 353,25 млрд долл. к 2026 году с темпом роста 14,5%.
ИИ может существенно улучшить методы кибербезопасности, но привести к новым типам атак. Для решения этой проблемы необходимо обеспечить объяснимость системных решений ИИ.
Современные исследования сосредоточены на методах объяснимости в таких областях кибербезопасности как обнаружение вторжений, вредоносных программ, спама, ботнетов, мошенничества, фишинг, уязвимости нулевого дня1Термин «нулевой день» показывает, что поставщик или разработчик только что узнали об уязвимости, и у них есть «ноль дней» на ее исправление. Атака нулевого происходит в результате использования злоумышленниками уязвимости до того, как разработчикам удалось ее исправить. и криптоджекинг2Криптоджекинг – это тип киберпреступлений, связанный с несанкционированным использованием устройств (компьютеров, смартфонов, планшетов или даже серверов) злоумышленниками для добычи криптовалюты.
Киберпреступность
В отчете CybercrimeVentures автор приравнивает киберпреступность к третьей по величине экономике мира, после США и Китая. Это связано с объемами ущерба от киберпреступлений. Так, в 2021 году ущерб составил около 6 трлн долл., согласно прогнозу, издержки от киберпреступлений будут расти на 239,5% в год в течение следующих пяти лет и к 2025 году составят 10,5 трлн долл.
В первую очередь киберпреступная деятельность направлена на кражу, изменение или уничтожение информации. Вместе с этим используется неготовность систем и человека к доступу к конфиденциальным данным или компрометации систем со стороны злоумышленников.
По данным ENISA за 2021 год, наиболее распространенными атаками были: программы-вымогатели, вредоносное ПО, криптоджекинг, угрозы, связанные с электронной почтой, угрозы данным, угрозы доступности и целостности, дезинформация, незлонамеренные угрозы, атаки на цепочки поставок.
Основные проблемы кибербезопасности заключаются в незнании конкретного типа кибератаки и недостаточных разработках дополнительных механизмов защиты.
Объяснимый ИИ
В 2017 году DARPA запустила программу XAI (объяснимый ИИ) для совершенствования ИИ, который сможет объяснять свои действия и последствия этих действия для человека. С этой целью DARPA проводит исследования в области психологии и социальных наук. В рамках программы были выделены три ключевые стратегии улучшения объяснимости: глубокое объяснение, интерпретация моделей и индукция моделей. Глубокое объяснение представляет методы модифицированного или гибридного глубокого обучения, которые изучают объяснимые особенности или представления и включают средства генерации объяснений. Несколько вариантов дизайна дают более объяснимые представления (например, выбор обучающих данных, архитектурные слои, функции потерь, регуляризация, методы оптимизации, последовательность обучения). Интерпретация модели — это совокупность методов машинного обучения, которые изучают структурированные, интерпретируемые или причинно-следственные модели. Ранние модели включали байесовские правила, байесовское программное обучение, использование стохастических грамматик с целью определения интерпретируемой структуры. Индукция модели относится к методам, которые экспериментируют с любой моделью машинного обучения, такой как черный ящик, для выведения приблизительной объяснимой модели. Например, модельно-независимая система объяснения наблюдает и анализирует поведение ввода-вывода черного ящика. Главная концепция программы XAI заключается в создании объяснимой модели, разработке интерфейса объяснения и понимания психологических требований для эффективных объяснений. В целом, программа XAI внесла значительный вклад в разработку и оценку методов машинного обучения, включая модифицированное машинное обучение, методы, изучающие объяснимые признаки, методы, изучающие более структурированные, интерпретируемые, каузальные модели, модельные индукции, которые выводят объяснительные модели из моделей черного ящика.
Возможности ИИ в предотвращении киберпреступлений
Современные системы на основе ИИ могут находить и исправлять ошибки в кодах, уязвимости в системах безопасности и находить средства защиты от входящих атак. В частности, системы ИИ определяют:
возможности по использованию ошибок системы. В случае обнаружения бот самостоятельно создает «рабочую строку эксплойта для захвата потока управления», т. е. защищает уязвимости. С точки зрения прогнозирования, такие проекты, как платформа искусственного интеллекта под названием AI23Платформа ИИ, разработанная Массачусетским Технологическим Институтом в 2016 году., предсказывают кибератаки, используя мнение экспертов-людей;
защиту от атаки нулевого дня путем выявления вредоносного поведения или аномального перемещения данных;
используют прогностическую аналитику, включая теорию игр для прогнозирования времени совершения атаки;
защиту конфиденциальности, которая предполагает типы решений путем поиска и выявления закономерностей (признаков атаки) среди гражданского населения в различных сценариях.
Таким образом, потенциал применения ИИ для систем кибербезопасности неограничен. При этом, необходимо учитывать, что система, которая исследует ПО на наличие уязвимостей, может использоваться как для защиты, так и для нападения. Так, в IndustrialSecurityPulse полагают, что ИИ имеет двойственную природу, то есть отсутствие большой технической разницы между дроном, доставляющим посылки и дроном, доставляющим взрывчатые вещества.
Решение этих проблем лежит в плоскости применения объяснимого ИИ.
Методы объяснимости
Для работы объяснимого ИИ используют несколько методов отчётности по работе модели. Среди них:
LIME (Local Interpretable Model-agnostic Explanations) – локальная интерпретируемая модель, независимая от модели объяснения, то есть этот фреймворк обеспечивает объяснение прогнозов на индивидуальном уровне внешним способом и может объяснить любую модель, не вникая в детали ее работы. То есть, для упрощения LIME манипулирует входными данными и создает серию искусственных данных, содержащих только часть исходных атрибутов. Так, в случае текстовых данных, например, создаются разные версии исходного текста, в которых удаляется определенное количество разных, случайно выбранных слов. Эти новые искусственные данные затем распределяются по разным категориям (классифицируются). Следовательно, по наличию или отсутствию тех или иных ключевых слов мы можем видеть их влияние на классификацию выделенного текста.
Таким образом, объяснимый метод ИИ LIME совместим со многими различными классификаторами и может использоваться с графическими и табличными данными. Этот же шаблон может применяться для классификации изображений, где искусственные данные содержат не часть исходных слов, а части изображения (пиксели).
ELI5 – это пакет Python, который помогает понять прогнозирование моделей интуитивно понятным способом.
SHAP (Shapely Additive Explanations) – это один из способов объяснения модели и понимания характеристик взаимосвязи входных и выходных данных. Метод основан на коалиционной теории игр, чтобы обеспечить способ справедливого распределения «вознаграждения» между функциями. Одно из самых больших преимуществ SHAP заключается в возможности как глобальной, так и локальной объяснимости4Глобальные методы и инструменты интерпретируют всю модель, в то время как локальные методы и инструменты объясняют только отдельные прогнозы., включая табличные и неструктурированные данные.
BRCG (Boolen Rule Common Generation Explainer) – метод объяснения генерации столбцов логических правил. То есть контролируемый и интерпретируемый метод обучения для бинарной классификации «и»/«или» для табличных данных.
Якоря – подход, позволяющий определять правило принятия решений, которое привязывает прогноз, и использует его для объяснения любой модели классификации черного ящика. То есть, если изменения в других признаках не влияют на прогноз, то правила его «привязывают». Это локальная независимая от модели структура.
LORE (LOcal Rule-based Explanations) – это объяснения на основе локальных правил, которые создают интерпретируемый предиктор для конкретной модели черного ящика. Дерево решений используется для обучения локального интерпретируемого предсказателя на наборе искусственных случаев. Оно позволяет извлекать локальное объяснение, которое состоит из правила единственного выбора и набора контрфактических правил для обратного решения.
Выводы
Применение объяснимого ИИ для задач кибербезопасности охватывает гибридные методы. Интеграция методологий объяснимого ИИ с методологиями ИИ и кибербезопасности позволяет улучшить объяснимость и интерпретацию конкретных сценариев. При определенном сценарии объяснимость позволит улучшить принятие решений, например, водителем – производить мониторинг поведения водителя. Системы кибербезопасности интегрированные с методами объяснимого ИИ могут заранее обнаруживать аварийные ситуации. Параллельно, объяснимый ИИ может применяться в любой отраслевой вертикали, включая здравоохранение, промышленность, технологии. В частности, в целях обеспечения безопасности сетей 5G. Однако сегодня, системы кибербезопасности с поддержкой ИИ, интегрированные с технологиями 5G и выше, требуют больших затрат и дальнейших исследований.
- 1Термин «нулевой день» показывает, что поставщик или разработчик только что узнали об уязвимости, и у них есть «ноль дней» на ее исправление. Атака нулевого происходит в результате использования злоумышленниками уязвимости до того, как разработчикам удалось ее исправить.
- 2Криптоджекинг – это тип киберпреступлений, связанный с несанкционированным использованием устройств (компьютеров, смартфонов, планшетов или даже серверов) злоумышленниками для добычи криптовалюты
- 3Платформа ИИ, разработанная Массачусетским Технологическим Институтом в 2016 году.
- 4Глобальные методы и инструменты интерпретируют всю модель, в то время как локальные методы и инструменты объясняют только отдельные прогнозы., включая табличные и неструктурированные данные.
