Стандартизация искусственного интеллекта в ЕС

Организация AI Watch, созданная при Европейской комиссии, провела исследование по соответствию стандартов различных стандартизирующих организаций положениям законопроекта AIA от 21.04.2021, согласно которым ужесточаются требования к стандартизации систем искусственного интеллекта1 «Система искусственного интеллекта» означает программное обеспечение, которое разработано с использованием одного или нескольких методов и подходов (контролируемое, неконтролируемое обучение и обучение с подкреплением, с использованием самых разных методов, включая глубокое обучение; логические и основанные на знаниях подходы, включая представление знаний, индуктивное (логическое) программирование, базы знаний, механизмы вывода и дедукции, (символические) рассуждения и экспертные системы; статистические подходы, байесовское оценивание, методы поиска и оптимизации), и может для заданного набора определенных человеком целей генерировать выходные данные, такие как контент, прогнозы, рекомендации или решения, влияющие на среду, с которой они взаимодействуют.

Новый подход ЕС к определению ИИ заключается в оценке ИИ с точки зрения рисков (см. Рис.1)

Рис.1

К системам с минимальным риском новые правила не будут применяться, так как представляют минимальный или нулевой риск для прав или безопасности граждан. Компании и пользователи смогут использовать их бесплатно. Примеры включают спам-фильтры и видеоигры. По мнению членов Европейской комиссии большинство приложений искусственного интеллекта попадут в эту категорию.

Системы ИИ с ограниченным риском будут подчиняться конкретным обязательствам по обеспечению прозрачности, чтобы пользователи могли принимать информированные решения, знать, что они взаимодействуют с машиной, и отключаться по желанию. Это относится, например, к чат-ботам.

К высокорисковым системам ИИ относятся: биометрическая идентификация и категоризация физических лиц, образование и профессиональная подготовка, трудоустройство, управление персоналом и доступ к самозанятости, доступ к основным частным и государственным услугам и льготам, данные правоохранительных органов, данные миграционных и пограничных служб, данные институтов отправления правосудия и демократических процессов.

Системы с неприемлемо высоким риском представляют «явную угрозу безопасности, средствам к существованию и правам людей». Примеры включают социальную оценку со стороны правительства (например, кредитную систему Китая), эксплуатацию уязвимых мест детей и использование подсознательных методов.

Наиболее спорным является вопрос о системах биометрической идентификации, которые основаны на таких характеристиках, как черты лица, голос или эмоции. Согласно постановлению, все системы удаленной биометрической идентификации будут отнесены к категории высокого риска и будут подчиняться вышеупомянутым строгим требованиям. Более того, использование этих систем правоохранительными органами будет полностью запрещено, попадая в категорию «неприемлемых».

Однако Европейская комиссия предусматривает «узкие исключения», которые позволят использовать биометрию для «целенаправленных» действий, например, поиск пропавшего ребенка или ответ на террористическую угрозу. Такое использование должно быть санкционировано судебным органом и ограничено по времени и охвату.

Исследование AI Watch включает обзор существующих и/или находящихся в разработке стандартов и содержит анализ на предмет соответствия новым требованиям. Так, например, для каждой группы стандартов по ИИ в четырех исследуемых организациях (ETSI, ISO/IEC, ITU, IEEE) отмечена корреляция между стандартом/спецификацией и одним/всеми требованиями законопроекта. Эти требования включают:

проверенный и качественный набор данных;

наличие технической документации до выхода продукции на рынок;

наличие механизма автоматической записи событий;

прозрачность и доступность информации о системе ИИ для пользователей;

возможности контроля ИИ человеком;

точность, надежность и кибербезопасность;

наличие внутренних проверок систем ИИ;

наличие системы управления рисками.

Наибольшее количество корреляций отмечается в стандартах ETSI и IEEE (от двух до четырех), далее следуют стандарты ITU по количеству корреляций (в среднем соответствуют трем требованиям законопроекта) и стандарты ISO/IEC имеют в среднем по два соответствия требованиям. Это означает возможные сложности в гармонизации стандартов для высокорисковых систем ИИ.

Значительные пробелы в стандартах наблюдаются в требованиях по «наличию данных», «технической документации» и в «системах управления рисками». Также выявлен ряд пробелов на уровне детализированной структуры требований, например, наличие только одного технического документа.

Основополагающими для реализации законопроекта AIA можно считать согласно исследованию всего шесть стандартов. К ним относятся стандарт по оценке и классификации машинного обучения, стандарт по определению процессов жизненного цикла систем ИИ, стандарт по управлению рисками систем ИИ, стандарт по определению предвзятости в системах ИИ, стандарт по определению последствий использования систем ИИ и стандарт по управлению системами ИИ.

Среди возможных недоработок законопроекта можно считать акцент на технологической составляющей, которая требует обновлений для изменяющихся технологий, при этом отсутствуют требования к результатам деятельности ИИ. Такой подход может тормозить заявленное намерение ЕС инвестировать в исследования и разработки ИИ не менее 20 млрд евро (около 2 трлн руб.) ежегодно до 2030 года.

Оглавление

Введение 3

Критерии законопроекта от 21.04.2021 для систем ИИ с высоким риском. 4

Присвоение стандартам индексов 8

Стандарты ETSI 9

Стандарты ISO/IEC. 13

Стандарты ITU. 15

Стандарты IEEE. 16

Заключение 21

Введение

Инициатива AI Watch, созданная Европейской комиссией, Объединенным исследовательским центром (JRC) и Генеральным директоратом коммуникационных сетей, контента и технологий (DG CONNECT) отслеживает промышленный, технологический и исследовательский потенциал, политические инициативы в государствах-членах, внедрение и технические разработки в области искусственного интеллекта и их влияние на экономику, государство и общество.

AI Watch периодически публикует аналитические материалы для мониторинга и содействия реализации Европейской стратегии в области ИИ. После публикации законопроекта по искусственному интеллекту2 AIA ужесточает требования к системам искусственного интеллекта и соответствия требованиям гармонизированных стандартов. Гармонизированные стандарты разрабатываются одной из европейских организаций по стандартизации на основании официального запроса от Комиссии, в целях поддержки реализации законодательства Союза. Эти запросы определяют, что ожидается от европейских организаций по стандартизации. В частности, они указывают, какие согласованные стандарты должны быть разработаны и когда.
Комиссия разрабатывает запросы на стандартизацию в инклюзивном и прозрачном процессе вместе с государствами-членами. Комиссия и Европейские организации по стандартизации обеспечивают процесс разработки на основе консенсуса и прозрачности. В частности, Комиссия внимательно следит за тем, чтобы учитывался вклад малых и средних предприятий и заинтересованных стороны, таких как потребители, работники и другие участники. После того, как европейские организации по стандартизации разработали гармонизированный стандарт, Комиссия оценивает, соответствует ли он требованиям соответствующего законодательства Европейского Союза. Если комиссия приходит к выводу, что стандарт соответствует запросу и законодательству Союза, публикуется ссылка на него в Официальном журнале Европейского Союза. После решения Европейской Комиссии опубликовать ссылку в Официальном журнале, стандарт имеет юридическую силу в соответствии с законодательством Союза
Продукты, произведенные в соответствии с гармонизированными стандартами, пользуются презумпцией соответствия соответствующим законодательным требованиям.
(Artificial Intelligence Act, далее – AIA) в апреле 2021 года AI Watch провела исследование на соответствие существующих и/или разрабатываемых стандартов в области ИИ требованиям нового законопроекта, а также с целью устранения возможных пробелов и совершенствования дорожной карты по реализации AIA.

На данный момент существует 140 стандартов по ИИ, которые разрабатываются Европейской организацией по стандартизации (ESO), международной организацией по разработке стандартов (SDO), Международным институтом электросвязи (ITU), Международной организацией по стандартизации (ISO), Международной электротехнической комиссией (IEC), Институтом инженеров электротехники и электроники (IEEE). Для гармонизации стандартов европейские и международные организации имеют соответствующие соглашения, которые гарантируют принятие международных стандартов европейскими организациями в ответ на запрос стандартизации. Ежегодно количество стандартов в области ИИ стабильно увеличивается. В 2021 году в ЕС ожидается 21 новый стандарт.

Таким образом, гармонизированные стандарты являются ключевым инструментом для реализации законодательства и призваны способствовать достижению конкретной цели по обеспечению безопасности и надежности систем искусственного интеллекта.

В документе представлен обзор международных инициатив по стандартизации, проанализировано их соотношение с требованиями AIA и проведена оценка их уровня эксплуатации и пригодности для реализации этих требований. Наиболее важным разделом AIA является Приложение III, в котором описаны составляющие системы искусственного интеллекта «высокого риска». По сути, если система ИИ может негативно повлиять на жизнь или средства к существованию человека ‑ это высокий риск. В частности, это системы искусственного интеллекта, отказ которых может нанести физический ущерб, например, которые используются в качестве функций безопасности или для управления критически важной инфраструктурой, а также широкий спектр приложений, потенциально способных нанести социальный ущерб.

Системы, которые манипулируют людьми или производят оценки социального доверия, полностью запрещены, а системы биометрической идентификации в реальном времени запрещены для использования всеми, кроме правоохранительных органов. Любая система, используемая для регулирования доступа к услугам образования или занятости, попадает в категорию высокого риска, как и системы искусственного интеллекта, используемые правоохранительными, пограничными и судебными органами.

В исследовании описана методология оценки стандартов, которая заключается в отборе стандартов для ИИ с высоким риском по критериям, описанным в AIA. Для восьми основных критериев в исследовании сделано уточнение и детализация. Это обеспечивает полноценный анализ стандартов для соблюдения требований законопроекта.

На первом этапе отбора собраны 140 стандартов, которые могут иметь отношение к ИИ, на втором этапе проведен глубинный анализ для 75 стандартов и на третьем этапе выявлено 22 стандарта, которым присвоены индексы соответствия и пригодности требованиям AIA. Авторы исследования отмечают, что в следующем исследовании подобный анализ будет проведен для всех существующих стандартов в области ИИ.

Критерии законопроекта от 21.04.2021 для систем ИИ с высоким риском

Разработка концепции и определений для систем искусственного интеллекта являются перманентной задачей международного научного сообщества.

Согласно исследованию AI Watch законопроект от 21.04.2021 впервые предоставляет юридическое определение системы искусственного интеллекта для разработки индексов и анализа стандартов, которое включает программное обеспечение с использованием одного или нескольких методов и подходов, (перечисленных в Приложении I законопроекта), и может для данного набора целей, определенных человеком, генерировать выходные данные, такие как контент, прогнозы, рекомендации или решения, влияющие на среду, с которой они взаимодействуют».

Восемь критериев AIA детализированы в исследовании AI Watch и представлены в таблицах 1-8.

Таб. 1 Проверенный и качественный набор данных

Проверенный и качественный набор данных
ТемаЭлементы
1Наборы данных для обучения, проверки и тестированияКритерии качества
Практика управления
2Системы ИИ, которые не используют методы, связанные с обучениемОбучение моделей
Практика управления данными

Таб. 2 Наличие технической документации до выхода продукции на рынок

Техническая документация
ТемаЭлементы
1Техническая документация для высокорисковых систем ИИОбщее описание системы ИИ
Подробное описание элементов системы ИИ и процесса ее разработки
Соответствие декларации ЕС
Подробная информация о мониторинге, функционировании и управление системой ИИ
Список гармонизированных стандартов, применяемых полностью или частично
Подробное описание системы управления рисками
Описание любых изменений, внесенных в систему в течение жизненного цикла
Производительность системы искусственного интеллекта на пострыночной фазе
2Системы ИИ высокого рискаНаличие только одного файла технической документации

Таб. 3 Наличие механизма автоматической записи событий

Автоматическая запись событий
ТемаЭлементы
1Возможность автоматического ведения журнала системы ИИ высокого риска (автоматическая запись событий при включении систем ИИ высокого риска)Уровень прослеживаемости журнала
2Содержимое автоматических журналов системы высокого рискаИдентификация физических лиц, участвующих в проверке результатов
Период каждого использования системы
Справочная база данных, по которой входные данные были проверены системой
Входные данные, поиск которых привел к совпадению

Таб.4 Прозрачность и доступность информации о системе ИИ для пользователей

Прозрачность и доступность информации о системе ИИ
ТемаЭлементы
1Наличие документации
(Прозрачность операций системы ИИ высокого риска)
Инструкции по эксплуатации (в соответствующем цифровом формате) или документация, которая включает (краткую, полную, правильную и
ясную) информацию, которая актуальна, доступна и понятна пользователям
2Инструкция по применению и эксплуатационная документацияКонтактные данные поставщика или
его уполномоченных представительных, характеристики системы (включая возможности и ограничения)
2.1.ИнструкцияНазначение системы, подтверждение точности, надежности и кибербезопасности системы, описание обстоятельств, которые могут приводить к рискам безопасности и/или нарушения прав, данные для тестирования и валидации
2.2.Эксплуатационная документацияИзменения (в системе и ее производительности), заявленные поставщиком для первичной оценки соответствия; ожидаемый срок службы системы ИИ, необходимое обслуживание и меры по уходу

Таб.5 Возможности контроля ИИ человеком

Возможности контроля ИИ человеком
ТемаЭлементы
1Контроль человеком для предотвращения или минимизации рисковЗдоровье и безопасность человека
1.1.Средства контроляВнедряется поставщиком системы или пользователем системы
2Интерпретация контроляВозможности и ограничения системы ИИ,
Системные отклонения,
Выход из системы ИИ,
Способы отмены выхода из системы ИИ,
Способы изменить, прервать или остановить работу системы ИИ

Таб.6 Точность, надежность и кибербезопасность

Точность, надежность, кибербезопасность
ТемаЭлементы
1Уровни и метрики точностиОписание в инструкции
2Устойчивость в отношении ошибокРезервное копирование, устранение уязвимостей, обучение на наборах данных, соответствие стандартам кибербезопасности
2.1.Самообучение системы, в том числе после ввода в эксплуатацию или выхода на рынокМеры по смягчению последствий

Таб.7 Наличие внутренних проверок систем ИИ

Система управления рисками
ТемаЭлементы
1Наличие системы управления рисками для ИИУправление рисками на протяжении всего жизненного цикла системы
2Процесс управления рискамиИдентификация рисков, связанных с системой ИИ, оценка рисков, связанных с неправильным использованием системы ИИ, оценка других возможных рисков
2.1.Способы минимизации или устранения рисковНадлежащее проектирование, наличие методов минимизации и устранения, информирование и обучение пользователя
3Необходимые условия использования ИИ системВозможности пользователя (технические знания, опыт и пр.), конфигурация среды использования ИИ
4Тестирование ИИ системЭффективность системы, соответствие требованиям к системе
5Возраст пользователяДоступность для детей

Таб.8 Наличие системы управления рисками

Система управления рисками
ТемаЭлементы
1Описание системы управления качествомПолитика, процедуры, инструкции
1.1.Наличие набора методов, процессов и процедур для обеспечения работы системы управления качествомСтратегия соблюдения правил системы управления качеством
Проектирование, контроль конструкции и проверка конструкции
Разработка, контроль качества и гарантия качества
Периодичность экзаменов, испытаний и валидации
Прикладные технические условия (включая стандарты)
Управление данными (в том числе: сбор данных, анализ данных, данные маркировка, хранение данных, фильтрация данных, интеллектуальный анализ данных, агрегация данных, сохранение данных)
Наличие системы управления рисками
Наличие системы послепродажного мониторинга
Возможность сообщения о серьезных инцидентах и неисправностях
Возможность общения с (национальными) компетентными органами
Ведение учета всей необходимой документации и информации
Управление ресурсами (включая безопасность поставок,
меры)
Наличие структуры подотчетности

Присвоение стандартам индексов

В исследовании представлено два индекса:

индекс ввода в эксплуатацию обеспечивает количественную оценку актуальности стандарта для превращения требований AIA в конкретные правила и функции;

индекс пригодности обеспечивает числовую оценку пригодности на основе набора стандартных характеристик. В частности, индекс пригодности объединяет ранее рассчитанный индекс эксплуатации с некоторыми характеристиками зрелости и предметной области стандарта.

Общий анализ индексов пригодности и индексов ввода в эксплуатацию для каждого из восьми требований AIA позволяет выявить возможные пробелы и выработать рекомендации. Для этого по итогам анализа для некоторых стандартов (в основном для ISO/IEC) сформированы краткие справки с указанием значений практического применения и пригодности3 В открытом доступе находится только часть проанализированных стандартов..

Каждая справка состоит из текстовой таблицы, в которой резюмируются стандартные значения для всех параметров, составляющих индекс пригодности; лепестковой диаграммы для отображения значения ввода в эксплуатацию по каждому из восьми требований AIA и другие значения параметров пригодности; текстовой таблицы с изложением дополнительных требований AIA, на которые влияет контекст. Пример справки для стандарта ISO/IEC AWI 5259-1 показан на рисунке 1.

Рисунок 1.

В ходе проведенного исследования различных стандартов по ИИ выявлены несоответствия новым требованиям, определена область необходимых доработок, представлен целостный и многоаспектный анализ.

Стандарты ETSI 9

TR 103 821 от 01.2021. Разработка автономных сетей для самоуправляемой сети Интернет будущего (AFI); искусственный интеллект в тестовых системах и моделях.

Стандарт включает: общее руководство по преимуществам использования ИИ в тестовых системах; общее руководство по тестированию моделей ИИ в целом, включая определения, стандартизированные метрики для измерений и оценок в тестировании и сертификацию моделей AI, включая сертификацию моделей автономных компонентов и систем; тестирование когнитивных моделей принятия решений (DE) ETSI GANA автономных (замкнутых) сетей; тестирование моделей автономного управления и контроля сегментов сети 5G и пр. Стандарт находится в процессе разработки.

GS/ARF-003 от 03.2020.Система дополненной реальности (ARF); архитектура фреймворка AR.

Стандарт включает: описание функциональной справочной архитектуры для компонентов, систем и служб AR, структуру этой архитектуры и ее функциональные возможности на основе набора вариантов использования (ETSI GERARD 002) и текущих стандартов AR (ETSI GR ARF 001); описание блоков эталонной архитектуры AR и их взаимосвязи. Стандарт опубликован.

GS CIM 009 V1.2.1 от 10.2019. Управление контекстной информацией (CIM); API NGSI-LD.

Стандарт включает: описание протоколов для обмена контекстной информацией для «умных» сервисов; определяет, как API[9] позволяет приложениям выполнять обновления контекста, регистрировать поставщиков контекста, к которым можно обращаться с запросами для получения обновлений контекста, запрашивать информацию о текущей контекстной информации и пр. Стандарт опубликован.

GR CIM-007 от 01.2021. Управление контекстной информацией (Context Information Management): безопасность и конфиденциальность.

Стандарт включает: описание и оценка проблем безопасности и конфиденциальности, описание спецификаций API, платформ для публикации данных и работы модели данных. Кроме этого, стандарт должен обеспечить конфиденциальность при широком агрегировании данных и описать ограничения на жизненный цикл данных. Стандарт не включает описание безопасности устройства, а ограничивается только сферой управления контекстной информации. Стандарт находится в процессе разработки.

GS ENI 001 v2.1.1 и GS ENI 005 от 09.2019 Экспериментальный сетевой интеллект. Варианты использования. Сетевая архитектура.

Стандарты определяют набор вариантов использования от различных заинтересованных сторон, где система экспериментального сетевого интеллекта может быть применена к фиксированной или мобильной сети. А также приводится описание функциональной архитектуры, каким образом данные собираются, нормализуются и обрабатываются. Стандарты опубликованы.

GR ENI 007 от 11.2019Экспериментальный сетевой интеллект (ENI). Определение категорий ИИ для ENI.

Стандарт определяет категории и уровни применения ИИ, а также методы ИИ для управления сетью. В стандарте определены шесть этапов использования ИИ в сети: от «без ИИ» до «полное развертывание ИИ». Стандарт опубликован.

GR NFVIFA 041 от 03.2021 Виртуализация сетевых функций, управление и оркестровка.

Стандарт должен предоставить возможность оценки улучшений, автоматизации и внедрения автономных сетей. Стандарт находится в разработке.

DGR SAI-001 от 05.2021 Обеспечение защиты искусственного интеллекта (SAI), онтология угроз ИИ

Стандарт должен определить, что можно считать угрозой ИИ и чем они отличаются от угроз традиционным системам. В настоящее время отсутствует понимание того, что можно считать атакой на ИИ, как она может создаваться и распространяться. В стандарте будет согласована терминология в контексте кибер и физической безопасности. Стандарт находится в разработке.

DGR SAI-002 от 07.2021 Обеспечение защиты ИИ, отчетность по цепочкам поставок.

В стандарте будут определены правила, протоколы и спецификации для контроля и обмена обучающими данными, нарушение целостности которых представляет угрозу для ИИ. Стандарт находится в разработке.

DGS SAI-003 от 05.2021 Обеспечение защиты искусственного интеллекта (SAI), тестирование безопасности ИИ.

Стандарт должен определить цели, методы и приемы, которые подходят для тестирования компонентов на основе ИИ. А также скорректировать традиционные подходы. Стандарт находится в разработке.

GR SAI 004 от 12.2020 Обеспечение защиты ИИ, постановка задач.

Стандарт должен определить и описать проблемы обеспечения безопасности систем и решений на основе ИИ, включая проблемы данных, алгоритмов и моделей на стадии обучения и реализации. Стандарт находится в разработке.

DGR SAI-005 от 03.2021 Обеспечение защиты искусственного интеллекта, отчет о стратегии смягчения последствий.

Стандарт направлен на обобщение и анализ существующих и потенциально применимых мер по смягчению последствий атак на системы ИИ, разработку рекомендаций по снижению уровня угроз, вызванных внедрением ИИ, формирование базовых параметров защиты. Стандарт находится в разработке.

ETSI TS 103 327 V1.1.1 от 04.2019 Стандартизированные услуги и приложения для умной нательной сети (SmartBAN).

Стандарт направлен на описание средств поддержки и интерфейсов, API и инфраструктуры для управления совместимостью. Стандарт опубликован.

GS ZSM 002 от 08.2019 Управление сетью и услугами без вмешательства пользователя. Эталонная архитектура.

Стандарт описывает эталонную архитектуру для сквозного фреймворка Zero-Touch Network and Service Management (ZSM), которая обеспечит масштабную автоматизацию и способствовать увеличению использования ИИ.

Онтология Smart Applications REFerence (SAREF) от 2020. Интеллектуальные приложения Справочная онтология

Стандарт направлен на усовершенствование портала SAREF и использовании ИИ при разработке онтологий, обнаружение и обогащение информации по IoT. Стандарт опубликован.

TR 103 674 от 12.2020 Искусственный интеллект и архитектура oneM2M4 Международный проект по разработке стандартов ИКТ

Стандарт включает подробное описание выбранных вариантов использования и идентификацию архитектурных эволюций (компоненты, необходимые сопоставления и т. д.) в структуру oneM2M. Положения стандарта относятся к внедрению ИИ и машинному обучению для улучшения производительности за счет стандартов oneM2M.

TR 103 675 от 12.2020 SmartM2M AI для Интернета вещей: доказательство концепции

Стандарт предоставляет подробное описание разработки и реализации сценариев использования, инструкции для создания прототипов из выбранных компонентов; направлен на повышение производительности ИИ и машинного обучения за счет использования горизонтального стандарта oneM2M. Стандарт также проверяет концепцию по расширению CSF для поддержки новых функциональных требований и новые CSF, предлагающие ИИ и машинное обучение «как услугу». Стандарт находится в разработке.

TS 102 181 v1.3.1 от 06.2020 Экстренная связь (EMTEL); Требования к общению во время чрезвычайных ситуаций.

Стандарт описывает требования к обмену данными между государственными структурами/организациями/гражданами и группами населения в чрезвычайных ситуациях, включая различные типы услуг, которые могут дополнять существующие сценарии. Стандарт опубликован.

TS 102 182 v1.5.1 от 07.2020 Экстренная связь (EMTEL); требования к сообщениям от органов власти/организаций для отдельных лиц, групп или широкой общественности во время чрезвычайные ситуации.

Стандарт представляет обзор требований к обмену информацией между государственными структурами, организациями, гражданами для формирования службы уведомления с учетом согласованного доступа. Стандарт опубликован.

Т103 194 от 10.2014 Сетевые технологии (NTECH); автономная сетевая инженерия для самоуправления Интернета будущего (AFI), сценарии, варианты использования и требования для автономного/самоуправляемого Интернета будущего.

Стандарт содержит описание сценариев, вариантов использования и требования к автономному/самоуправляемому Интернету будущего. Стандарт опубликован.

Т103.195-2 от 05.2018 Разработка автономных сетей для самоуправляемого Интернета будущего, автономная сетевая архитектура, эталонная модель для автономных и когнитивных сетей и возможностей для самоуправления.

Стандарт определяет автономную сетевую архитектуру как эталонную модель для автономных и когнитивных сетей. Стандарт опубликован.

EG 203 341 V1.1.1 от 10.2016 Тестирование сети, подходы.

Стандарт определяет структуру, принципы и рекомендации по тестированию для адаптивных сетей и проблемы окружающей среды, то есть условия, при которых сеть продолжает работать, например, неисправности, ошибки, отказы в различных частях. Стандарт опубликован.

Стандарты ISO/IEC

ISO/IEC 25024 от 2015 Системная и программная инженерия ‑ Требования к качеству систем и программного обеспечения и их оценка (SquaRE)

Стандарт содержит базовый набор показателей качества данных для каждой характеристики; базовый набор целевых объектов, для которых предназначены меры качества, которые применяются в течение жизненного цикла данных; объяснение, как применять меры качества данных; руководство для организаций, определяющих свои собственные меры качества данных. Стандарт опубликован.

ISO/IEC TR 24027 (дата не указана) Информационные технологии – ИИ ‑ предвзятость в системах искусственного интеллекта и с использованием искусственного интеллекта.

Стандарт направлен на устранение предвзятости в отношении систем ИИ, особенно в отношении решений, основанных на искусственном интеллекте; предоставление методов измерения и методов оценки систематических ошибок и уязвимостей, связанных с предвзятостью на этапах жизненного цикла ИИ. Стандарт находится в разработке.

ISO/IEC TR 24028 от 2020 Информационные технологии и ИИ.

В стандарте даются определения надежности систем ИИ, включая подходы к установлению доверия к системам ИИ за счет прозрачности, объяснимости и управляемости; определены технические ошибки, риски и угрозы для систем ИИ, методы смягчения последствий от ошибок, рисков и угроз; подходы к оценке отказоустойчивости, надежности, точности и безопасности и конфиденциальности (без учета спецификаций для уровней надежности для систем ИИ). Стандарт опубликован.

ISO/IEC DTR 24029-1 и 24029-2 ИИ – оценка устойчивости нейронных сетей – обзор и методология использования формальных методов.

Стандарты предлагают справочную информацию о существующих методах оценки устойчивости нейронных сетей и рекомендации по использованию формальных методов для оценки свойств устойчивости. Стандарты находятся на стадии разработки.

ISO/IEC WD 5259-1,2,3,4 Качество данных для анализа и машинного обучения.

Все четыре стандарта включают следующие позиции: обзор, терминологию и примеры данных; определение показателей качества данных; требования к управлению качеством данных; и процесс структурирования данных. Стандарты находятся на этапе разработки.

ISO/IEC WD 5338 Информационные технологии, искусственный интеллект ‑ процессы жизненного цикла системы ИИ.

Стандарт направлен на обеспечение процессов, которые поддерживают, контролируют и улучшают системы ИИ. Стандарт находится в разработке.

ISO/IEC AWI TR 5469 Искусственный интеллект ‑ функциональная безопасность и системы искусственного интеллекта.

В стандарте должно содержаться описание свойств, факторов риска, методов и процессов применения и управления ИИ в системах безопасности. Стандарт находится на стадии разработки.

SO/IEC AWI TR 24368 Информационные технологии, ИИ ‑ обзор этических и социальных проблем. Стандарт находится на стадии подготовки.

ISO/IEC AWI TR 24372 Информационные технологии, ИИ – обзор вычислительных подходов к системам ИИ. Стандарт должен предоставить обзор современных вычислительных подходов к системам ИИ: вычислительные характеристики, алгоритмы и подходы, варианты использования согласно стандарту ISO/IEC TR 24030. Стандарт находится на стадии разработки.

ISO/IEC CD 24668 Информационные технологии, ИИ ‑ структура управления процессами для анализа больших данных. Стандарт описывает эталонную модель процесса анализа больших данных. Стандарт находится на этапе разработки.

ISO/IEC 25012: 2008 от 2019 г. Программная инженерия: требования к качеству и оценка программного продукта, модель качества данных.

Стандарт определяет общую модель качества данных, хранящихся в структурированном формате в системе. В стандарте атрибуты качества классифицируются по 15 характеристикам.

ISO/IEC WD TS 4213 Информационные технологии, ИИ, оценки классификации машинного обучения. Стандарт направлен на определение методологии для измерения эффективности классификационных моделей, систем и алгоритмов машинного обучения. Стандарт находится на этапе разработки.

ISO/IEC 23894 Информационные технологии, ИИ, управление рисками.

Стандарт предоставляет рекомендации по управлению рисками, с которыми сталкиваются организации во время разработки и применения методов и систем ИИ. Кроме этого, в стандарте описаны процессы для эффективного внедрения и интеграции управления рисками ИИ, которые могут применяться в любой организации. Стандарт находится на стадии разработки.

ISO/IEC CD 38507 Информационные технологии, управление ИИ, последствия использования систем ИИ.

Стандарт предоставляет руководство для организаций, которые используют или рассматривают возможность использования ИИ. Стандарт является консультативным. Находится на этапе разработки.

ISO/IEC WD 42001 Информационные технологии, ИИ, система управления.

Стандарт направлен на формирование требований и создание руководства по внедрению, поддержанию и улучшению систем управления ИИ в контексте конкретной организации. Стандарт находится в разработке.

ISO/IEC AWI 25059 Программная инженерия, требования и оценка качества систем и программного обеспечения, модель качества для систем на базе ИИ.

Стандарт направлен на создание модели качества для систем искусственного интеллекта и представляет расширение для приложения серии SQuaRE5 Square ‑ это электронная платежная система для обслуживания предприятий. . Характеристики модели обеспечивают единую терминологию для определения, измерения и оценки качества системы ИИ. Стандарт находится на этапе разработки.

Стандарты ITU

ITUT Y.3170 от 09.2018 Требования к обеспечению качества обслуживания на основе машинного обучения для сетей 5G.

Стандарт определяет требования к обеспечению качества обслуживания на основе машинного обучения для сети международной мобильной связи 2020 (IMT-2020). В стандарте описаны возможности обнаружения и прогнозирования аномалий качества обслуживания (Quality of Service, далее ‑ QoS) с помощью машинного обучения. Кроме того, описана функциональная модель обеспечения качества обслуживания на основе машинного обучения, которое включает в себя такие функциональные компоненты, как сбор данных QoS, предварительную обработку данных, хранение данных, моделирование и обучение,

обнаружение и прогнозирование аномалий, принятие решений политики QoS. Стандарт опубликован.

ITUT Y.qosmlarc Архитектура обеспечения качества обслуживания на основе машинного обучения для сетей 5G.

Стандарт определяет архитектуру обеспечения качества обслуживания на основе машинного обучения для сети международной мобильной связи 2020 (IMT-2020), предоставляет обзор унифицированной архитектуры для машинного обучения в сетях 5G и будущих сетях. Стандарт находится в разработке.

ITUT Y.MecTaML от 07.2021г. Механизм осведомленности о трафике, не зависящий от дескрипторов приложений на основе машинного обучения. Стандарт находится на этапе разработки.

ITU-T Y.3531 от 09.2020г.Облачные вычисления, функциональные требования для машинного обучения как услуги.

Стандарт представляет требования к облачным вычислениям для машинного обучения в виде сервиса, отвечающий требованиям машинное обучение как услуга

(MorphoLogical Anti-Aliasing Service, далее ‑ MLaaS). В стандарте определены функциональные требования к платформам машинного обучения MLaaS для идентификации таких функций, как сбор данных, моделирование и вычислительные ресурсы и т. д. Стандарт одобрен к публикации.

Стандарты IEEE

IEEE – ECPAIS Программа сертификации по этике для автономных и интеллектуальных систем

Программа ECPAIS предназначена для создания спецификаций для сертификации и маркировки процессов прозрачности, подотчетности и снижения алгоритмической предвзятости в автономных и интеллектуальных системах. ECPAIS должна предложить процесс сертификации систем и услуг автоматических идентификационных систем AIS.

IEEE P7000 Проект модели процесса решения этических проблем при проектировании системы

Стандарт описывает подход к выявлению и анализу потенциальных этических проблем в системе или программном обеспечении с самого начала работы. Стандарт находится в разработке, выпуск стандарта запланирован на сентябрь 2021г.

IEEE P7001 Прозрачность автономных систем.

Стандарт относится к разработкам автономных технологий, которые могут оценивать свои собственные действия и помочь пользователям понять технологию принятия решений в определенной ситуации. Стандарт также предлагает способы обеспечения прозрачности и ответственности системы, которая помогает направлять и улучшать ее, например, включение регистратора данных о событиях в беспилотном автомобиле или доступа к данным с датчиков устройства.

Стандарт находится в разработке. Публикация стандарта запланирована на декабрь 2021г.

IEEE P7002 Процесс обеспечения конфиденциальности данных.

Регламентирование процесса обеспечения конфиденциальности данных для систем или программного обеспечения. Стандарт включает корпоративную

политику сбора данных и обеспечение качества, в том числе для организаций, разрабатывающих приложения с использованием личной информации. Стандарт находится в разработке. Публикация запланирована на декабрь 2021г.

IEEE P7003  Алгоритмическая предвзятость. Стандарт предлагает набор конкретных шагов по устранению алгоритмической предвзятости для разработчиков автономных и интеллектуальных систем. Алгоритмическая предвзятость может включать использование субъективной или неправильной интерпретации данных, например ошибочная корреляция в причинно-следственных связях. Стандарт также будет включать процедуры сравнительного анализа и критерии для выбора наборов данных для валидации. Стандарт находится в разработке. Официальная публикация стандарта запланирована на декабрь 2021г.

IEEE P7004 ™ Регулирование данных о детях и учащихся.

Стандарт направлен на обеспечение сертификации прозрачности и подотчетности систем обработки данных учащихся. Стандарт определяет процессы получения, сбора, удаления данных учащихся. Стандарт находится в разработке. Официальная публикация стандарта запланирована на декабрь 2021г.

IEEE P7005 ™ Стандарт управления данными для работодателей.

Стандарт содержит рекомендации и набор сертификатов для хранения, защиты и использования данных о сотрудниках этичным и прозрачным образом. Стандарт содержит инструменты и услуги, которые помогают сотрудникам принимать обоснованные решения о работе с их личными данными, рекомендации для работодателей о процессе согласования работы с личными данными сотрудников. Стандарт находится на этапе разработки. Официальная публикация стандарта запланирована на декабрь 2021г.

IEEE P7006 ™ Интеллектуальный агент (ИИ-агент) по работе с персональными данными пользователя.

Стандарт содержит описание и необходимые разъяснения о работе ИИ-агента, в частности, о снижении этической нагрузки при принятии решений об обмене данными между системами ИИ. В стандарте описаны инструменты для пользователей по созданию условий использования своих личных данных, в котором ИИ агент может ими управлять в цифровом и виртуальном мире. Стандарт находится на этапе разработки. Официальная публикация стандарта запланирована на декабрь 2022г.

IEEE P7007 ™ Онтологический стандарт для этичного управления робототехникой и автоматизированными системами. Стандарт формирует набор онтологий с разными уровнями абстракции, которые содержат определения, концепции и аксиомы для разработки этически ориентированных методологий работы автоматизированных систем. Стандарт находится на стадии разработки. Официальная публикация стандарта запланирована на декабрь 2021г.

IEEE P7008 ™ Стандарт этически мотивированных форм влияния на пользователя для роботизированных, интеллектуальных и автономных систем.

Стандарт описывает существующие и возможные в будущем формы влияния (манипуляции) роботизированных, автономных интеллектуальных систем на поведение и/или эмоции пользователя. Эти формы включают концепции и функции, которые будут иметь этическое ограничение для такого влияния/манипуляций.

Стандарт находится на этапе разработки. Официальная публикация стандарта запланирована на декабрь 2022г.

IEEE P7009 ™ Стандарт на осуществление безопасного проектирования автономных и полуавтономных систем.

Стандарт устанавливает технологическую базу методологий для разработки, внедрения и использования эффективных отказоустойчивых механизмов в автономных и полуавтономных системах. Стандарт включает процедуры измерения, тестирования и сертификации способности системы определять решения при неудовлетворительной работе. Стандарт также является основой для разработчиков и регулирующих органов по созданию отказоустойчивых систем надежным, прозрачным и подотчетным образом. Стандарт находится в разработке. Официальная публикация запланирована на декабрь 2022г.

IEEE 7010 ™-2020 от 05.2020г. Рекомендуемые практики оценки воздействия автономных и интеллектуальных систем на здоровье человека. Цель стандарта обеспечить полностью положительное влияние таких систем на человека. Для этого разработаны научно-обоснованные индексы благополучия для взаимодействия заинтересованных сторон. Стандарт опубликован.

IEEE P7011 ™ Стандарт по определению новостных источников и оценке к ним доверия.

Стандарт направлен на устранение негативных последствий неконтролируемого распространения фейковых новостей. В стандарте будет разработана система рейтингования источников. Стандарт находится в разработке. Официальная публикация стандарта запланирована на декабрь 2022г.

IEEE P7012 ™ Стандарт машиночитаемых правил сбора и обработки персональных данных.

Стандарт предоставит пользователям возможность предлагать свои собственные условия, уважающие личную жизнь, способами, которые могут быть прочитаны, подтверждены и согласованы машинами, управляемыми другими пользователями в сетевом мире

Стандарт находится на этапе разработки. Официальная публикация стандарта запланирована на декабрь 2022г.

IEEE P7014 ™ Стандарт по расширению эмпатии в автономных и интеллектуальных системах.

Стандарт должен разработать модель практического применения эмпатических технологий, включая способность идентифицировать и количественно оценивать аффективные состояния, вырабатывать на них реакцию, моделировать ситуации. Стандарт находится на этапе разработки. Официальная публикация стандарта запланирована на декабрь 2023г.

IEEE 2801 Рекомендации по управлению качеством наборов данных для медицинского искусственного интеллекта.

Стандарт определяет передовые методы создания системы управления качеством для наборов данных, используемых для медицинских устройств с искусственным интеллектом. Рекомендации охватывают полный цикл управления наборами данных, включая сбор, передачу, использование, хранение, обслуживание и обновление. Рекомендации представляют список критических факторов, которые влияют на качество наборов данных, таких как, источники данных, качество данных, аннотации, защита конфиденциальности, квалификация персонал и др.

Стандарт находится на этапе разработки. Официальная публикация стандарта запланирована на май 2022г.

IEEE P2802 Стандарт по оценке характеристик и безопасности медицинских устройств на основе искусственного интеллекта: терминология

В стандарте установлена терминология использования медицинских устройств с искусственным интеллектом, включая определения фундаментальных концепций и методологий, которые описывают безопасность, эффективность, риски и управление качеством медицинского устройства с искусственным интеллектом.

Стандарт находится в разработке. Официальная публикация стандарта запланирована на декабрь 2022г.

IEEE P2807.1 ™ Тестирование сети знаний

Стандарт определяет технические требования, показатели производительности, критерии оценки и контрольные примеры для графов знаний. Обязательные тестовые примеры включают ввод данных, метаданные, извлечение данных, слияние данных, хранение и извлечение данных, вывод и анализ, а также отображение графа знаний.

Стандарт находится на этапе разработки. Официальная публикация стандарта запланирована на декабрь 2023г.

IEEE P2846  Модель принятия решений автоматическим транспортным средством.

Стандарт определяет формальную математическую модель для автоматического принятия решений о транспортных средствах с использованием дискретной математики и логики. Модель применяется к функциям планирования и принятия решений автоматизированного транспортного средства SAE уровня 3-5. Модель формально проверяемая и технологически нейтральна для обеспечения возможности настройки региональными правительствами. Стандарт применяется к указанным сценариям и случаям вождения, которые не устраняют все опасности, но обеспечивают баланс между безопасностью и практичностью. Стандарт также описывает методологию испытаний и инструменты, необходимые для выполнения проверки автоматизированного транспортного средства на соответствие стандарту. Стандарт находится на этапе разработки. Официальная публикация стандарта запланирована на декабрь 2021г.

IEEE P2863 ™ рекомендации по организационному управлению ИИ.

В рекомендации указываются такие критерии управления, как безопасность, прозрачность, подотчетность, ответственность и минимизация предвзятости, а также этапы процесса для эффективного внедрения, аудита эффективности, обучения и соответствия при разработке или использовании искусственного интеллекта в организациях. Стандарт находится в разработке. Официальная публикация стандарта запланирована на декабрь 2022г.

IEEE P3652.1-2020 ™

Руководство по архитектурной структуре и применению децентрализованного машинного обучения.

Стандарт предоставляет схему использования данных и построения моделей в организациях с соблюдением применимых требований к конфиденциальности, безопасности и нормативным требованиям; определяет архитектурную структуру и рекомендации по применению для децентрализованного машинного обучения. включая описание и определение децентрализованного обучения; типы децентрализованного обучения и сценарии приложений, к которым применяется каждый тип; оценку эффективности децентрализованного обучения и соответствующие нормативные требования. Стандарт находится на этапе разработки. Официальная публикация стандарта запланирована на декабрь 2022г.

IEEE P3333.1.3 Стандарт для глубинной оценки визуального опыта на основе человеческого фактора.

Стандарт определяет основанные на глубоком обучении метрики анализа контента и оценки качества взаимодействия для визуального контента и оценки визуального комфорта трехмерного контента. Стандарт включает описание моделей глубокого обучения, показателей визуального восприятия, виртуальной и смешанной реальности, клинический анализ и психофизические данные. Стандарт также будет включать базы данных изображений и видео для тестирования производительности. Стандарт находится на этапе разработки. Официальная публикация стандарта запланирована на декабрь 2021 года.

Заключение

С целью достижения мирового лидерства в области развития и применения искусственного интеллекта Европейский союз разрабатывает и внедряет комплексные инициативы по регулированию ИИ. Основными целями на 2021 год заявлены увеличение инвестиций в технологии ИИ, полная и своевременная реализация стратегий и программ по ИИ, согласование политики и устранение фрагментации на национальном уровне в области ИИ.

В ЕС в центре цифровой и промышленной стратегии стоит стандартизация. Разработка стандартов направлена на обеспечение устойчивого развития и безопасности, формирование единого рынка и международной конкурентоспособности. Стандарты для систем ИИ имеют разные формы, в том числе на продукцию, методы тестирования, своды правил и руководящие принципы.

Исследование AI Watch направлено на всесторонний анализ стандартов по ИИ, который включает обзор международных инициатив по стандартизации и спецификации ИИ для систем с высоким уровнем риска; определение степени соответствия жестким требованиям нового законопроекта по ИИ от 21 апреля 2021; оценку их пригодности и возможностей эксплуатации при реализации этих требований; определение пробелов и недоработок. В частности, расчет показателей ввода в эксплуатацию позволил выявить значительные пробелы на уровне требований AIA: «управление данными», «техническая документация» и «система управления рисками». Также выявлен ряд пробелов на уровне детализированной структуры требований, например, наличие только одного технического документа или доступность для детей.

В ходе дальнейшего анализа была определена группа из двенадцати основных стандартов ввода в эксплуатацию/пригодности, соответствующих восьми требованиям эталонной структуры AIA. Далее были представлены шесть стандартов, которые являются основными рабочими элементами для реализации законопроекта AIA, среди них:

ISO/IEC 4213 ‑ Информационные технологии, ИИ, оценки классификации машинного обучения;

SO/IEC 5338 – Информационные технологии, искусственный интеллект ‑ процессы жизненного цикла системы ИИ;

ISO/IEC 23894-2 – Информационные технологии, ИИ, управление рисками;

ISO/IEC 24027 – Информационные технологии – ИИ ‑ предвзятость в системах искусственного интеллекта и с использованием искусственного интеллекта;

ISO/IEC 38507 ‑ Информационные технологии, управление ИИ, последствия использования систем ИИ;

ISO/IEC 42001 ‑ Информационные технологии, ИИ, система управления.

В исследование указано на возможность дополнения этого исследования последующими, в связи с ожиданием около 50 стандартов по ИИ к 2023 года, а также дополнениями стандартов IEEE и ITU.


  • 1
    «Система искусственного интеллекта» означает программное обеспечение, которое разработано с использованием одного или нескольких методов и подходов (контролируемое, неконтролируемое обучение и обучение с подкреплением, с использованием самых разных методов, включая глубокое обучение; логические и основанные на знаниях подходы, включая представление знаний, индуктивное (логическое) программирование, базы знаний, механизмы вывода и дедукции, (символические) рассуждения и экспертные системы; статистические подходы, байесовское оценивание, методы поиска и оптимизации), и может для заданного набора определенных человеком целей генерировать выходные данные, такие как контент, прогнозы, рекомендации или решения, влияющие на среду, с которой они взаимодействуют
  • 2
    AIA ужесточает требования к системам искусственного интеллекта и соответствия требованиям гармонизированных стандартов. Гармонизированные стандарты разрабатываются одной из европейских организаций по стандартизации на основании официального запроса от Комиссии, в целях поддержки реализации законодательства Союза. Эти запросы определяют, что ожидается от европейских организаций по стандартизации. В частности, они указывают, какие согласованные стандарты должны быть разработаны и когда.
    Комиссия разрабатывает запросы на стандартизацию в инклюзивном и прозрачном процессе вместе с государствами-членами. Комиссия и Европейские организации по стандартизации обеспечивают процесс разработки на основе консенсуса и прозрачности. В частности, Комиссия внимательно следит за тем, чтобы учитывался вклад малых и средних предприятий и заинтересованных стороны, таких как потребители, работники и другие участники. После того, как европейские организации по стандартизации разработали гармонизированный стандарт, Комиссия оценивает, соответствует ли он требованиям соответствующего законодательства Европейского Союза. Если комиссия приходит к выводу, что стандарт соответствует запросу и законодательству Союза, публикуется ссылка на него в Официальном журнале Европейского Союза. После решения Европейской Комиссии опубликовать ссылку в Официальном журнале, стандарт имеет юридическую силу в соответствии с законодательством Союза
    Продукты, произведенные в соответствии с гармонизированными стандартами, пользуются презумпцией соответствия соответствующим законодательным требованиям.
  • 3
    В открытом доступе находится только часть проанализированных стандартов.
  • 4
    Международный проект по разработке стандартов ИКТ
  • 5
    Square ‑ это электронная платежная система для обслуживания предприятий.
Поделиться