Критическая ценность данных в эпоху искусственного интеллекта

Время на прочтение: 3 мин

В апреле 2024 технологическая консалтинговая компания Thoughtworks и MIT Technology Review Insights опубликовали отчет «Модернизация данных со стратегическими целями».

Согласно отчету, появление ведущих цифровых компаний обусловлено возможностью принимать своевременные и обоснованные решения, создавать индивидуальный клиентский опыт и выявлять новые направления развития. Достижение различных целей организациями невозможно без быстрого доступа к высококачественным данным. И именно извлечение, и преобразование данных в полезный актив остается для большинства организаций ключевой проблемой.

Отчет основан на опросе начала 2024 года среди руководителей подразделений по работе с данными и технологиями в США, Великобритании, Германии, Сингапуре и Австралии с доходом более 500 млн долл. в год. Доход 47% организаций составлял 10 млрд долл. и более. В отчете представлено восемь отраслей: финансовые услуги, энергетика, здравоохранение и биологические науки, производство, государственный сектор, издательское дело и средства массовой информации, розничная торговля, путешествия и транспорт.

Предприятия приспосабливаются к растущей важности данных в новую эпоху искусственного интеллекта. Ориентация на данные произошла около 25 лет назад с ростом сети Интернет и появлением больших данных, то есть доступа к значительным объемам цифровых данных, включая текст, голос и изображения. Сегодня цифровые данные продолжают расти в геометрической прогрессии, и в настоящее время по некоторым оценкам достигли 150 зеттабайт^[2] (10^{21 байт}). Эти данные способствовали развитию ИИ, многоуровневых алгоритмов глубокого обучения, базовых моделей, включая генеративный ИИ (GenAI), больших языковых моделей и чат-ботов. Таким образом, модернизация данных для большинства организаций занимает важное место в повестке дня и связана с бизнес-стратегией предприятий.

Основные выводы отчета сводятся к следующим:

стратегии обработки данных начали внедряться недавно. Только 27% руководителей заявили, что такие стратегии у них существуют более двух лет. Однако большинство организаций, участвовавших в опросе (78%), заявили, что уже имеют полностью разработанные стратегии;

присутствует недостаточная согласованность этих стратегий. Так, только 39% руководителей заявили, что их стратегия обработки данных полностью соответствует бизнес-стратегии, 38% заявили, что их стратегии данных и ИИ тесно скоординированы, 40% сказали, что разные части бизнеса имеют разные стратегии и 42% заявили, что стратегия обработки данных была разработана исключительно их отделами данных и ИТ с минимальным участием других частей бизнеса;

модернизация возможностей обработки данных необходима в большинстве организаций. 23% организаций модернизировали несколько элементов своих возможностей обработки данных за последние два года, 31% в настоящее время модернизируют свои возможности обработки данных, 23% планируют модернизировать свои возможности обработки данных в течение двух лет, 19% в настоящее время оценивают, нужно ли им модернизировать элементы своих возможностей обработки данных и 2% не планируют этого делать;

ключевые проблемы модернизации связаны с соблюдением нормативных требований (44 % опрошенных выделили в качестве основного препятствия), с проблемами безопасности (44% назвали вторым препятствием) и высокими затратами на модернизацию (40% назвали третьим препятствием);

мотивация для модернизации среди организаций определяется улучшением процесса принятия решений в рамках бизнеса (46% назвали основной причиной), поддержкой сценариев использования ИИ (40% назвали второй причиной), снижением воздействия на окружающую среду (38% назвали в качестве третье причины);

препятствия для модернизации респонденты связывают с качеством данных (41%), со своевременностью данных (33%), с навыками управлениями данными (27%), с обработкой данных (26%), с архитектурой данных (25%);

приоритетными направлениями для повышения качества и своевременности данных 48% назвали расширение возможностей межфункциональных групп по обеспечению качества данных, 47% назвали внедрение DataOps, 35% — улучшение процессов проверки данных, 31% — обучение в масштабе предприятия по качеству и стандартам данных, 25% — автоматизацию управления качеством данных.

Таким образом, исследование предлагает руководителям организаций, занимающихся данными и технологиями обратить внимание на следующие проблемы:

повышение ценности бизнеса за счет ИИ не должно мешать другим целям модернизации. Быстрая и безопасная доставка данных высокого качества отвечает потребностям систем ИИ и многих других критически важных систем и новых технологий;

комплексная стратегия данных – это стратегия соответствующая бизнес-стратегии в целом;

практики разработки ПО переходят к данным. Появление межфункциональных групп данных, практик DataOps, облачных решений и ориентация на данные, как продукт становятся стандартом в разработке ПО;

модернизация необходима на ранних этапах и требует комплексных решений.