Уже сегодня технологии на базе ИИ внедрены в каждой второй компании, а за ближайшие два года к ним присоединится еще 33% коммерческих организаций. ИИ в том или ином виде будет внедрен повсеместно. Экономический эффект, который получают компании от внедрения, варьируется от повышения удовлетворенности клиентов до прямого роста выручки. По мере того как понимание сильных и слабых сторон ИИ-систем бизнесом будет углубляться, эффективность только увеличится. Но уже сейчас очевидно, что о рисках, которые несет внедрение ИИ, нужно подумать заранее.
Даже ранние примеры внедрения демонстрируют, что цена ошибки ИИ-системы может быть высока и может выражаться в том числе во влиянии на репутацию, отношения с клиентами, здоровье пациентов и многое другое. А если учесть еще и киберфизические системы вроде автономных автомобилей, то вопросы безопасности станут еще острее.
Внедрять безопасность постфактум, как это было с предыдущими поколениями технологий, будет дорого и порой невозможно. Чтобы в этом убедиться, достаточно найти свежие оценки ущерба, который мировой экономике наносит киберпреступность: на 2023 год это $8 трлн. Неудивительно, что страны, претендующие на технологическое лидерство в XXI веке, торопятся внедрить регулирование ИИ (например, China’s AI Safety Governance Framework, EU AI Act, US Executive Order on AI). Но в законах редко указываются технические подробности и практические рекомендации — это не их задача. Поэтому для практического применения любых регуляторных требований формата «обеспечить надежность и этичность ИИ, а также контролируемость его решений» необходимы конкретные практические рекомендации, позволяющие достичь этого результата.
Чтобы помочь практикам, внедряющим ИИ уже сегодня, а также сделать будущее нашего мира более безопасным, специалисты «Лаборатории Касперского» при участии Эллисон Вайлд, члена команды по функциональной совместимости Сети по вопросам политики в области искусственного интеллекта Форума ООН по управлению Интернетом; доктора Мелодены Стивенс, профессора управления инновациями и технологиями школы государственного управления имени Мохаммеда бин Рашида; и Серхио Майо Масиаса, менеджера инновационных программ из Технологического института Арагона, создали набор рекомендаций. Документ был представлен в ходе семинара «Кибербезопасность в сфере ИИ: баланс между инновациями и рисками» на 19-м ежегодном Форуме по управлению Интернетом (UN Internet Governance Forum, IGF) для обсуждения с международным сообществом формирующих политику работы с AI экспертов.
Следование описанным в документе практикам поможет инженерам, специалистам DevOps и MLOps, которые разрабатывают и затем эксплуатируют ИИ-решения, достичь высокого уровня защищенности и безопасности ИИ-систем на всех этапах их жизненного цикла. Рекомендации документа нужно индивидуально оценивать для каждого внедрения ИИ, поскольку их применимость зависит от разновидности ИИ и модели внедрения.
Какие риски нужно учесть
Многообразие применений ИИ вынуждает организацию учитывать очень разнородные риски:
Риск от неиспользования ИИ. Звучит на первый взгляд забавно, но только сравнив выигрыш и потери компании от внедрения ИИ, можно правильно оценивать все остальные риски.
Риски несоответствия регулированию. Быстро развивающееся регулирование ИИ делает этот риск динамичным, его нужно часто оценивать заново. Кроме регулирования ИИ как такового, нужно учитывать сопутствующие риски, например нарушения законов по обработке персональных данных.
ESG-риски, то есть социально-этические риски применения ИИ, риски раскрытия чувствительной информации и риски для экологии.
Риск нецелевого использования ИИ-сервисов пользователями — от шуточных до злонамеренных сценариев.
Угрозы ИИ-моделям и наборам данных, применявшимся в тренировке.
Угрозы сервисам компании, возникающие при внедрении ИИ.
Возникающие при этом угрозы данным, которые обрабатываются в рамках этих сервисов.
При этом «под капотом» трех последних групп рисков находятся все угрозы и задачи, традиционные для ИБ в сложных облачных инфраструктурах: контроль доступа и сегментация, управление уязвимостями и обновлениями, создание систем мониторинга и реагирования, контроль цепочек поставок.
Аспекты безопасного внедрения
Для внедрения ИИ организациям потребуется принять организационные и технические меры, варьирующиеся от обучения сотрудников и регулярных аудитов регуляторного соответствия до исследования корректности ИИ на тестовых данных и систематического устранения программных уязвимостей. Их можно разделить на восемь больших групп:
моделирование угроз для каждого внедряемого ИИ-сервиса;
подготовка сотрудников. Важно не только обучить сотрудников общим правилам использования ИИ, но и ознакомить руководство с конкретными рисками применения ИИ и инструментами управления рисками;
безопасность инфраструктуры — от управления Identity и протоколирования событий до сегментации сети и применения XDR;
безопасность цепочки поставок. В случае ИИ это означает тщательный выбор поставщиков и любых промежуточных сервисов, обеспечивающих доступ к ИИ, а также загрузку моделей и инструментов только из доверенных и проверенных источников в безопасных форматах;
тестирование и апробация. Модели должны быть проверены на соответствие лучшим практикам индустрии, устойчивость к некорректным запросам, а также на способность удовлетворительно обрабатывать данные в конкретном бизнес-кейсе организации;
работа с уязвимостями. Потребуются процессы обработки ошибок и уязвимостей, которые третья сторона нашла именно в системе и ИИ-модели организации. В том числе механизмы, позволяющие пользователям сообщать об обнаруженных уязвимостях и предвзятости ИИ-систем, которая может появиться в результате обучения на нерепрезентативных данных;
защита от угроз, специфичных для ИИ-моделей: промпт-инъекций и других вредоносных запросов, отравления учебных данных и так далее;
обновления и обслуживание. Как и в любой ИТ-системе, потребуется выстроить процесс приоритизации и своевременного устранения уязвимостей, а также подготовиться к решению проблем совместимости — библиотеки и модели быстро эволюционируют;
регуляторное соответствие. Законы и подзаконные акты про безопасный ИИ принимаются во всем мире, поэтому надо внимательно следить за этим ландшафтом и контролировать соответствие процессов и технологий компании.
Чтобы детально ознакомиться с ландшафтом угроз в сфере ИИ и рекомендациями по всем аспектам его безопасного внедрения, скачайте полную версию документа Guidelines for Secure Development and Deployment of AI Systems.
Блог Касперского