«Гуру кибербезопасности» Брюс Шнайер сравнивает текущую ситуацию с уязвимостями LLM (больших языковых моделей) с ситуацией с телефонными системами 70-х, когда данные и команды передавались одним и тем же каналом. Такое смешение данных и команд делает современные LLM особенно уязвимыми для атак, подобно тому, как хакеры могли управлять телефонными системами, используя определенные звуковые сигналы.
Одним из видов угроз является внедрение вредоносных инструкций в обучающие данные LLM, что может привести к нежелательным последствиям. Злоумышленники могут встроить вредоносные команды в тексты на веб‑страницах или в электронные письма и даже медиафайлы, делая любую систему, обрабатывающую такие файлы и LLM в том числе, потенциальной мишенью для атак.
Проблема усугубляется тем, что не всегда возможно разделить данные, которые LLM использует для обучения или выполнения задач, от команд, которые управляют её поведением. Эта особенность делает систему адаптивной и гибкой, но в то же время увеличивает риски безопасности.
Тем не менее, возможности по улучшению защиты LLM постепенно развиваются. Создаются системы, способные распознавать и отсеивать вредоносные данные, а также механизмы контроля доступа, которые могут ограничить возможности взаимодействия с LLM в неблагоприятных условиях.
Шнайер призывает к тщательному анализу рисков и возможностей, связанных с использованием генеративных ИИ, подчеркивая необходимость взвешивания потенциальных угроз и выгод от использования ИИ.
Все посты подряд / Информационная безопасность / Хабр