Microsoft и Open AI подробно рассказывают, как некоторые субъекты национальных государств начали использовать большие языковые модели для сбора разведывательной информации.
Согласно данным исследования Microsoft Threat Intelligence Cyber Signals 2024, проведенного в сотрудничестве с Открытый ИИ, криминальные группы из национальных государств, такие как Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon и Salmon Typhoon используют большие языковые модели для улучшения и расширения своей преступной деятельности.
Исследование не выявило серьезных атак с использованием LLM, которые отслеживали Microsoft и Open AI, но показало, что эти группы использовали LLM для улучшения своей разведки, написания сценариев, исследований и других действий, чтобы получить важную информацию перед атаками.
В отчете подчеркивается, что такие методы, как многофакторная аутентификация (MFA) и нулевое доверие, необходимы для предотвращения возможных атак с использованием LLM. Он также рекомендовал пользователям применять средства контроля искусственного интеллекта поставщиков и постоянно оценивать, остаются ли они адекватными. Внедрите строгую проверку и очистку входных данных для пользовательских подсказок, обеспечьте прозрачность всей цепочки поставок ИИ и четко сообщайте пользователям о том, как и какие инструменты ИИ были проверены для использования в организации.
Оглавление
Что такое большие языковые модели?
Большие языковые модели (LLM) – это очень большие модели глубокого обучения, которые предварительно обучены на огромных объемах данных. Лежащий в основе трансформер – это набор нейронных сетей, каждая из которых состоит из кодера и декодера с возможностью самонаблюдения. Кодер и декодер извлекают значения из последовательности текста и понимают отношения между имеющимися в ней словами и фразами.
Трансформеры LLM способны обучаться без наблюдения, хотя точнее будет сказать, что трансформеры осуществляют самообучение. Именно благодаря этому процессу трансформеры учатся понимать базовую грамматику и языки, а также усваивать знания.
В отличие от предыдущих рекуррентных нейронных сетей (RNN), которые последовательно обрабатывают входные данные, трансформеры обрабатывают целые последовательности параллельно. Это позволяет специалистам по обработке данных использовать графические процессоры для обучения LLM на основе трансформеров, что значительно сокращает время обучения.
Архитектура нейронной сети трансформера позволяет использовать очень большие модели, часто с сотнями миллиардов параметров. Такие сверхбольшие модели могут получать огромные объемы данных, часто из Интернета, а также из таких источников, как индекс Common Crawl, насчитывающий более 50 миллиардов веб-страниц, и Википедия, насчитывающая около 57 миллионов страниц.
Как злоумышленники используют LLM для сбора информации
Субъекты угроз, представленные в отчете, представляют собой образец наблюдаемой активности, по мнению Microsoft и Open AI, лучше всего отражают тактики, методы и процедуры (TTP), которые отрасли необходимо будет лучше отслеживать с помощью обновлений базы знаний MITRE ATLAS.
Forest Blizzard (Strontium) (или Лесная метель (Стронций))
Microsoft заметила, что Forest Blizzard — группа, связанная с российской военной разведкой — использует LLM для исследования спутниковых и радиолокационных технологий, которые могут иметь отношение к военным операциям на Украине, а также для общих исследований, направленных на поддержку их киберопераций. Они использовали то, что в MITRE ATLAS классифицируется как разведка на основе LLM, чтобы понять протоколы спутниковой связи, технологии радиолокационной визуализации и конкретные технические параметры посредством взаимодействия с LLM. Эти вопросы предполагают попытку получить глубокие знания о возможностях спутников.
Они также использовали методы написания сценариев, усовершенствованные LLM, для создания сценариев, включая манипулирование файлами, выбор данных, регулярные выражения и многопроцессорную обработку, чтобы автоматизировать или оптимизировать технические операции.
Emerald Sleet (Thallium) (Изумрудный мокрый снег (Таллий))
Emerald Sleet — северокорейская группа, которая использует целевые фишинговые электронные письма для компрометации и сбора разведывательных данных об известных северокорейцах.
В отчете говорится, что Emerald Sleet использовала исследование уязвимостей с помощью LLM и использовала LLM для лучшего понимания публично сообщаемых уязвимостей, таких как уязвимость CVE-2022-30190 Microsoft Support Diagnostic Tool (MSDT) . Они также использовали методы написания сценариев, улучшенные LLM, но не с той же целью, что и Forest Blizzard. Они использовали LLM для основных задач создания сценариев, таких как программная идентификация определенных пользовательских событий в системе и поиск помощи в устранении неполадок и понимании различных веб-технологий.
Emerald Sleet использовал социальную инженерию при поддержке LLM для помощи в разработке и создании контента, который, согласно отчету, вероятно, будет использоваться в целевых фишинговых кампаниях против лиц, обладающих региональными знаниями. Он также использовал разведку на основе информации LLM, опять же с другой целью, чем Forest Blizzard: он использовал LLM для выявления аналитических центров, правительственных организаций или экспертов по Северной Корее, которые сосредоточены на вопросах обороны или программе Северной Кореи по созданию ядерного оружия.
Crimson Sandstorm (Curium) (Багровая Песчаная Буря (Курий))
Crimson Sandstorm — иранская группа, которая, по оценкам, связана с Корпусом стражей исламской революции (КСИР) — использовала LLM для поддержки в области социальной инженерии, помощи в устранении ошибок, разработке .NET и способах, с помощью которых злоумышленник может избежать обнаружения при компрометации хостов. Crimson Sandstorm использовала социальную инженерию при поддержке LLM для создания фишинговых писем. Они также использовали методы написания сценариев, улучшенные LLM, для создания фрагментов кода, предназначенных для поддержки разработки приложений и веб-сайтов, взаимодействия с удаленными серверами, очистки веб-страниц, выполнения задач при входе пользователей в систему и отправки информации из системы по электронной почте. Группа также использовала усовершенствованное при помощи LLM уклонение от обнаружения аномалий, попытку использовать LLM для помощи в разработке кода для уклонения от обнаружения, чтобы узнать, как отключить антивирус через реестр или политики Windows, а также удалить файлы в каталоге после закрытия приложения.
Charcoal Typhoon (Chromium) (Угольный Тайфун (Хром)
Charcoal Typhoon — китайская государственная организация, деятельность которой в основном сосредоточена на организациях на Тайване, Таиланде, Монголии, Малайзии, Франции и Непале — использовала LLM для поддержки разработки инструментов, написания сценариев, понимания различных инструментов кибербезопасности и для создания контента для целей социальной инженерии.
В частности, они использовали разведку на основе LLM для исследования и понимания конкретных технологий, платформ и уязвимостей, что указывает на предварительные этапы сбора информации. Компания Charcoal Typhoon использовала методы написания сценариев, усовершенствованные LLM, для создания и уточнения сценариев, для оптимизации и автоматизации сложных операций.
Согласно отчету, они также использовали социальную инженерию при поддержке LLM для помощи в переводах и общении, что, вероятно, позволяло устанавливать связи или манипулировать целями. Группа также использовала усовершенствованные LLM методы оперативного командования для расширенных команд, более глубокого доступа к системе и контроля поведения после компрометации.
Salmon Typhoon (Sodium) (Лосось Тайфун (Натрий))
Salmon Typhoon — китайская государственная организация, имеющая опыт нападения на американских оборонных подрядчиков, правительственные учреждения и организации в секторе криптографических технологий — использовала LLM, по всей видимости, в исследовательских целях. В отчете говорится, что «эта угроза оценивает эффективность LLM в поиске информации по потенциально деликатным темам, высокопоставленным лицам, региональной геополитике, влиянию США и внутренним делам».
В отчете говорится, что Salmon Typhoon использовала разведку на основе информации LLM, привлекая LLM для запросов по широкому кругу тем, таких как глобальные разведывательные агентства, внутренние проблемы, известные личности, вопросы кибербезопасности, темы стратегического интереса и различные субъекты угроз.
Они также использовали усовершенствованные LLM сценарии для выявления и устранения ошибок кодирования, а также усовершенствованные LLM оперативные команды, демонстрирующие интерес к конкретным типам файлов и тактике сокрытия в операционных системах. Они также использовали технический перевод с помощью LLM для перевода компьютерных терминов и технической документации.
Все учетные записи, связанные с этими действиями, были отключены. В своем блоге корпоративный вице-президент Microsoft по безопасности, соблюдению требований, идентификации и управлению Васу Джаккал сказал: «Microsoft использует несколько методов для защиты от этих типов киберугроз, включая обнаружение угроз с помощью искусственного интеллекта для выявления изменений в использовании ресурсов или сетевого трафика; поведенческая аналитика для обнаружения рискованных входов в систему и аномального поведения; модели машинного обучения (ML) для обнаружения рискованных входов в систему и вредоносного ПО; нулевое доверие, когда каждый запрос на предоставление доступа должен быть полностью аутентифицирован, авторизован и зашифрован; и работоспособность устройства должна быть проверена, прежде чем устройство сможет подключиться к корпоративной сети».