Охота за угрозами (threat hunting) — это упреждающая процедура кибербезопасности, которая ищет сложные угрозы внутри цифровой инфраструктуры организации. Предпосылкой поиска угроз часто является предположение, что сеть уже заражена вредоносным ПО. По этой причине эксперты по безопасности, такие как Threat Hunters, ищут признаки атаки, используя специализированные инструменты и процедуры для поиска киберугроз.
Злоумышленник может тайно проникнуть в сеть и оставаться там в течение нескольких месяцев, молча собирая информацию, ища конфиденциальные документы или получая учетные данные для входа, которые позволяют ему перемещаться по ИТ-окружению. Многим предприятиям не хватает навыков обнаружения, необходимых для предотвращения целевых продолжительных кибер атак повышенной сложности (APT) в сети после того, как злоумышленнику удалось избежать обнаружения и преодолеть защиту. Поэтому поиск угроз является важнейшим элементом любой стратегии защиты.
По данным исследователей, каждый день обнаруживается более 450 000 новых штаммов вредоносного ПО. Чтобы противостоять экспоненциальному росту киберугроз, необходимо постоянно улучшать состояние кибербезопасности. Согласно опросу, опубликованному в отчете VMware Carbon Black Global Threat Report (2020 г.), 88% директоров по информационной безопасности и ИТ-менеджеров заявили, что включают поиск угроз в свою стратегию кибербезопасности, поскольку считают, что это быстро становится необходимым. По данным опроса SANS 2020 Threat Hunting Survey, 29% компаний-респондентов планируют заняться поиском киберугроз в течение следующих 12 месяцев, а 65% организаций-респондентов уже занимаются этим в той или иной степени.
Расследования по поиску угроз включают сбор широкого спектра категорий и данных из различных источников, что требует много времени для ручной фильтрации и разделения на полезные и бесполезные данные. Автоматизация может значительно сократить время, необходимое для сбора данных. Используя подходы к поиску угроз, вы обнаруживаете те угрозы, которые не обнаруживаются стандартными инструментами. Это помогает нейтрализовать угрозу, прежде чем она может нанести еще больший вред системам и данным организации.
В этой статье мы дадим советы по выбору эффективного инструмента поиска угроз и обсудим лучшие бесплатные инструменты поиска угроз с открытым исходным кодом.
На что следует обращать внимание в инструменте поиска угроз?
Аналитики безопасности, которые используют ручные или компьютерные методы для обнаружения, изоляции и остановки APT, которые не обнаруживаются автоматизированными технологиями безопасности, известны как охотники за угрозами.
Охотники за угрозами дополняют свои подходы рядом инструментов, таких как искусственный интеллект, машинное обучение, расширенная аналитика, аналитическая статистика, информационный анализ и мониторинг безопасности.
Охотники за угрозами обращают внимание на следующие ключевые функции инструмента поиска угроз:
- служба сбора данных, которая предоставляет охотникам за угрозами информацию о событиях
- агрегирование данных для унификации формата записи событий
- политика безопасности, управляющая обнаружением угроз
- варианты ручного анализа
- настройки автоматического ответа
Лучшие бесплатные инструменты для поиска угроз
Охота за угрозами значительно улучшает стратегию кибербезопасности. Фундаментальным принципом поиска угроз является понимание того, что ни одна система не является полностью безопасной и что охотник за угрозами может предвидеть атаки и активно их останавливать. Вот наш список бесплатных и наиболее распространенных инструментов поиска угроз:
- AIEngine
- APT-Hunter
- AttackerKB
- Automater
- BotScout
- CrowdFMS
- Cuckoo Sandbox
- CyberChef
- DeepBlueCLI
- dnstwist
- Machinae
- Maltego CE
- Phishing Catcher
- Sysmon
- YARA
- YETI
1. AIEngine
Механизм искусственного интеллекта, часто известный как AIEngine, представляет собой интерактивный инструмент, который можно использовать для обновления сетевой системы обнаружения вторжений (NIDS). AIEngine — это Python, Ruby, Java и Lua движок для анализа сетевых пакетов. Интерактивные/программируемые функции NIDS нового поколения, классификация DNS-доменов, сетевой коллектор, сетевая форенсика и многие другие функции — все это AIEngine.
Механизм искусственного интеллекта, или AIEngine, может обнаруживать спам и анализировать сетевой трафик без необходимости контакта с человеком для обучения и сетевой форенсики. Это один из примеров инструментов, основанных на ситуационной осведомленности. Этот инструмент помогает ИТ-специалистам создавать сигнатуры для использования с брандмауэрами и другими средства защиты. Он поддерживает широкий спектр систем и дополнений, которые могут оказаться полезными для охотников за угрозами.
2. APT-Hunter
APT-Hunter — это инструмент поиска угроз для журналов событий Windows, который может обнаруживать подозрительную активность и отслеживать перемещения APT. Создатель – Ахмед Хлиф. Охотники за угрозами, специалисты по реагированию на инциденты и эксперты по расследованию инцидентов найдут этот инструмент полезным. Правила этого инструмента по умолчанию сопоставляют тактику и методы платформы Mitre ATT&CK с идентификаторами событий журнала событий Windows и обнаруживают индикатор атаки, который включает в себя соответствующие методы APT.
APT-Hunter — это утилита с открытым исходным кодом, доступная бесплатно. Основываясь на действиях, связанных с ранее обнаруженными атаками APT, он может идентифицировать перемещения APT внутри системы. Более быстрое обнаружение атак сократит время, необходимое для реагирования. Его можно использовать в качестве фильтра и свести миллионы событий к нескольким событиям, представляющим реальный интерес.
3. Attacker KB
Когда новая уязвимость вызывает обсуждение в Твиттере или попадает в новости, командам безопасности может быть сложно оценить соответствующий риск в этом информационном шуме. Насколько широко распространена эта уязвимость? Достаточно ли прогнозируемого срока годности, чтобы оправдать создание эксплойта? Есть ли смысл отказываться от всего, чтобы отремонтировать или смягчить? Есть ли у противника или субъекта угрозы намерение или мотивация использовать эту возможность?
Обычно эксперты по безопасности и хакеры первыми проливают свет на точные условия и качества, которые делают уязвимость не только пригодной для использования, но и выгодной для злоумышленника. AttackerKB был создан для записи, демонстрации и повышения квалификации специалистов по безопасности.
AttackerKB — это решение для поиска угроз, которое исследователям угроз все необходимое для обнаружения эксплойтов. Сюда входит раскрытие информации, техническая оценка, результаты, возможность использования, удобство использования и многое другое. Охотники за угрозами могут использовать эту информацию для распознавания и ранжирования как недавних, так и исторических слабостей. Исследователи угроз могут определить, какие уязвимости применимы к их организациям.
4. Automater
Другой инструмент поиска угроз Automater от TekDefense может анализировать URL-адреса, чтобы сделать анализ вторжений гораздо более простым. Просто выберите цель, и Automater соберет соответствующую информацию из известных источников. Вы можете выбрать, какие источники проверяет система и какую информацию из них извлекает. Интерфейс этого приложения вполне удобен даже для новичка, и для его использования не требуется модификация кода Python.
Automater может проводить OSINT-поиск по IP-адресам, хешам MD5 и адресам доменов. Unshorten.me, Urlvoid.com, IPvoid.com, Robtex.com, Fortiguard.com, Labs.alienvault.com, ThreatExpert, VxVault и VirusTotal — это одни из надежных веб-сайтов, которые инструмент Automater использует для получения соответствующих результатов. Эта утилита бесплатна, имеет открытый исходный код и доступна через GitHub.
5. BotScout
BotScout — это инструмент поиска угроз, который помогает предотвратить заполнение форм на веб-сайтах ботами, рассылку спама и создание учетных записей на форумах. Для этого BotScout отслеживает имена, IP-адреса и адреса электронной почты, используемые ботами, и записывает их в качестве отличительных подписей для использования в будущем. Вы можете использовать данные подписи, предоставленные BotScout, через простой, но эффективный API для оценки данных заполнения форм по мере их отправки на ваш веб-сайт.
Пользователи могут вручную выполнять поиск в базе данных BotScout, чтобы обнаружить ботов на своих форумах, но они также могут проверять наличие ботов с помощью контактных форм или других веб-приложений и немедленно отклонять или блокировать их. Пользователи могут получить бесплатный ключ API, если им требуется более 1000 автоматических поисков в день, чтобы они могли выполнять столько, сколько им потребуется. Также для известных форумов доступны антиботовые плагины.
BotScout используется людьми, предприятиями и университетами по всему миру, такими как Oracle Corporation, Deutsche Bank, Banco di Napoli, Вашингтонский университет, Миланский университет и другими, для выявления и отфильтровывания ботов.
6. CrowdFMS
CrowdFMS собирает и обрабатывает образцы, полученные с сайта, публикующего информацию о фишинговых письмах. Оповещение срабатывает, если фишинговое письмо попадает в сеть.
Используя архитектуру Private API, CrowdFMS предоставляет основу для автоматизации сбора и обработки образцов из VirusTotal. Лента уведомлений YARA получает предупреждение, когда платформа самостоятельно загружает последние образцы. Пользователи также могут указать конкретную команду для запуска этих образцов, используя свой идентификатор YARA.
7. Cuckoo Sandbox
Cuckoo Sandbox — это автоматизированная система анализа вредоносного ПО с открытым исходным кодом. Cuckoo можно скачать бесплатно, но установка его в первый раз может оказаться сложной и трудоемкой из-за множества необходимых для этого зависимостей. Однако после установки Cuckoo становится очень полезным инструментом.
Среду анализа, обработку данных анализа и отчетность можно настроить с помощью Cuckoo благодаря его открытому исходному коду и широкой модульной конструкции. В виртуализированных средах Windows, Linux, macOS и Android Cuckoo Sandbox может оценивать широкий спектр вредоносных файлов (исполняемые файлы, офисные документы, файлы PDF, электронные письма и т. д.), а также вредоносные веб-сайты. С помощью Volatility и YARA Cuckoo Sandbox также может выполнять сложный анализ памяти зараженной виртуализированной системы процесс за процессом.
Две единицы оборудования образуют Cuckoo песочницу. Это хост Linux Ubuntu, поверх которого запускается система Windows 7.
Основной пакет Cuckoo, основанный на Python, устанавливается на хост Ubuntu вместе с несколькими зависимостями, настроенными для использования преимуществ модульных характеристик Cuckoo.
VirtualBox устанавливается на хосте Ubuntu и создается гостевая система Windows 7. На компьютере с Windows 7 установлен агент Cuckoo, обеспечивающий связь между двумя устройствами.
8. CyberChef
CyberChef — это веб-приложение, разработанное GCHQ. Его еще называют «Кибершвейцарский армейский нож». CyberChef защищен авторским правом Crown и распространяется по лицензии Apache 2.0.
CyberChef — это простое и удобное веб-приложение для выполнения различных полезных операций в веб-браузере. В эти операции входит создание двоичных и шестнадцатеричных дампов, сжатие и распаковка данных, вычисление хэшей и контрольных сумм, анализ IPv6 и X.509, изменение кодировок символов и многие другие задачи. Также включены простые кодировки, такие как XOR и Base64.
CyberChef можно использовать для выполнения различных задач над данными, включая кодирование, декодирование, форматирование, синтаксический анализ, сжатие, извлечение, выполнение математических операций над данными и их очистку.
9. DeepBlueCLI
DeepBlueCLI — это инструмент с открытым исходным кодом, который анализирует журналы событий Windows в системах Linux/Unix, работающих под управлением ELK (Elasticsearch, Logstash и Kibana) или Windows (версия PowerShell) (версия Python). Он был создан Эриком Конрадом и доступен на GitHub.
Благодаря DeepBlueCLI становится возможным быстрое обнаружение определенных событий в журналах безопасности Windows, системе, приложениях, PowerShell и Sysmon. DeepBlueCLI работает с сохраненными или заархивированными файлами EVTX.
10. dnstwist
Используя скрипт Python dnstwist, разработанный Марцином Уликовски, вы можете идентифицировать фишинговые домены. Этот инструмент очень полезен для выявления веб-сайтов, которые пытаются нанести вред людям, выдавая себя за ваш бренд, если вы являетесь владельцем веб-сайта или отвечаете за администрирование домена вашей компании и безопасность бренда.
Идея dnstwist довольно проста. Он принимает доменное имя в качестве входных данных, а затем использует некоторые алгоритмы для создания производных доменов, которые могут использоваться для фишинга, тайпсквоттинга или корпоративного шпионажа. Чтобы получить список возможных доменов атак, просто введите домен. Вы можете сузить поиск до того, что вам нужно, используя различные параметры командной строки.
DNSTwist использует файлы словарей для предоставления большего количества вариантов домена, он предлагает ряд эффективных стратегий фаззинга доменов, а также определяет местоположение GeoIP.
11. Machinae
Machinae — это инструмент для сбора информации о многочисленных фрагментах информации, связанных с безопасностью, с общедоступных веб-сайтов и каналов, включая IP-адреса, доменные имена, URL-адреса, адреса электронной почты, хэши файлов и SSL fingerprints. Вдохновением послужило еще одно первоклассное приложение для сбора данных Automater. Целью проекта Machinae было улучшение Automater в следующих четырех областях: кодовая база, конфигурация, входные и выходные данные.
Machinae находится на совершенно новом уровне, когда дело доходит до поиска скрытой или общедоступной информации, поскольку это инструмент сбора информации, основанный на разведывательных данных. Благодаря интеллектуальному анализу угроз, вредоносного ПО и адаптируемому сканированию безопасности он является лучшим, когда дело доходит до выявления и использования слабых мест системы.
Machinae собирает все данные из любой сети и объединяет их в единый блок ценной разведывательной информации. Он позволяет изменять и воспроизводить трафик HTTP/1, HTTP/2, WebSockets и другие протоколы, защищенные SSL.
12. Maltego CE
Maltego — это инструмент с открытым исходным кодом для сбора информации и графического анализа ссылок для задач, связанных с проведением расследований. Maltego — это программа Java, которая работает с системами Windows, Mac и Linux. Maltego используют самые разные пользователи, в том числе эксперты по безопасности, эксперты по расследованию компьютерных преступлений, журналисты и исследователи.
Эксперты по безопасности используют Maltego Community Edition или CE, который предустановлен вместе с Kali Linux. Maltego CE имеет небольшие ограничения, но многие функции аналогичны коммерческой версии. Существуют ограничения на максимальное количество объектов, которые могут быть возвращены из одного преобразования, причем основное ограничение заключается в том, что версия CE не может использоваться для коммерческих целей.
С помощью Maltego CE аналитики могут просматривать графики в режиме реального времени в течение одного сеанса, до 10 000 объектов могут быть проанализированы на наличие связей в одном графике, до 12 результатов могут быть возвращены с помощью преобразования, а Maltego CE также поставляется с узлами сбора данных, которые автоматически группируют сущности на основе общих характеристик. Эта функция позволяет вам отфильтровать фоновый шум и найти важные ссылки, которые вы ищете.
13. Phishing Catcher
Phishing Catcher — это инструмент с открытым исходным кодом, который ищет подозрительные сертификаты и потенциальные фишинговые домены с помощью API CertStream. Несмотря на то, что Phishing Catcher начинался как проверка концепции, в настоящее время он используется многочисленными охотниками за угрозами и показал себя очень эффективным. Как следует из названия, он направлен на предотвращение фишинговых атак. В первую очередь – поиск подозрительных выпусков сертификатов TLS, передаваемых в журнал прозрачности сертификатов (CTL) через CertStream API. Phishing Catcher работает практически в режиме реального времени.
Его довольно просто использовать, поскольку он написан на Python и для настройки использует YAML. У него уже есть файл конфигурации по умолчанию, поэтому вы можете скачать его, запустить и сразу же начать использовать.
14. Sandbox Scryer
Sandbox Scryer — это инструмент с открытым исходным кодом, который использует результаты детонаций в «песочнице» для предоставления информации об угрозах и разведывательной информации. Для организации и определения приоритетности обнаружений инструмент использует MITRE ATT&CK Framework. Это помогает собирать признаки компрометации (IOC), понимать движение атаки и выявлять опасности. Sandbox Scryer включает масштабные сценарии использования, позволяя исследователям отправлять тысячи образцов в песочницу для создания профиля угрозы в рамках подхода ATT&CK. Этот инструмент предназначен для специалистов по кибербезопасности, заинтересованных в поиске и анализе угроз с использованием песочницы. Чтобы помочь аналитикам ускорить и масштабировать поиск угроз в рамках операций SOC, Sandbox Scryer использует выходные данные бесплатной и открытой службы анализа вредоносного ПО Hybrid Analysis.
15. Sysmon
Системный монитор (Sysmon) — это системная служба Windows и драйвер устройства, который после установки в системе отслеживает и записывает системную активность в журнал событий Windows. Подробно фиксируются запуск процессов, установка сетевых подключений и корректировка времени создания файлов. Вы можете обнаружить подозрительные или необычные действия и узнать, как вредоносные программы и злоумышленники действуют в вашей сети, собирая генерируемые ими события с помощью сбора событий Windows или агентов SIEM и впоследствии анализируя их. Sysmon не предпринимает никаких усилий для защиты от злоумышленников и не предлагает анализа событий, которые он создает.
16. YARA
Когда дело доходит до поиска угроз, YARA является одним из самых популярных инструментов. Вредоносное ПО можно распознать и классифицировать с помощью текстовых или двоичных шаблонов. Первоначально единственной целью YARA было служить простым инструментом классификации вредоносных программ. Однако с момента своего создания он значительно расширился. Поскольку YARA позволяет создавать правила и использовать их для обнаружения вредоносных программ, даже некоторые коммерческие системы безопасности теперь используют ее для внутренних целей. Однако это лишь наиболее типичный вариант использования. Правила YARA можно применять ко множеству различных инструментов, в том числе к тем, которые можно найти на таких сайтах, как VirusTotal. Еще одна приятная особенность YARA заключается в том, что вы можете использовать ее из командной строки или сценариев Python. Он также работает в Windows, Linux и Mac OS X.
17. YETI
Платформа YETI была разработана в ответ на желание аналитиков безопасности централизовать несколько потоков данных об угрозах. Индикаторы компрометации (IoC) и данные о стратегиях, методах и процедурах (TTP), используемых злоумышленниками, группируются аналитиками с помощью YETI в единый централизованный репозиторий. После обработки YETI автоматически дополняет показания, например, путем геолокации IP-адресов или разрешения доменов.
YETI был создан на Python 2.7 и использует Django 1.7 в качестве веб-фреймворка. Это помогает в тестировании приложений TAXII и повышает удобство использования платформы TAXII. Информацию об угрозах можно беспрепятственно передавать между линейками продуктов, границами служб и организациями благодаря системе обмена сообщениями и службам, называемой Trusted Automated eXchange of Indicator Information (TAXII). Службы пула, обнаружения и входящих сообщений, описанные TAXII, поддерживаются YETI.
Источник: https://www.zenarmor.com/docs/network-security-tutorials/best-open-source-threat-hunting-tools