Лучшие платформы и каналы анализа угроз с открытым исходным кодом

Аналитика киберугроз (Cyber threat intelligence, CTI) — это любые данные, которые могут помочь организации в выявлении, оценке, мониторинге и реагировании на киберугрозы. Из-за значительного роста киберугроз в последние годы обмен CTI приобрел важность как в качестве темы для исследования, так и в качестве идеи для обеспечения дополнительной защиты предприятий.

Различные инструменты CTI полезны на разных этапах аналитического цикла. Существуют технологии, которые автоматизируют сбор, хранение, обмен и анализ данных. Людям часто требуется комплексное решение, которое обычно предлагают поставщики по цене, которую малый и средний бизнес не может заплатить. Поэтому многие организации начинают свой путь анализа угроз с использования бесплатных каналов или платформ с открытым исходным кодом.

У аналитических инструментов с открытым исходным кодом есть два основных преимущества. Во-первых, они используют разнообразные навыки целого сообщества экспертов по безопасности, которые готовы сотрудничать для предоставления полезной информации. Во-вторых, они бесплатны.

Однако, поскольку инструменты анализа угроз с открытым исходным кодом можно использовать бесплатно, любой может получить доступ к этим данным. Как следствие, злоумышленники могут использовать эту информацию, чтобы определить, какие уязвимости не являются приоритетными для сообщества, и воспользоваться этими игнорируемыми эксплойтами, нанося ущерб предприятиям там, где они меньше всего этого ожидают.

Использование инструментов CTI с открытым исходным кодом — хороший способ начать работу с аналитикой угроз, но это не должно быть вашей конечной целью. Это может послужить надежной отправной точкой; например, вы можете использовать информацию из открытых источников для исправления уязвимостей, которые представляют особенно высокий риск для вашего сектора. Однако для более широкого охвата вам следует объединить эти усилия с решением от опытного коммерческого источника, чтобы улучшить свой общий интеллект. Как инструменты с открытым исходным кодом, так и коммерческие инструменты могут использоваться одновременно, чтобы улучшить ваши навыки анализа угроз, усилить вашу стратегию кибербезопасности и лучше защитить ваш бизнес от кибератак.

В этой статье мы обсудим следующие темы:

• Что такое анализ угроз с открытым исходным кодом?
• Важность сбора информации об угрозах из нескольких источников
• Как платформа анализа угроз с открытым исходным кодом может вам помочь?
• Каковы лучшие платформы для анализа угроз с открытым исходным кодом?
  1. MISP
  2. OpenCTI
  3. Harpoon
  4. Yeti
  5. Open Source Framework for Intelligence Collection and Processing (GOSINT)
  6. Collective Intelligence Frameworks (CIF)
  7. Trusted Automated Exchange of Indicator Information (OpenTAXII)
  8. Open Threat Partner Exchange (OpenTPX).
• Каковы лучшие каналы информации об угрозах с открытым исходным кодом?
  1. EmergingThreats.net
  2. Abuse.ch URLhaus
  3. Abuse.ch Tracker for Feodo
  4. The Spamhaus Project
  5. FireHOL IP lists
  6. Dnstwist
  7. AlienVault – Open Threat Exchange (OTX)
  8. FBI InfraGard
• Лучшие практики по интеграции инструментов анализа угроз с открытым исходным кодом в стратегию кибербезопасности

Что такое анализ угроз с открытым исходным кодом?

Данные об угрозах с открытым исходным кодом получаются на основе информации, доступной общественности, собираются, обрабатываются и своевременно доставляются соответствующей аудитории для удовлетворения конкретного спроса. Ключевым термином, на котором следует сосредоточиться, является «публично доступный». Аналитика угроз с открытым исходным кодом включает информацию о следующих источниках:

• ИК (индикаторы компрометации)
• Уязвимости и слабости
• Субъекты угроз
• ТМП (тактика, методы и процедуры)
• Мотивы и возможности злоумышленников
• Ориентация на конкретные отрасли или технологии

Данные об угрозах с открытым исходным кодом получают из следующих источников:

• Clear Web : веб-страницы, которые легко доступны через Google, Bing и другие поисковые системы.
• Dark Web : веб-контент, доступный только посредством использования специализированного программного обеспечения, конфигураций или авторизации. Злоумышленники продают информацию на темных интернет-форумах и торговых площадках, поэтому вы можете обнаружить ценную информацию об угрозах, такую ​​как утечка информации, кампании по угрозам и вредоносные технологии, такие как вредоносное ПО и программы-вымогатели.
• Deep Web : веб-сайты, базы данных и файлы, которые обычные поисковые системы не могут проиндексировать, например контент, скрытый за страницами аутентификации и платным доступом.

Материалы с открытым исходным кодом не ограничиваются тем, что можно найти через популярные поисковые системы. Веб-страницы и другие ресурсы, к которым можно получить доступ через Google, несомненно, являются обширными источниками материалов с открытым исходным кодом, но ни в коем случае не единственными.

Более 99 процентов Интернета невозможно обнаружить с помощью основных поисковых систем. Эта так называемая «глубокая сеть» (“deep web”) представляет собой совокупность веб-сайтов, баз данных и файлов, которые не могут быть проиндексированы Google, Bing или любой другой поисковой системой, о которой вы только можете подумать, по многим причинам, включая включение страниц авторизации или платного доступа. Несмотря на это, значительную часть информации глубокой сети можно назвать «открытой», поскольку она широко доступна общественности.

Кроме того, в Интернете имеется множество общедоступных материалов, которые можно найти с помощью веб-ресурсов, отличных от обычных поисковых систем. Например, такие приложения, как Shodan, можно использовать для определения IP-адресов, сетей, открытых портов, устройств IoT и практически всего, что подключено к Интернету.

Кроме того, информация считается открытой, если она:

• Публикация или передача для широкой аудитории
• Видимый или слышимый для любого случайного наблюдателя
• Публично доступен на собрании, открытом для публики
• Доступно по запросу для общественности
• Доступно широкой публике по подписке или продаже.
• Можно получить, посетив любое общественное место или посетив любое публичное мероприятие.

Существует поистине непостижимый объем знаний, который расширяется со скоростью, за которой никто не может угнаться. Даже если мы ограничимся одним источником информации, таким как Facebook, нам придется иметь дело с сотнями миллионов новых источников данных каждый день. Это фундаментальный компромисс CTI с открытым исходным кодом.

Для аналитика доступ к такому огромному объему информации является одновременно и преимуществом, и бременем. С одной стороны, у вас есть доступ практически ко всему, что вам может понадобиться, но с другой стороны, вы должны иметь возможность найти это в бесконечном потоке данных.

Open Source Intelligence охватывает процедуры, используемые для категоризации огромного количества данных с целью выявления важной информации? соответствующей определенной цели.

Важность сбора информации об угрозах из нескольких источников

В настоящее время киберпреступники с самыми разными мотивами проводят все более изощренные кибератаки. Субъекты угроз варьируются от хакеров-любителей до хорошо финансируемых и хорошо скоординированных групп киберпреступников и государственных спецслужб. Некоторые концентрируются на прибыли, другие занимаются шпионажем. Оружие, использованное в этих атаках, имеет некоторые особенности. Однако в каждой кампании по-своему используются бот-сети, прокси-серверы, векторы атак и системы управления и контроля. Из-за этого становится достаточно сложно идти в ногу с киберпреступностью.

Точки зрения одного единственного поставщика аналитических данных об угрозах недостаточно для защиты от постоянно развивающихся и сложных субъектов угроз. Об этом свидетельствует не только количество доступных данных об угрозах, но и тот факт, что при сравнении информации об угрозах от многочисленных поставщиков бывает мало совпадений.

Исследователи из Делфтского технологического университета (Нидерланды) и Института Хассо Платтнера при Потсдамском университете (Германия) сообщили, что сочетание коммерческих и открытых поставщиков угроз дает наибольшую выгоду с наименьшим количеством дублирования при использовании информация об угрозах из нескольких источников. Их результаты показывают:

• По сути, не было никакого дублирования между открытыми и платными источниками информации об угрозах.
• Показания двух платных поставщиков разведывательных данных об угрозах совпадают на 1,3–13%.
• Когда исследователи сосредоточили свое внимание на 22 субъектах угроз, в отношении которых оба поставщика имели признаки компрометации, они обнаружили среднее совпадение между 2,5% и 4% в каждой категории, в зависимости от типа.

Как платформа анализа угроз с открытым исходным кодом может вам помочь?

Анализ угроз, безусловно, является важной инвестицией в обеспечение безопасности любой фирмы. CTI с открытым исходным кодом включает в себя множество источников данных, которые могут предоставить полезную информацию об субъектах киберугроз, их действиях и целях, а также о тактике, методах и процедурах (ТМП), которые они используют для осуществления атак. Информация из открытых источников также может определять индикаторы киберопасности, такие как фиктивные домены и фейковые учетные записи в социальных сетях, которые могут быть использованы в кибератаке.

В дополнение к упреждающему отслеживанию и обнаружению угроз, CTIс открытым исходным кодом предлагает этическим хакерам и пентестерам жизненно важный источник знаний. Эти специалисты по кибербезопасности могут использовать информацию из открытых источников для обнаружения возможных уязвимостей корпоративных сетей и устранения их до того, как киберзлоумышленники смогут атаковать их.

Другие преимущества аналитических каналов и платформ с открытым исходным кодом заключаются в следующем:

• Когда потоки информации об угрозах связаны с системами SIEM, это позволяет автоматически сопоставлять их данные с внутренней телеметрией, такой как журналы брандмауэра и DNS, и информировать вашу группу реагирования на инциденты.
• Использование крупномасштабной аналитики из многих источников и инструментов анализа угроз значительно упрощает предприятиям быструю приоритезацию проблем безопасности.
• Вместо мониторинга каждого канала по отдельности эффективная платформа анализа угроз может объединить сотни каналов в один поток.
• Кроме того, организация может вести учет исторических атак и происшествий, что позволяет создать более эффективную систему обнаружения и предотвращения инцидентов.

Аналитические данные об угрозах, несомненно, являются мощным и полезным средством предотвращения кибератак. Организации получают выгоду от исследований других организаций, которые также стремятся собирать потоки данных о различных угрозах, таких как фишинг, вредоносное ПО, программы-вымогатели и расширенные постоянные угрозы (APT), поскольку они предоставляют надежные и действенные потоки данных. Группа различных организаций может сделать гораздо больше, чем одна организация в одиночку. Для обеспечения безопасности предприятий сегодня необходимы каналы анализа угроз и платформы анализа угроз.

Каковы лучшие платформы для анализа угроз с открытым исходным кодом?

Обязательные функции платформы анализа угроз включают консолидацию потоков данных об угрозах из нескольких источников, анализ безопасности, автоматическую идентификацию и сдерживание новых атак, а также интеграцию с другими инструментами безопасности, такими как межсетевые экраны нового поколения (NGFW), SIEM-системы и средства обнаружения и реагирования на инциденты для конечных точек (EDR).

Ниже описаны лучшие платформы анализа киберугроз с открытым исходным кодом:

• MISP
• OpenCTI
• Harpoon
• Yeti
• GOSINT
• CIF
• OpenTAXII
• OpenTPX

MISP

MISP, платформа анализа угроз и обмена информацией с открытым исходным кодом (ранее известная как платформа обмена информацией о вредоносных программах), представляет собой бесплатную платформу для обмена индикаторами компрометации (IoC) и информацией об уязвимостях между предприятиями, что способствует сотрудничеству в области анализа угроз. Организации со всего мира используют платформу для создания заслуживающих доверия сообществ, которые обмениваются данными, чтобы сопоставить их и лучше понять угрозы, нацеленные на определенные отрасли или регионы.

MISP предлагает пользовательский интерфейс (UI), который позволяет создавать, искать и делиться событиями с другими пользователями или группами MISP. Таким образом, вместо предоставления IoC по электронной почте и в виде файлов PDF, платформа позволяет участникам проекта более эффективно управлять обменом информацией. Информация, которой обмениваются внутри сообществ MISP, может впоследствии быть введена в Yeti для дополнительной доработки.

Кроме того, все CTI, хранящиеся в базе данных MISP, доступны через API, который позволяет экспортировать данные в различных формах, включая XML, JSON, OpenIOC, STIX и другие.

Кроме того, MISP оснащен механизмом автоматической корреляции, который может находить связи между характеристиками, объектами и показаниями механизма корреляции вредоносного ПО. Кроме того, MISP структурирует данные, предлагает значительную поддержку показателей кибербезопасности для многих вертикальных отраслей и облегчает обмен CTI.

Словарь разведки (галактика MISP) может быть связан с текущими угрозами, вредоносными программами и программами-вымогателями или связан с событиями из MITRE ATT&CK2, общедоступной базы знаний, включающей стратегии и подходы противника, основанные на фактических наблюдениях.

MISP включает в себя универсальный инструмент импорта произвольного текста, помогающий интегрировать неструктурированные данные в MISP, а также настраиваемую таксономию для категоризации и маркировки событий на основе собственных систем категоризации и пользовательских таксономий.

Платформа MISP полностью структурирована, и разработчики или даже простые пользователи могут использовать ее для независимого обмена информацией. Информация базы данных может дополняться другими источниками, а ее функциональность расширяться за счет взаимодействия со сторонними приложениями.

MISP доступен как для человеческого, так и для машинного чтения, что позволяет проводить корреляции между показаниями и характеристиками, что является уникальной функцией, состоящей из коллекции моделей данных, разработанных сообществом MISP.

Ниже приведены некоторые важные элементы, включенные в эту платформу анализа угроз:

• Интеграция с экосистемой информационных технологий: он предоставляет универсальный интерфейс прикладного программирования (API) для включения уже существующих технологий.
• Динамический канал аналитических данных: он содержит динамическую базу данных индикаторов компрометации (IoC), которая включает информацию об образцах вредоносного ПО, инцидентах, злоумышленниках и связанной с ними аналитической информации.
• Визуализация данных: графический интерфейс пользователя (GUI), график событий и функции экспорта данных MISP.
• Рабочие процессы могут быть автоматизированы, и эта функция автоматически сопоставляет характеристики и показания, обеспечивая при этом точный контроль над механизмом корреляции.
• Инструменты анализа: поощряет сотрудничество между заинтересованными сторонами для обеспечения быстрого анализа и решения проблем в ответ на происшествия.

MISP — одно из немногих крупных сообществ по анализу угроз, предлагающее программную платформу. При анализе потенциальных угроз вам не придется тратить деньги на получение информации. Однако для внедрения этого решения от ИТ-команд требуется знание Python. Это превосходное приложение с открытым исходным кодом, которое не идет на компромиссы с точки зрения предлагаемых возможностей.

OpenCTI

Проект OpenCTI, также известный как Open Cyber ​​Threat Intelligence, представляет собой платформу, разработанную для облегчения обработки информации и обмена этими знаниями в целях анализа киберугроз. Это продукт сотрудничества между (Группой реагирования на компьютерные чрезвычайные ситуации Европейского Союза) (CERT-EU) и Французским национальным агентством кибербезопасности (ANSSI). Чтобы облегчить участникам способность структурировать, хранить, организовывать, визуализировать и делиться своей информацией, платформа теперь полностью опубликована с открытым исходным кодом и доступна для всего сообщества, занимающегося анализом киберугроз.

Ниже приведены некоторые важные элементы, включенные в эту платформу анализа угроз:

• OpenCTI представляет оперативную и стратегическую информацию, связанную с помощью единой модели данных, основанной на стандартах STIX2.
• Автоматизированные рабочие процессы: механизм автоматически делает логические выводы, чтобы обеспечить понимание и связь в реальном времени.
• Интеграция с экосистемой информационных технологий: дизайн с открытым исходным кодом обеспечивает простую интеграцию с любыми собственными или сторонними системами.
• Интеллектуальная визуализация данных позволяет аналитикам визуально представлять объекты и их связи, включая вложенные отношения, используя множество различных вариантов отображения.
• Инструменты для анализа. Каждая часть информации и указание связана с основным источником, из которого она возникла, чтобы облегчить анализ, оценку и исправление.

Уникальное предложение OpenCTI заключается в том, что он использует сложный гиперграф знаний, полученный на основе анализа графов. Благодаря этому можно построить гиперсущности и гиперотношения с целью получения очень точных прогнозов угроз. Благодаря виджетам, которые позволяют пользователям оценивать различные сценарии атак, OpenCTI является отличным инструментом для сравнительных исследований.

OpenCTI поддерживает коннекторы для автоматического получения потоков данных об угрозах и информации из известных источников информации об угрозах, включая MITRE ATT&CK, MISP и VirusTotal, в дополнение к ручному вводу данных об угрозах. Доступно больше коннекторов для обогащения данных с помощью таких источников, как Shodan, и экспорта данных на такие платформы, как Elastic и Splunk.

OpenCTI — это платформа, состоящая из API-интерфейса Python или Go и надежного веб-интерфейса.

OpenCTI включает в себя множество инструментов и возможностей просмотра, а также несколько интерфейсов для автоматического импорта сторонних источников данных. Он предназначен для хранения, анализа и обмена данными о киберугрозах.

Harpoon

Harpoon — это приложение командной строки, включающее набор плагинов Python для автоматизации разведывательной деятельности с открытым исходным кодом. Каждый плагин предлагает команду, которую аналитики могут использовать для доступа к API таких сайтов, как MISP, VirusTotal, Shodan, Passive Total, Hybrid Analysis, AlienVault OTX, Censys, RobTex, ThreatGrid, GreyNoise, TotalHash, MalShare и Have I Been Pwned. Аналитики могут получать информацию об IP-адресе или домене со всех этих платформ одновременно, используя команды более высокого уровня. Другие скрипты также могут выполнять поиск в репозиториях GitHub, социальных сетях и платформах веб-кеша.

Harpoon разделен на легко реализуемые подкоманды, которые зависят от внутренних или внешних библиотек. В этих инструкциях также используется один файл конфигурации, который необходимо вручную заполнить ключом API.

Многочисленные технологии OSINT пытаются получить как можно больше информации, независимо от их источника. Этой идеологии Гарпун не придерживается. В первую очередь он позволяет выполнять одну операцию для каждой команды (с несколькими более общими командами с использованием нескольких инструментов). Крайне важно знать, откуда берется информация и насколько она точна.

Yeti

Yeti — это платформа, созданная в ответ на необходимость аналитиков безопасности консолидировать различные потоки данных об угрозах. Аналитикам обычно задают вопрос: «Где наблюдался этот признак?» и «Связана ли эта информация с конкретной атакой или семейством вредоносных программ?» Yeti позволяет аналитикам объединять индикаторы компрометации (IoC) и информацию о тактиках, методах и процедурах (TTP), используемых злоумышленниками, в одном унифицированном репозитории для решения этих проблем. Yeti автоматически расширяет индикацию, например, путем геолокации IP-адресов или разрешения доменов после их обработки.

Yeti предлагает пользовательский интерфейс (блестящий пользовательский интерфейс на основе Bootstrap) и машинный интерфейс (веб-API), чтобы другие ваши приложения могли взаимодействовать с ним.

Yeti отличается своей способностью потреблять данные (включая сообщения в блогах), улучшать их, а затем экспортировать обогащенные данные в другие инструменты экосистемы анализа угроз. Это позволяет аналитикам сосредоточиться на использовании этого инструмента для агрегирования информации об угрозах, а не на импорте и экспорте данных в машиночитаемом виде. Дополненные данные впоследствии могут быть отправлены в другие системы для управления инцидентами, расследования вредоносного ПО и мониторинга.

Для дальнейшего ускорения рабочего процесса аналитиков Yeti предоставляет HTTP API, который обеспечивает доступ ко всей функциональности инструмента из командной строки или других инструментов анализа угроз.

Платформа YETI включает в себя хорошо организованный репозиторий, легко адаптируется и расширяется, а также предлагает помощь в автоматизации.

Его читают как люди, так и машины. Цель YETI — превратить его в самодостаточный проект, включающий вклад всего сообщества, а также основных разработчиков. Для этого общение партнеров сообщества консолидируется и базируется на GitHub.

Короче говоря, Yeti позволяет вам:

• Отправьте наблюдаемые данные и получите достаточно точную оценку характера опасности.
• Вместо этого сосредоточьтесь на угрозе и быстро идентифицируйте все TTP, Observable и вредоносные программы, связанные с ней.
• Разрешить специалистам по реагированию на инциденты обходить этап «Google-артефакт».
• Пусть аналитики сосредоточатся на добавлении аналитических данных, а не на беспокойстве о форматах экспорта, которые могут считываться компьютером.
• Создайте диаграммы взаимосвязей между различными рисками.

Это достигается за счет:

• Сбор и обработка наблюдаемых данных из самых разных источников (экземпляры MISP, средства отслеживания вредоносных программ, каналы XML, каналы JSON…)
• Ключевым моментом является предоставление веб-API для автоматизации поиска и увеличения данных.
• Экспортируйте данные в определяемые пользователем форматы, чтобы их могли использовать сторонние программы.

GOSINT

GOSINT — это известная платформа с открытым исходным кодом, созданная Cisco CSIRT и ориентированная на сбор и обработку информации. Он собирает, обрабатывает и экспортирует IoC, тем самым контролируя процесс включения данных в платформу и обогащая его высококачественной информацией.

GOSINT агрегирует, проверяет и очищает индикаторы для использования другими инструментами, такими как MISP и CRIT3, или непосредственно в системах управления журналами и SIEM, поддерживая при этом STIX, TAXII (доверенный автоматизированный обмен разведывательной информацией) и VERIS (словарь для записи событий) и Обмен инцидентами), используемые в парадигме совместного использования CTI.

GOSINT дополнительно поддерживает формат обмена описаниями объектов инцидентов (IODEF) и формат обмена сообщениями об обнаружении вторжений (IDMEF), что позволяет специалистам по криминалистике собирать структурированные и неструктурированные данные о событиях с участием третьих сторон. Следовательно, он также может служить мощным агрегатором IoC перед передачей их на другую аналитическую платформу или SIEM. Кроме того, GOSINT предлагает другие операции предварительной обработки, которые дают больше контекста для показаний. Такие меры могут включать идентификацию IoC с использованием таких систем, как Cisco Umbrella. Информация, предоставляемая этими службами, может помочь аналитикам оценить значение показателя и пометить его дополнительным контекстом, который может быть использован позже в ходе исследований.

Интерфейсная часть структуры GOSINT разработана на JavaScript. Основные недостатки платформы GOSINT касаются главным образом управления пакетами. В частности, менеджеры пакетов GOSINT поставляют устаревшие версии программного обеспечения; следовательно, они должны быть проверены для проверки совместимости. Кроме того, имена пакетов различаются в зависимости от используемых менеджеров пакетов или репозиториев выпусков операционной системы.

GOSINT имеет структурированный репозиторий, систему управления данными и возможности экспорта данных. Внешние источники (URL, TEXT, ADHOC) также могут дополнять его. У него есть сообщество, которое использует исследования для автоматического выявления схожих или идентичных признаков вредной деятельности. Наконец, GOSIT доступен для чтения как людям, так и машинам.

Collective Intelligence Frameworks (CIF)

CIF — это система управления CTI и одна из предпочтительных платформ ENISA для обмена CTI. CIF позволяет пользователям анализировать, нормализовать, хранить, постобрабатывать, запрашивать, обмениваться и создавать данные CTI, а также агрегировать информацию об известных угрозах из нескольких источников для идентификации, реагирования на инциденты, обнаружения и смягчения последствий. Это также позволяет автоматически формировать наиболее распространенные виды информации об угрозах, такие как IP-адреса и URL-адреса, связанные со злонамеренным поведением. Структура CIF объединяет разнообразные данные наблюдений из многочисленных источников. Когда пользователь запрашивает данные CTI, система доставляет серию сообщений, отсортированных в хронологическом порядке; пользователи могут затем выносить суждения, оценивая предоставленные результаты (например, серию наблюдений о конкретном оппоненте) аналогично анализу угрозы по электронной почте. Сервер CIF состоит из множества модулей, таких как CIF-smrt, CIF-worker, CIF-starman, CIF-router и ElasticSearch.

Модуль CIF-smrt имеет две основные функции: (а) получать файлы через HTTP(s) и (б) анализировать файлы с помощью встроенных анализаторов регулярных выражений, JSON, XML, RSS, HTML и обычных текстовых файлов.

Модуль CIF-worker помогает CIF извлекать дополнительную информацию из собранных данных об угрозах, модуль CIF-starman предоставляет среду HTTP API, модуль CIF-router выступает в качестве посредника между клиентом и веб-инфраструктурой, а модуль ElasticSearch представляет собой базу данных, хранилище (мета) данных, касающихся вторжений.

CIF имеет структурированный репозиторий и систему администрирования. Он также предоставляет возможности экспорта данных. Он объединяет информацию об угрозах для идентификации (реагирование на инциденты), обнаружения (IDS) и смягчения последствий. CIF может быть дополнен индикаторами вредной деятельности. Кроме того, он предлагает помощь в автоматизации. Наконец, его могут читать как люди, так и машины.

Доверенный автоматизированный обмен информацией об индикаторах (OpenTAXII)

Доверенный автоматизированный обмен информацией об индикаторах (OpenTAXII) — это расширенная версия платформы TAXII. Его конструкция соответствует стандартам TAXII с функциональными блоками для блока передачи TAXII, обработчиком сообщений TAXII и различными серверными службами. OpenTAXII — это многофункциональная и отказоустойчивая реализация сервисов TAXII на языке Python. Он предоставляет набор стандартов угроз и расширяемые уровни персистентности и аутентификации (через специализированный API).

Кроме того, он предлагает необходимые услуги и возможности обмена сообщениями, позволяющие совместно использовать CTI между сторонами. Другие функции OpenTAXII включают настройку API, аутентификацию и универсальное ведение журналов. Кроме того, он автоматически управляет данными инфраструктуры, предлагает машиночитаемую информацию об угрозах и оптимально сочетает данные операций сетевой безопасности с аналитикой угроз, анализом и оценкой данных.

OpenTAXII имеет хорошо организованный репозиторий и структуру управления, а также может имитировать ранее выявленные ситуации и риски. Он адаптируем и расширяем, поскольку предлагает машиночитаемую информацию об угрозах, возможность расширения уровней, расширения исходной информации и расширения API. Кроме того, он предлагает помощь в автоматизации.

Открытая биржа партнеров по угрозам (OpenTPX) .

OpenTPX — это платформа репозитория моделей данных на основе JSON, которая позволяет регистрировать и обмениваться информацией об инцидентах. OpenTPX — это вклад LookingGlass Cyber ​​Solutions в сообщество открытого исходного кода. Он поддерживает множество известных протоколов, таких как HTTP, SMTP, FTP и т. д., и был разработан для облегчения разработки высокомасштабируемых, машиночитаемых систем анализа угроз, анализа и сетевой безопасности, которые передают огромные объемы данных. быстро. Кроме того, OpenTPX предлагает способы передачи информации о топологии сети, владельце сети, сегментации сети, метаданных об угрозах, анализе угроз и мерах по смягчению последствий. Кроме того, многие компоненты данных, представленные в формате STIX (например, индикаторы), имеют прямой перевод в OpenTPX.

OpenTPX имеет хорошо организованный репозиторий, который очень универсален и расширяем, а также предлагает помощь в автоматизации. Это также расширяет возможности данных, позволяя добавлять дополнения к наблюдаемым описаниям угроз.

Он предлагает полную систему оценки угроз, которая позволяет аналитикам безопасности, исследователям угроз, операторам сетевой безопасности и специалистам по реагированию на инциденты с легкостью принимать соответствующие решения по снижению угроз.

Каковы лучшие каналы данных об угрозах с открытым исходным кодом?

Сообщество источников информации об угрозах с открытым исходным кодом постоянно предоставляет новые источники CTI. Решения Threat Intelligence также разрабатываются растущим числом компаний, занимающихся информационной безопасностью. Чтобы побудить людей использовать свои премиальные услуги, некоторые из них предоставляют бесплатные предложения и предлагают широкой публике бесплатную информацию об угрозах. В результате было сгенерировано огромное количество данных.

Аналитические данные об угрозах являются важным компонентом современной кибербезопасности. Эти каналы, которые широко доступны в Интернете, записывают и отслеживают IP-адреса и URL-адреса, связанные со схемами фишинга, вредоносным ПО, ботами, шпионским ПО, троянами, рекламным ПО и программами-вымогателями. Использование правильных каналов информации об угрозах с открытым исходным кодом может быть невероятно полезным. Хотя этих сборников много, некоторые из них превосходят другие. Часто обновляемая база данных не всегда означает, что она очень надежна и всеобъемлюща.

Мы постараемся вести собственный список лучших источников информации об угрозах с открытым исходным кодом. В этот список включены варианты бесплатных каналов с открытым исходным кодом.

EmergingThreats.net​

Платформа Emerging Threats Intelligence (ET) от Proofpoint с открытым исходным кодом является одним из самых популярных источников информации об угрозах. ET классифицирует IP-адреса и адреса доменов, связанные с вредоносной онлайн-активностью, и анализирует их последнюю активность. Поток включает в себя 40 различных классов IP и URL, а также постоянно обновляемое значение доверия.

Информация о возникающих угрозах (ET) предотвращает атаки и снижает риск, позволяя вам понять исторический контекст того, где возникли эти угрозы, кто стоит за ними, когда они нанесли удар, какую тактику они использовали и чего они добиваются. Вы можете получить доступ по требованию к текущей и исторической информации об IP-адресах, доменах и другой соответствующей информации об угрозах, чтобы помочь в исследовании угроз и расследовании событий.

В дополнение к данным о репутации вы получаете доказательства осуждения, контекст, историю и данные обнаружения. Вся эта информация доступна на интуитивно понятном шлюзе анализа угроз, который включает в себя:

• Тип угроз и названия эксплойтов, если таковые имеются.
• Подобные образцы использовались в связанных атаках.
• Тенденции и временные метки обнаружения угрозы и связанная с ней категория.

Emerging Threat (ET) Intelligence предоставляет данные об угрозах для выявления IP-адресов и доменов, участвующих в подозрительном и вредоносном поведении. Все данные об угрозах основаны на наблюдениях Proofpoint ET Labs из первых рук. И все они могут поставляться непосредственно в SIEM, межсетевые экраны, IDS, IPS и системы аутентификации.

В журнале Emerging Threat Intelligence подчеркивается следующее:

• Отдельные IP-адреса и списки доменов.
• Почасовые изменения списка.
• Поддерживаются несколько форматов, включая TXT, CSV, JSON и сжатые файлы.
• IP и домены разделены на более чем 40 различных категорий.
• Каждой категории присваивается рейтинг доверия для IP-адресов и доменных имен.
• Результаты жестко датированы, чтобы соответствовать текущим обстоятельствам и отражать недавние уровни активности.

Информация о новых угрозах (ET) легко усваивается вашими текущими решениями SIEM, такими как QRadar, Splunk и ArcSight, а также системами анализа угроз (TIP).

Подписчики получают бесплатное использование надстройки технологии Splunk (Proofpoint Splunk TA). Надстройка включает в себя информацию о новых угрозах (ET) в Splunk, чтобы быстро обнаруживать элементы журналов, которые появляются в списках репутации и совместимы с текущими отчетами Splunk. Информация об угрозах доступна немедленно через Anomali.

Загружаемые списки разведывательных данных о новых угрозах (ET) также доступны в формате Bro IDS.

Abuse.ch URLhaus

URLhaus, первая из двух инициатив швейцарского сайта abuse.ch, представляет собой хранилище плохих сайтов, связанных с распространением вредоносного ПО. Доступ к базе данных осуществляется через URLhaus API, который позволяет вам получать CSV-коллекции помеченных URL-адресов, их относительные статусы и тип опасности, связанной с ними, а также другую информацию. Доступные загрузки включают последние добавления за 30 дней или все текущие URL-адреса.

Весь набор данных URLhaus, обновляемый каждые 5 минут, мгновенно и автоматически загружается в формате CSV. Он также предоставляет набор правил, совместимый с Suricata и Snort. URLhaus также предоставляет набор данных брандмауэра DNS, который содержит все URL-адреса, предназначенные для блокировки.

URLhaus передает материалы поставщикам решений безопасности, антивирусным компаниям и поставщикам черных списков, таким как Spamhaus DBL, SURBL и Google Safe Browsing (GSB).

URLhaus предоставляет сетевым операторам/провайдерам интернет-услуг (ISP), группам реагирования на компьютерные чрезвычайные ситуации (CERT) и реестры доменов с национальным каналом, ASN (номер AS) и доменом верхнего уровня (TLD). Однако помните, что каналы URLhaus не предназначены для блокировки/внесения в черный список или в качестве индикатора компрометации (IoC).

Abuse.ch Tracker for Feodo

Этот продукт abuse.ch ориентирован на ботнеты и инфраструктуру управления и контроля (C&C). Черный список представляет собой компиляцию множества более мелких черных списков, в которых особое внимание уделяется вредоносным ботам Heodo и Dridex.

Очевидно, что это название является прямой реакцией на более раннюю троянскую инфекцию Feodo, пришедшую на смену трояну электронного банкинга Cridex (из которого Dridex и Heodo получают исходный код). TrickBot, ассоциативный вредоносный бот, также отслеживается Feodo Tracker.

Серверы управления и контроля ботнета (C2) для Dridex, Heodo (также известного как Emotet), TrickBot, QakBot (также известного как QuakBot/Qbot) и BazarLoader (также известного как BazarBackdoor) часто располагаются на взломанных серверах, арендованных и настроенных злоумышленником для явная цель хостинга ботнетов. Feodo Tracker предоставляет черный список IP-адресов, связанных с этим ботнетом C2s. Его можно использовать для ограничения связи ботнета C2 с зараженных устройств на хостинг-серверы, контролируемые киберпреступниками в Интернете.

Если у вас есть SIEM-система, вы можете дополнить ее данными Feodo Tracker, чтобы получать уведомления о вероятном трафике ботнета C2, покидающем вашу сеть.

Набор IP-правил Suricata Botnet C2 совместим с IDS/IPS с открытым исходным кодом Suricata и Snort и включает в себя ботнеты C2, контролируемые Feodo Tracker. Вы можете использовать этот набор правил с Suricata или Snort для обнаружения и/или предотвращения сетевых подключений к хост-серверам (комбинация IP-адрес:порт).

Spamhaus Project

Spamhaus Project — это международная некоммерческая организация, которая отслеживает спам и другие связанные с ним киберугрозы, такие как фишинг, вредоносное ПО и ботнеты. Он также предлагает в реальном времени, действенную и высокоточную информацию об угрозах крупным сетям, корпорациям и поставщикам средств безопасности в Интернете. Кроме того, проект Spamhaus сотрудничает с правоохранительными органами для выявления и преследования источников спама и вредоносного ПО по всему миру.

Spamhaus был основан в Лондоне в 1998 году, но его штаб-квартира сейчас находится в Андорра-ла-Велья, Андорра. Компанией управляет преданная своему делу команда из 38 следователей, криминалистов и сетевых инженеров, работающих в 10 разных странах.

Черные списки угроз и репутации Spamhaus в настоящее время защищают более 3 миллиардов почтовых ящиков пользователей и отвечают за предотвращение подавляющего большинства спама и вредоносных программ, передаваемых через Интернет. Большинство провайдеров Интернет-услуг (ISP), провайдеров услуг электронной почты (ESP), предприятий, колледжей, правительственных сетей и военных сетей сегодня используют данные, предоставляемые Spamhaus.

Помимо черных списков на основе DNS (DNSBL), Spamhaus создает специализированные данные для использования с межсетевыми экранами и оборудованием маршрутизации. Некоторые примеры этих данных включают списки DROP Spamhaus, данные C&C ботнета и данные зоны политики ответа Spamhaus (RPZ) для преобразователей DNS. Эти данные помогают предотвратить переход миллионов пользователей Интернета по вредоносным ссылкам в фишинговых и вредоносных электронных письмах.

Spamhaus построил одну из самых обширных инфраструктур DNS на планете, чтобы удовлетворить растущий спрос на свои DNSBL. Сеть Spamhaus состоит из более чем 80 общедоступных DNSBL-серверов, разбросанных по 18 странам. Каждый день люди используют эту сеть для бесплатного выполнения многих миллиардов запросов DNSBL.

FireHOL IP lists

FireHol проверяет все IP-каналы безопасности, которые в основном связаны с онлайн-атаками, злоупотреблением онлайн-сервисами, вредоносным ПО, ботнетами, командными серверами и другими формами киберпреступности.

Список IP-адресов firehol_level1 представляет собой набор списков IP-адресов из разных источников. Цель состоит в том, чтобы разработать черный список, достаточно безопасный для использования во всех системах в сочетании с брандмауэром, чтобы полностью предотвратить доступ к IP-адресам, указанным в черном списке.

Отсутствие каких-либо ложных срабатываний имеет решающее значение для успеха этого дела. Каждый без исключения упомянутый IP-адрес должен считаться вредоносным и должен быть занесен в черный список.

При ipset обновлении FireHol сравнивает его с базами данных MaxMind GeoLite2, IPDeny.com, IP2Location.com Liteи IPIP.net для того, чтобы определить, какие IP-адреса в списке уникальны в пределах каждой страны.

Firehol Level 2 обеспечивает защиту от самых последних атак грубой силы . На этом уровне может быть небольшое количество ложных срабатываний, в основном из-за повторного использования динамических IP-адресов другими пользователями. Этот диапазон IP-адресов состоит из следующих списков:

• OpenBL.org списки: сотрудники OpenBL отслеживают атаки грубой силы на свои хосты. Чтобы избежать ложных срабатываний, у них под контролем очень небольшой список серверов, которые собирают эту информацию. Они рекомендуют использовать черный список по умолчанию с политикой хранения 90 дней, но также предоставляют несколько черных списков с различными политиками хранения (от 1 дня до 1 года). Их цель — уведомить соответствующего поставщика о злоупотреблениях, чтобы деактивировать инфекцию.
• Blocklist.de списки: сеть пользователей, которые сообщают о злоупотреблениях, в основном с помощью Fail2ban. Они уменьшают количество ложных срабатываний за счет использования других существующих списков. Поскольку они собирают информацию о пользователях, их списки могут быть подвержены загрязнению или ложным срабатываниям. Они следуют за ним так, что их уровень ложноположительных результатов незначителен. Кроме того, они включают только отдельные IP-адреса (без подсетей), которые атаковали их клиентов за последние 48 часов, а их список насчитывает от 20 000 до 40 000 IP-адресов (что достаточно мало, учитывая размер Интернета). Как и в случае с openbl, их цель — сообщить о злоупотреблениях, чтобы можно было деактивировать заражение. Кроме того, они выдают свой блок-лист по типу рукоприкладства.

Dnstwist

Dnstwist — это механизм перестановки доменных имен, предназначенный для выявления фишинга, опечаток и имитации бренда.

Фаззинг DNS — это автоматизированный процесс, который идентифицирует потенциально вредоносные домены, нацеленные на вашу организацию. Это приложение генерирует большое количество вариантов доменных имен на основе введенного вами доменного имени, а затем проверяет, используется ли какое-либо из них. Кроме того, он может создавать нечеткие хеши веб-страниц, чтобы определить, являются ли они частью продолжающейся фишинговой атаки или подделки бренда, а также многих других возможностей.

Сканер используют десятки SOC и групп реагирования на инциденты по всему миру, а также независимые эксперты и исследователи в области информационной безопасности. Кроме того, он включен в продукты и услуги других компаний, включая, помимо прочего:

Splunk ESCU, Rapid7 InsightConnect SOAR, Mimecast, PaloAlto Cortex XSOAR, VDA Labs, Watcher, Intel Owl, PatrOwl, RecordedFuture, SpiderFoot, DigitalShadows, SecurityRisk, SmartFence, ThreatPipes и Appsecco.

AlienVault Open Threat Exchange (OTX)

Исследователи и эксперты по безопасности со всего мира теперь могут бесплатно использовать AlienVault OTX. В 140 странах уже насчитывается более 65 000 участников, которые ежедневно отправляют более 14 миллионов предупреждений об угрозах. Нет лучшего способа поддерживать вашу архитектуру безопасности в актуальном состоянии, чем с помощью данных об угрозах, создаваемых сообществом, совместных исследований и автоматического обновления данных об угрозах из любого источника. Каждый член сообщества безопасности, использующий OTX, может активно участвовать в обсуждениях, исследованиях, проверке и обмене самыми последними данными об угрозах, тенденциях и подходах.

FBI InfraGard

Этот канал поддерживается Федеральным бюро расследований и является партнерством ФБР и частного сектора. Его информация предоставляется в свободный доступ частным компаниям и учреждениям государственного сектора, чтобы они были в курсе угроз, которые имеют отношение к 16 конкретным категориям инфраструктуры, которые были определены Агентством кибербезопасности и безопасности инфраструктуры – отдел Министерства США по вопросам безопасности (Cybersecurity and Infrastructure Security Agency of the US Department for Homeland Security). В этот канал включены следующие отрасли: энергетика и атомная энергетика; коммуникации; химикаты; сельское хозяйство; здравоохранение; информационные технологии; транспорт; аварийные службы; вода и плотины; производство; и финансовые услуги.

Лучшие практики по интеграции инструментов анализа угроз с открытым исходным кодом в стратегию

Успешная интеграция открытой информации об угрозах в вашу стратегию кибербезопасности имеет важное значение для предотвращения возникающих угроз и защиты цифровых активов организации. Ниже изложены основные шаги и лучшие практики для интеграции ресурсов разведки угроз с открытым исходным кодом в вашу стратегию кибербезопасности:

• Определите требования вашей организации. Прежде чем погрузиться в огромный массив доступных ресурсов по анализу угроз, оцените конкретные требования и приоритеты вашей организации. Учитывайте такие факторы, как ваша отрасль, масштаб вашей организации и наиболее вероятные категории угроз, с которыми вы столкнетесь. Это поможет вам сконцентрироваться на наиболее важных и ценных ресурсах.
• Создайте группу анализа угроз. назначьте специальную группу для управления и анализа данных разведки угроз. Эта группа должна нести ответственность за мониторинг выбранных ресурсов, оценку актуальности и достоверности информации и передачу своих выводов соответствующим заинтересованным сторонам.
• Выберите подходящие инструменты и каналы. Выберите инструменты и каналы анализа угроз с открытым исходным кодом, которые соответствуют приоритетам вашей организации, после четкого понимания ее требований. При выборе учитывайте такие факторы, как своевременность, актуальность, точность и простота интеграции.
• Интегрируйте информацию об угрозах в существующую инфраструктуру сетевой безопасности. Интегрируйте информацию об угрозах с открытым исходным кодом с существующими инструментами и платформами безопасности, чтобы максимизировать ее ценность. Ищите ресурсы, предоставляющие стандартизированные форматы, такие как STIX, для облегчения обмена данными и системной интеграции.
• Постоянно оценивайте и корректируйте. Ландшафт угроз находится в состоянии постоянного развития, и ваша стратегия анализа угроз должна это отражать. Регулярно оценивайте эффективность выбранных вами ресурсов и при необходимости вносите коррективы, чтобы быть в курсе наиболее актуальных и неотложных угроз.
• Разработайте программу обмена информацией об угрозах. Сотрудничество и обмен информацией с другими организациями в вашей отрасли могут значительно улучшить ваше понимание возникающих угроз. Создайте программу для обмена информацией об угрозах с доверенными партнерами и присоединитесь к отраслевым сообществам и платформам обмена угрозами.

Придерживаясь этих лучших практик по интеграции информации об угрозах с открытым исходным кодом в вашу стратегию кибербезопасности, ваша организация сможет эффективно использовать эти ресурсы, чтобы опережать возникающие угрозы, принимать обоснованные решения и, в конечном итоге, защищать ваши цифровые активы.

Источник: https://www.zenarmor.com/docs/network-security-tutorials/best-open-source-threat-intelligence-platforms-and-feeds