Генеральный директор CrowdStrike извинился перед клиентами и партнерами компании за сбой их Windows-систем, а компания рассказала об ошибке, которая привела к катастрофе.
«Я хочу искренне извиниться перед всеми вами за сегодняшний сбой. Все в CrowdStrike понимают серьезность и последствия ситуации», — написал основатель и генеральный директор CrowdStrike Джордж Курц в сообщении в блоге на веб-сайте компании под названием «Наше заявление о сегодняшнем сбое».
Он повторил предыдущее сообщение компании о том, что инцидент, вызвавший сбой работы компьютеров по всему миру в пятницу 19 июля, не был результатом кибератаки.
Однако он играл словами, давая понять, что в платформе безопасности Falcon компании не было никакой неисправности, и предполагая, что инцидент был случайностью.
Оглавление
Что стало причиной сбоя CrowdStrike?
«Сбой был вызван дефектом, обнаруженным в обновлении контента Falcon для Windows-хостов», — сказал Курц, как будто дефект был естественным явлением, обнаруженным его сотрудниками.
Дефектное обновление контента, о котором идет речь, было установлено на компьютерах с ОС Windows, на которых установлен Falcon-сенсор, в 04:09 UTC в пятницу, а исправление было выпущено всего через 79 минут, сообщила компания в субботу у себя в блоге, предоставив технические подробности инцидента.
К тому времени было слишком поздно: многие системы, получившие это обновление, уже были отключены.
«Системы, работающие под управлением Falcon-сенсора для Windows 7.11 и более поздних версий, которые загружали обновленную конфигурацию с 04:09 UTC до 05:27 UTC, были подвержены сбою», — говорится в сообщении.
В некоторых случаях сбои систем, на которых работал Falcon-сенсор, приводили к пропущенным авиарейсам, закрытию колл-центров и отмене финансовых операций, поскольку многие затронутые Windows-системы отображали печально известный «синий экран смерти».
Тем не менее, Курц в своем письме к клиентам настаивает: «Установка Falcon-сенсора не повлияет на какую-либо защиту».
Это может быть справедливо для систем, которые не получили обновление с некорректным контентом, и, строго говоря, система, которая больше не работает, не нуждается в защите, но пострадавшие клиенты будут сомневаться в том, действительно ли CrowdStrike защитил их системы в течение этих критических 79 минут.
Что было в дефектном обновлении контента CrowdStrike?
CrowdStrike обновляет файлы конфигурации для сенсоров конечных точек, которые являются частью его платформы Falcon, несколько раз в день. Он называет эти обновления «Channel Files».
Дефект был в том, что он называет Channel 291, сообщила компания в субботнем техническом сообщении в блоге. Файл хранится в каталоге с именем «C:\Windows\System32\drivers\CrowdStrike\» и с именем файла, начинающимся с «C-00000291-» и заканчивающимся «.sys». Несмотря на местоположение и имя файла, файл не является драйвером ядра Windows, настаивает CrowdStrike.
Файл канала 291 используется для передачи Falcon-сенсору информации о том, как оценивать выполнение «именованного канала». Системы Windows используют эти каналы для межсистемного или межпроцессного взаимодействия и сами по себе не представляют угрозы — хотя их можно использовать не по назначению.
«Обновление, произошедшее в 04:09 UTC, было разработано для борьбы с недавно обнаруженными вредоносными именованными каналами, используемыми распространенными фреймворками C2 [командования и управления] в кибератаках», — поясняется в техническом блоге.
Однако в нем говорится: «Обновление конфигурации вызвало логическую ошибку, которая привела к сбою операционной системы».
Быстрое решение, но медленное восстановление
Чтобы остановить повторное возникновение проблемы, потребовалось всего лишь удалить дефектный контент из файла: «CrowdStrike исправил логическую ошибку, обновив контент в файле канала 291».
Однако это не решило проблему для множества Windows-машин, которые уже загрузили дефектный контент, а затем вышли из строя.
Для этих целей CrowdStrike опубликовал еще одну запись в блоге, содержащую гораздо более длинный набор действий, которые должны выполнить пострадавшие клиенты, с предложениями по удаленному обнаружению и автоматическому восстановлению затронутых систем, а также подробными наборами инструкций по временным решениям для затронутых физических машин или виртуальных серверов.
«Системы, которые в настоящее время не затронуты, продолжат работать в штатном режиме, продолжат обеспечивать защиту и не будут подвержены риску возникновения подобного события в будущем», — говорится в техническом сообщении в блоге.
Есть за что извиняться. Одними извинениями здесь не отделаться. Миллиардов так надцать рыночной капитализации долой.