r-tec informiert zum CrowdStrike-Vorfall

CrowdStrike ist Technologieführer im Bereich EDR. Neben unübertroffen effektiven Schutz- und Erkennungsfunktionen konnten viele Cyber-Security-Vorfälle weltweit überhaupt erst mit Hilfe des Rollouts von CrowdStrike analysiert, eingedämmt und behoben werden. Diese Erfahrung teilt das Cyber Defense Center der r‑tec mit zahlreichen Incident-Respondern und Forensikern weltweit.

CrowdStrike arbeitet derzeit an der finalen Root-Cause-Analyse des Problems. Erste Zwischenergebnisse stehen bereits zur Verfügung, bis zur Veröffentlichung des vollständigen Berichts bleiben allerdings noch einige Details ungeklärt. Schon jetzt ist aber klar: Die technischen Gegebenheiten von Endpoint-Security-Lösungen und deren notwendige Operation auf Kernel-Ebene bringen mit sich, dass letztlich alle Endpoint-Protection-Lösungen dem selben Risiko ausgesetzt sind – egal, von welchem Hersteller sie stammen (Vgl. "Technische Hintergründe"). Die von CrowdStrike angekündigten Verbesserungsmaßnahmen begrüßen wir ausdrücklich und halten sie für geeignet, um die Risiken, die beim Einsatz jeder Endpoint-Security-Lösung drohen, zu minimieren.

Die Kommunikation und den Support durch CrowdStrike im Zuge des Vorfalls bewerten wir als zielführend. In dem von CrowdStrike zur Verfügung gestellten Preliminary Post Incident Review wird transparent über den Fehler und seine Ursache informiert.

Ursache der Störung war ein fehlerhaftes sog. Rapid Response Content Update (siehe auch „Technische Hintergründe“), das am Morgen des 19. Juli 2024 von CrowdStrike verteilt wurde. Betroffen waren weltweit unzählige Windows-Systeme, die anschließend in einem sogenannten „Blue Screen of Death“ (BSOD) endeten.

Diese Form von Updates praktiziert CrowdStrike seit vielen Jahren fehlerfrei, manchmal mehrmals täglich. Der Fehler entstand diesmal, weil dieses Update eine fehlerhafte Konfigurationsdatei enthielt, obwohl der Rapid Response Content vor Veröffentlichung immer einer mehrschrittigen Überprüfung durch die sog. Content-Validator-Funktionen unterzogen wird.

Aufgrund eines Fehlers im Content Validator wurden in diesem Update fehlerhafte Daten nicht erkannt. Als das Update von der CrowdStrike-EDR-Lösung empfangen und interpretiert wurde, kam es zu einem Speicherfehler, der das System zum Absturz brachte.

Nachdem das Problem bekannt wurde, hat CrowdStrike sehr schnell Informationen zur Fehlerursache und zur Behebung bereitgestellt. Da betroffene Systeme jedoch nicht mehr normal starten können, sind zur Beseitigung des Fehlers manuelle Schritte notwendig, die weltweit zu großem Aufwand in den betroffenen IT-Abteilungen geführt haben, so dass die endgültige Bewältigung des Problems weltweit sicherlich noch einige Zeit in Anspruch nehmen wird.

Mittlerweile hat CrowdStrike einen Remediation and Guidance Hub bereitgestellt, in dem umfangreiche, aktuelle Informationen zum Vorfall sowie Bereinigungs- und Wiederherstellungsanleitungen für unterschiedlichste Szenarien beschrieben sind.

Kunden der r-tec, die von dem Fehler betroffen waren, wurden bereits unmittelbar nach dem Vorfall am Freitagmorgen (19.07.2024) durch uns informiert. Dabei wurde insbesondere auf den Workaround und das weitere Vorgehen zur Rückkehr zum Normalbetrieb eingegangen. Soweit r-tec dazu Feedback erhalten hat, konnten alle Kunden noch am selben Tag ihre Systeme erfolgreich wieder in Betrieb nehmen.

CrowdStrike verwendet für die Aktualisierung ihrer Software zwei Typen von Updates:

• Sensor Content
• Rapid Response Content

Sensor Content aktualisiert die Software um Funktionen für die Bedrohungserkennung und die Angriffsreaktion. Das können zum Beispiel KI- und maschinelle Lernmodelle sein. Sensor Content wird nicht dynamisch aus der Cloud aktualisiert.

Rapid Response Content wird in Form von Konfigurationsdaten bereitgestellt, den sog. Template Instances. Diese nutzen vorgefertigte Felder für Bedrohungserkennungen in den sog. Template Types, die der EDR-Lösung bestimmte Verhaltensweisen vorgeben, die diese beobachten, erkennen oder verhindern soll. Damit hierbei keine Zeit verloren geht und die CrowdStrike-EDR-Lösung immer auf dem neuesten Stand ist, werden diese dynamisch aus der Cloud bereitgestellt.

Dementsprechend unterscheiden sich die QA-Verfahren für die beiden Updatetypen:

• Sensor Content Updates stellen jeweils ein neues Release der Software und werden daher einem sehr aufwendigen maschinellen und manuellen Prüfprozess unterzogen. Kunden können sogar per Policy konfigurieren, ob sie mit der neuesten Version oder älteren Versionen arbeiten.
• Rapid Response Content wurde bisher einem zwar aufwendigen und mehrschrittigen, aber eben voll automatisierten Prüfprozess unterzogen (vgl. Die Ursache).

Um zukünftig solche Fehler zu verhindern, plant CrowdStrike mehrere Verbesserungen an seinen QA-Verfahren. Dazu gehört vor allem die Erweiterung der Tests für Rapid Response Content:

1. Mehrere neue Typen von Validierungsprüfungen sollen verhindern, dass problematische Inhalte freigegeben werden.
2. Außerdem wird ein gestaffelter Einführungsprozess für Updates implementiert, bei dem Updates zunächst an spezielle Testgruppen und anschließend schrittweise an größere Gruppen von Nutzern verteilt werden.
3. Kunden werden zudem mehr Kontrolle über die Updates erhalten, indem sie die Möglichkeit bekommen, genau auszuwählen, wann und in welchen Gruppen der Rapid Response Content aktualisiert wird.

r-tec begrüßt diese Verbesserungsmaßnahmen ausdrücklich und hält sie für geeignet, um die Risiken, die beim Einsatz jeder Endpoint Security Lösung drohen, zu minimieren.