CrowdStrike heeft een voorlopige evaluatie na het incident (PIR) vrijgegeven over de foutieve Falcon-update. Hierin wordt uitgelegd dat een bug ervoor zorgde dat slechte data de Content Validator konden passeren en miljoenen Windows-systemen op 19 juli 2024 lieten crashen.

Het cybersecuritybedrijf legde uit dat het probleem werd veroorzaakt door een problematische inhoudsconfiguratie-update, bedoeld om telemetrie te verzamelen over nieuwe dreigingstechnieken.

Nadat de update de Content Validator had gepasseerd, werden er geen aanvullende verificaties uitgevoerd vanwege het vertrouwen in eerdere succesvolle implementaties van het onderliggende Inter-Process Communication (IPC) Template Type. Hierdoor werd de fout niet opgemerkt voordat hij online hosts bereikte met Falcon versie 7.11 en later.

Het bedrijf realiseerde zich de fout en draaide de update binnen een uur terug.

Maar toen was het te laat. Ongeveer 8,5 miljoen Windows-systemen, zo niet meer, ondervonden een out-of-bounds geheugenleestoegang en crashte toen de Content Interpreter de nieuwe configuratie-update verwerkte.

Onvoldoende testen

CrowdStrike gebruikt configuratiegegevens genaamd IPC Template Types, waarmee de Falcon-sensor verdacht gedrag kan detecteren op apparaten waarop de software is geïnstalleerd.

IPC Templates worden geleverd via reguliere contentupdates die CrowdStrike ‘Rapid Response Content’ noemt. Deze content past het detectievermogen van de sensor aan om nieuwe dreigingen op te sporen zonder volledige updates, simpelweg door de configuratiegegevens te wijzigen.

In dit geval probeerde CrowdStrike een nieuwe configuratie te pushen om kwaadaardig misbruik van Named Pipes in gemeenschappelijke C2-frameworks te detecteren.

Hoewel CrowdStrike de C2-frameworks die het targette niet specifiek heeft benoemd, denken sommige onderzoekers dat de update probeerde nieuwe named pipe-functies in Cobalt Strike te detecteren. BleepingComputer nam maandag contact op met CrowdStrike over de vraag of Cobalt Strike-detecties de problemen veroorzaakten, maar kreeg geen reactie.

Volgens het bedrijf werd het nieuwe IPC Template Type en de bijbehorende Template Instances, belast met het implementeren van de nieuwe configuratie, grondig getest met stresstests.

Deze tests omvatten resourcegebruik, systeemprestatie-impact, gebeurtenisvolume en nadelige systeeminteracties.

De Content Validator, een component die Template Instances controleert en valideert, keurde drie individuele instanties goed, die op 5 maart, 8 april en 24 april 2024 werden gepusht zonder problemen.

Op 19 juli werden er twee aanvullende IPC Template Instances geïmplementeerd, waarvan er één de foutieve configuratie bevatte die de Content Validator door een bug niet detecteerde.

CrowdStrike zegt dat er door het vertrouwen in de eerdere tests en succesvolle implementaties geen aanvullende tests zoals dynamische controles werden uitgevoerd, waardoor de slechte update bij klanten terechtkwam en de massale wereldwijde IT-storing veroorzaakte.

Nieuwe maatregelen

CrowdStrike implementeert verschillende aanvullende maatregelen om soortgelijke incidenten in de toekomst te voorkomen.

Specifiek vermeldde het bedrijf de volgende aanvullende stappen bij het testen van Rapid Response Content:

• Lokale ontwikkelaarstests
• Update- en rollbacktesten van content
• Stresstests, fuzzing en foutinjectie
• Stabiliteitstests
• Tests van contentinterfaces

Bovendien zullen er aanvullende validatiecontroles worden toegevoegd aan de Content Validator, en zal foutafhandeling in de Content Interpreter worden verbeterd om dergelijke fouten die leiden tot onbruikbare Windows-machines te voorkomen.

Wat betreft de implementatie van Rapid Response Content zijn de volgende wijzigingen gepland:

• Implementeren van een gefaseerde implementatiestrategie, te beginnen met een kleine canary-implementatie voordat geleidelijk wordt uitgebreid.
• Verbeteren van monitoring van sensor- en systeemprestaties tijdens implementaties, gebruikmakend van feedback om een gefaseerde uitrol te begeleiden.
• Klanten meer controle geven over de levering van Rapid Response Content-updates, waardoor ze kunnen kiezen wanneer en waar updates worden geïmplementeerd.
• Details van contentupdates aanbieden via release-opmerkingen, waarop klanten zich kunnen abonneren voor tijdige informatie.

CrowdStrike heeft beloofd in de toekomst een gedetailleerdere grondoorzaakanalyse te publiceren, en meer details zullen beschikbaar worden zodra het interne onderzoek is afgerond.