Een defect onderdeel in de nieuwste update van CrowdStrike Falcon laat Windows-systemen crashen, wat invloed heeft op verschillende organisaties en diensten over de hele wereld, waaronder luchthavens, tv-stations en ziekenhuizen.

De storing treft Windows-werkstations en -servers, waarbij gebruikers massale uitval melden die hele bedrijven en vloten van honderdduizenden computers offline haalde.

20.07.2024

Gevolgen van CrowdStrike storingen wereldwijd:

Wat is bekend?

• De problemen veroorzaakt door de update van de CrowdStrike-agent doen zich alleen voor op Windows-systemen. Linux- en Mac-systemen zijn niet getroffen.
• Windows-systemen die vanochtend (19-07-2024) later dan 05:27 UTC online zijn gekomen, zijn niet getroffen.
• De workaround die CrowdStrike heeft aangeboden werkt. In sommige gevallen is een variant van de workaround nodig.

Oplossing: De versie die problemen veroorzaakt is: Channel file ‘C-00000291*.sys’ met timestamp ‘0409 UTC’. Versies van dit bestand met een timestamp van ‘0527 UTC’ of later zijn goede versies.

Stappen:

1. Systeem herstarten: Probeer bij systemen die de update wel hebben uitgevoerd allereerst het systeem te herstarten om daarmee automatisch een nieuwe versie van de channel file te downloaden.
2. Handmatige interventie:
   1. Boot Windows naar de Safe Mode.
   2. Navigeer naar C:\Windows\System32\drivers\CrowdStrike directory in Explorer.
   3. Lokaliseer bestand C-00000291*.sys, klik op de rechtermuisknop en verwijder het bestand of hernoem deze naar C-00000291*.renamed.
   4. Boot de host opnieuw.

Workaround:

• BIOS Storage op ‘RAID’:
  • Voor fysieke laptop/desktop systemen waarop BIOS storage op ‘RAID’ ingesteld staat, moet mogelijkerwijs eerst deze instelling worden gewijzigd van ‘RAID’ naar ‘AHCI/NVMe’ voordat de C:\ drive in Safe Mode zichtbaar is.
• BitLocker-gebruikers:
  • Gebruik de ‘advanced restart options’ om een command prompt te openen.
  • Skip het verzoek om een BitLocker-sleutel wanneer deze wordt gevraagd.
  • Run het commando: bcdedit /set {default} safeboot minimal.
  • Boot het systeem in Safe Mode en volg de stappen hierboven om het betreffende .sys bestand te hernoemen.
  • Na herstart in Safe Mode, draai ‘msconfig’.
  • Op de boot tab moet SafeBoot weer uitgezet worden.
  • Herstart het systeem om uit Safe Mode te komen.

19.07.2024

Workaround voor CrowdStrike foutieve update

De afgelopen uren hebben gebruikers geklaagd over Windows-hosts die vastzitten in een opstartlus of het blauwe scherm des doods (BSOD) weergeven na het installeren van de nieuwste update voor CrowdStrike Falcon Sensor.

De beveiligingsleverancier erkende het probleem en publiceerde een technische waarschuwing waarin werd uitgelegd dat zijn ingenieurs “een inhoudsdistributie gerelateerd aan dit probleem identificeerden en deze wijzigingen hebben teruggedraaid.”

“Symptomen zijn onder meer hosts die een bugcheckblauw scherm fout ervaren gerelateerd aan de Falcon Sensor,” zegt CrowdStrike in de technische waarschuwing.

Het bedrijf onthulde dat de boosdoener een kanaalbestand is, dat gegevens voor de sensor bevat (bijv. instructies). Aangezien het slechts een onderdeel is van de update voor de sensor, kan dit type bestand afzonderlijk worden behandeld zonder de Falcon Sensor-update te verwijderen.

Voor degenen die al getroffen zijn, biedt CrowdStrike de volgende stappen voor workaround:

1. Boot Windows in de veilige modus of in de Windows herstelomgeving
2. Navigeer naar de C:WindowsSystem32driversCrowdStrike directory
3. Vind het bestand dat overeenkomt met “C-00000291*.sys” en verwijder het.
4. Start de host normaal op.

George Kurtz, de voorzitter en CEO van CrowdStrike, kondigde enkele minuten geleden aan dat het bedrijf “actief samenwerkt met klanten” en bevestigde dat de problemen werden veroorzaakt “door een defect in één enkele inhoudsupdate voor Windows-hosts.”

De CEO van CrowdStrike zegt dat er een oplossing beschikbaar is en adviseert klanten om het ondersteuningsportaal te bezoeken voor de laatste updates.

Wereldwijde storing

Tegen de tijd van de correctie waren echter al veel grote organisaties in meerdere sectoren getroffen.

Sommige rapporten zeggen dat de update van CrowdStrike enkele 911 noodhulpdiensten in de staat New York (EMS, politie, brandweer), Alaska en Arizona, evenals 911 diensten in delen van Canada, heeft getroffen.

Een 911 telefonist in Illinois zei dat ze “op papier werken totdat alles weer werkt.”

Er zijn ook meldingen dat de gezondheidslijn in Catalonië, Spanje, is getroffen en autoriteiten vragen burgers om 061 niet te bellen, tenzij het een noodgeval is.

De Nederlandse omroeporganisatie NOS zei dat de storing verstoringen veroorzaakte op Schiphol Airport en “enkele vluchten aan de grond dwong” (uitgevoerd door KLM en Transavia).

Melbourne Airport zei dat het te maken had met “een wereldwijd technologisch probleem dat de incheckprocedures voor sommige luchtvaartmaatschappijen beïnvloedt.” De meest getroffen zijn passagiers die internationaal vertrekken via Jetstar en Scoot airlines.

Andere getroffen luchthavens zijn in Berlijn, Barcelona, Brisbane, Edinburgh, Amsterdam en Londen.

In de VS ontving de Federal Aviation Administration verzoeken om meerdere luchtvaartmaatschappijen te helpen met grondstops totdat “een technisch probleem dat IT-systemen beïnvloedt” is opgelost.

Enkele ziekenhuizen in Nederland – Scheper in Emmen, Slingeland Ziekenhuis in Achterhoek en spoedeisende posten in Hoogeveen en Stadskanaal waren ook getroffen.

In Barcelona ervoeren het Terrassa Universitair Ziekenhuis en het Catalaans Oncologisch Instituut eerder op de dag problemen vanwege het CrowdStrike probleem, maar ze zijn begonnen hun normale activiteiten te hervatten.

Op Reddit begonnen veel gebruikers hun frustratie te uiten over tienduizenden computers die crashten na de update van CrowdStrike en het effect op hun bedrijven:

Maleisië hier, 70% van onze laptops liggen plat en zitten vast in opstart, HQ uit Japan gaf opdracht voor een bedrijf brede shutdown

210K BSODS allemaal om 10:57 PST….en het blijft toenemen…dit is slecht….

Werkstations en servers hier in Aus… vloot van 50k+ – iemand gaat plezier hebben.

Hier in Australië is het ook mis. Ons hele bedrijf is offline

Hetzelfde hier in OZ. Hele bedrijf ligt plat.

De helft van het bedrijf ligt stil. Op de een of andere manier heeft het ook onze AWS servers getroffen. Grote servicestilstand voor onze klanten

Hele organisatie en handelsentiteiten liggen hier plat. De helft van IT is buitengesloten.

Zien op dit moment grote problemen hier in NZ, bedrijfsbrede storing die servers en werkstations beïnvloedt.

Ondersteuning voor locaties in de Filippijnen en China. Allen ervaren hetzelfde

Ondanks dat er een oplossing wordt ingezet en CrowdStrike een work-around biedt voor Windows-hosts die al crashen, zullen bedrijven nog een tijdje de gevolgen van het probleem voelen.

Beheerders gaan een lang weekend tegemoet, vooral met computerparken van tientallen of honderdduizenden computers, medewerkers die op afstand werken, externe datacenters of cloudomgevingen waar opstarten in de veilige modus geen optie is.