Jak nenápadná chyba z července shodila Microsoft. Firma vysvětlila masivní výpadek

Jak nenápadná chyba z července shodila Microsoft. Firma vysvětlila masivní výpadek
Fotografie: Microsoft
  • Téměř 24hodinový globální výpadek služeb Microsoft 365 zasáhl především firemní e-maily v Exchange Online a částečně i navázané nástroje jako Teams či Copilot
  • Příčinou byl souběh skryté červencové chyby ve Windows, přesměrování provozu z Teams a snížené kapacity serverů, což spustilo dominový pád více než 80 % síťových bran

Minulý týden zasáhl cloudové služby Microsoftu ahrozsáhlý globální výpadek, který na téměř 24 hodin paralyzoval především firemní e-maily. Společnost nyní zveřejnila předběžnou technickou zprávu (365fanatic.com), ve které detailně popisuje řetězec událostí. Ukazuje se, že za kolapsem nestál kybernetický útok, ale souběh tří zdánlivě nesouvisejících faktorů, které spustily nekontrolovaný dominový efekt napříč datovými centry po celém světě.

Výpadek začal ve čtvrtek 12. listopadu v 17:20 SEČ a plně se ho podařilo zažehnat až v pátek 13. listopadu v 17:10. Nejvíce postihl službu Exchange Online – většina uživatelů se nemohla dostat ke svým schránkám přes Outlook ani webové rozhraní a doručování e-mailů nabíralo výrazné zpoždění. Problémy se ale přelily i do navázaných nástrojů, jako jsou Microsoft Teams, Copilot, SharePoint, OneDrive nebo bezpečnostní platforma Defender.

Tři ingredience dokonalé bouře

Jádrem problému se staly síťové brány (networking gateways), které slouží jako vstupní uzel směrující požadavky uživatelů k jednotlivým službám Microsoft 365. Aby došlo k jejich globálnímu kolapsu, musely se ve stejný okamžik sejít tři okolnosti.

Už v červenci nasadil Microsoft na servery síťových bran úpravu, která obsahovala skrytou chybu (takzvanou lock contention neboli soupeření vláken a procesů o stejný systémový zdroj při navazování síťových spojení). V zátěžových testech se na ni nepřišlo, protože Microsoft testoval na slabším hardwaru – chyba se totiž projevovala až na moderních serverech s vysokým počtem procesorových jader, kde při určité zátěži zcela vyčerpala CPU a operační paměť.

Zhruba 15 hodin před výpadkem došlo v rámci běžných mechanismů odolnosti k automatickému přepnutí provozu služby Teams ze záložní síťové brány na tu primární, kterou využívá i Exchange Online. Tím výrazně vzrostla zátěž a změnila se struktura síťového provozu.

Ve stejnou dobu bylo téměř 14 % kapacity síťových bran mimo provoz kvůli nesouvisejícímu incidentu z předchozího dne. Samo o sobě by to nevadilo, ale v kombinaci se špičkou provozu v USA to stačilo k probuzení červencové chyby.

Dominový efekt a nesnadná oprava

Jakmile první přetížené servery přestaly odpovídat, automatické systémy Microsoftu začaly uživatele přesměrovávat na zbývající zdravé uzly. Tím se ale zátěž na zbylých serverech okamžitě zvýšila a chyba se na nich projevila také. Během necelých dvou hodin takto kaskádovitě zkolabovalo přes 80 % všech serverů síťových bran.

Obnova služeb se protáhla především proto, že jakmile inženýři některý server restartovali a vrátili do provozu, okamžitě ho zahltila obrovská fronta čekajících požadavků a stroj znovu zamrzl. Běžné nástroje pro rychlé vrácení změn navíc nešlo použít, protože šlo o hluboko uloženou chybu v kódu Windows nasazenou před více než třemi měsíci.

Diskuze ke článku
V diskuzi zatím nejsou žádné příspěvky. Přidejte svůj názor jako první.
Přidat názor

Nejživější diskuze