Flagello · Senza colpevole · 8 giugno 2021

La grande eclissi di Fastly

Cronaca

L'8 giugno 2021, alle 9:47 UTC, la modifica di configurazione perfettamente valida di un singolo cliente risvegliò un bug latente, introdotto in un rilascio di maggio, e l'85% della rete di Fastly cominciò a restituire errori. Il New York Times, il Guardian, Reddit, Twitch, gov.uk e molti altri siti sparirono fino a un'ora. Fastly individuò la causa in pochi minuti e ripristinò il servizio in meno di un'ora. Nessun attaccante: solo un bug che aspettava il cliente giusto.

Lezione appresa

Ricordò quanto del web passi da pochi fornitori di CDN, e quanto valgano una diagnosi rapida e un rapporto pubblico onesto sull'accaduto.

Preghiera di riparazione

O bug dormiente, che aspettasti tre settimane la configurazione giusta per svegliarti, resta addormentato nei nostri sistemi e fatti trovare dai test prima che dai clienti. Amen.

Come si ricorda

Si ricorda rilasciando le modifiche per gradi, prevedendo un piano di riserva se la CDN cade e scrivendo un post-mortem franco come quello di Fastly.