Linkedin

Raphael Angleraux, CTO,RSSI, co-fondateur, Icodia

Repartage — contenu de Souveraine Tech

Raphael Angleraux, CTO,RSSI, co-fondateur, Icodia

Apparemment, une modification récente de leur infrastructure réseau aurait provoqué une défaillance des health checks, entraînant le retrait progressif des serveurs du pool de production (un faux positif).

Le trafic s'est alors reporté sur les serveurs restants, qui ont fini par saturer à leur tour, véritable effet domino.

Ce qui me surprend quand même, c'est qu'une boîte de la taille de Microsoft ne puisse pas anticiper un tel scénario et laisser un mécanisme censé garantir la disponibilité provoquer lui-même une panne en cascade. OK, leur infrastructure est surement énorme et complexe, mais bon, c'est leur job de maîtriser ce genre de risques…

Chronologie de la panne 12/13 novembre 2026, en UTC

16h17 : premiers signalements de problèmes d'accès aux boîtes Exchange Online.

18h19 : Microsoft confirme une surcharge de son infrastructure dans plusieurs régions. Outlook est touché, aussi bien en Web, MAPI qu'en mobile et via les API REST.

18h29 – 18h57 : Microsoft commence à détourner une partie du trafic américain, puis redistribue les connexions Outlook à l'échelle mondiale pour tenter de répartir la charge.

19h06 : Microsoft suspend tous les déploiements et changements de configuration afin d'identifier une éventuelle modification récente à l'origine du problème.

19h18 : Microsoft constate que la surcharge ne vient pas d'une augmentation du trafic, mais d'un nombre important de serveurs devenus indisponibles, reportant toute la charge sur les serveurs restants.

19h43 : identification d'un problème avec les health checks automatisés, qui entraînent le retrait des serveurs défaillants du pool de production. Mais ils ne sont pas réellement HS, c'est la modification réseau et les health checks qui posent problème

19h57 : Microsoft suspecte un composant chargé de traiter les contrôles de santé et teste une méthode alternative pour éviter de retirer inutilement des serveurs.

21h08 : une première méthode alternative de health check fonctionne sur une partie des serveurs. Microsoft commence à la généraliser et lance des redémarrages automatisés.

23h00 : les premiers serveurs réintégrés semblent stables, mais la situation reste très limite sur la charge.

00h00 (le 13 novembre) : nouveau problème, les serveurs remis en service deviennent de nouveau injoignables dès qu'ils reçoivent du trafic. Microsoft commence à limiter certains types de requêtes et à reconstruire des serveurs avec une configuration logicielle précédente.

Dans la nuit du 13 novembre : Microsoft identifie un processus chargé d'établir les connexions sécurisées qui devient saturé. Une modification réseau récente est en lien, et son rollback est engagé.

07h29 : premiers résultats positifs après application d'un correctif sur une partie de l'infrastructure et rollback de la modification réseau

11h04 : amélioration de la stabilité constatée mais cela reste fragile, le rétablissement global reste très progressif…

Sources LinkedIn