Почта Microsoft 365 рухнула почти на сутки: компания назвала виновника
Microsoft обнародовала детали крупного отказа Outlook. Более 80% серверов Exchange Online перестали работать, оставив пользователей без почты почти на день. Сбой затронул несколько стран.
Коротко
- 12 ноября сбой в Outlook затронул больше 80% серверов Exchange Online и длился почти 24 часа.
- Виной всему — скрытый дефект в обновлении Windows для сетевых шлюзов Microsoft 365, который жил в системе с июля.
- Инцидент вскрыл, что стандартные механизмы восстановления Microsoft не справляются с отказом такого масштаба.
Microsoft поделилась деталями масштабного отказа Outlook. Из-за него сотрудники компаний, госслужащие и обычные люди почти на сутки потеряли доступ к электронной почте. Проблема ударила по более чем 80% серверов Exchange Online и перекинулась на разные страны — виной тому механизмы аварийного переключения.
Что произошло
Как пишет The Verge, сбой стартовал 12 ноября около девяти утра. Первыми отказали серверы Exchange Online в Швейцарии, затем проблемы пошли в Мексике и других государствах. Системы аварийного переключения пытались перенаправить почтовый трафик на другие серверы, но вместо того чтобы локализовать неисправность, только разнесли её дальше. За несколько часов больше 80% серверов Exchange перестали отвечать на запросы. Microsoft присвоила инциденту высший уровень критичности Sev0 и бросила на расследование сотни инженеров.
Сначала специалисты изучали журналы трассировки, аварийные отчёты и дампы ядра. Некоторые серверы уходили в режим обслуживания и замолкали из-за перегрузки процессора. Попытки перезапуска не помогали: после восстановления оборудование сразу получало лавину накопившихся запросов и снова ломалось. В ряде случаев возникал бесконечный цикл перезагрузок. Вдобавок стандартные процедуры отката изменений не позволяли вернуть серверы в строй.
В итоге Microsoft наткнулась на скрытую ошибку в сетевой инфраструктуре Microsoft 365. Она сидела на серверах сетевых шлюзов с июля, но до ноябрьского сбоя никак не проявлялась. Согласно предварительному отчёту компании, проблема крылась в конфликте блокировок внутри одного из внутренних процессов Windows. При определённой нагрузке это заставляло серверы замолкать.
Обычные версии Windows тут ни при чём: ошибка возникла из-за исправления, сделанного специально для сетевых шлюзов Microsoft 365. Чарльз Ламанна (Charles Lamanna), глава подразделения Copilot, Agents and Platform в Microsoft, объяснил, что проблема сильнее проявлялась на машинах с большим числом ядер и новым железом. А в испытательных лабораториях компании нагрузочные тесты в основном гоняли на менее мощных системах с малым числом ядер — поэтому дефект не заметили заранее.
Сбой сложился из нескольких факторов. За 15 часов до проблем с Outlook Microsoft Teams переключился с запасного сетевого шлюза на основной, который обслуживает Exchange Online. Это подняло нагрузку на инфраструктуру и изменило характер трафика. Одновременно около 14% мощности основного шлюза оставались недоступны из-за другой неисправности, случившейся накануне. Всё вместе со скрытой ошибкой и привело к массовому отказу серверов.
Microsoft также проверила версию кибератаки, но журналы и аварийные отчёты позволили её отбросить. Для координации восстановления инженеры проводили непрерывные совещания: в одном из таких звонков одновременно участвовали до 1000 человек.
На стабилизацию серверов Exchange Online ушло почти 24 часа. Microsoft признала: штатные механизмы восстановления не рассчитаны на такой масштабный отказ, а стандартные процедуры отката не помогли быстро убрать дефект, который жил в инфраструктуре несколько месяцев. Компания готовит финальный отчёт и обещает опубликовать его позже.
Почему это важно
Инцидент показал: даже крупнейшие облачные провайдеры не застрахованы от каскадных отказов из-за скрытых ошибок в инфраструктуре. Для бизнеса и госорганов, которые используют Microsoft 365, это значит, что нужно разрабатывать резервные планы связи и процедуры восстановления, не полагаясь только на штатные механизмы Microsoft. Обычные пользователи Windows не пострадали, но владельцам мощных серверов с большим числом ядер стоит помнить: нагрузочное тестирование Microsoft проводила на менее мощных системах, что могло спрятать дефект.
Источники
Материал подготовлен с помощью ИИ на основе открытых источников и может содержать неточности. Нашли ошибку — напишите на hello@tolk.media.