Microsoft усунула глобальний збій сервісів — винуватцем виявилася помилка під час оновлення мережі

Microsoft повідомила про повне відновлення сервісів Microsoft 365 після глобального збою, що тривав більше доби. Проблеми з Outlook, Teams та Copilot порушили роботу державних установ, біржових трейдерів і комерційних підприємств по всьому світу. «Усі продукти функціонують у штатному режимі», — йдеться на сайті компанії. Microsoft також підтвердила, що накопичені за час збою електронні листи були оброблені.

Збій торкнувся, прежде за все, хмарної платформи Exchange Online та залежних від неї функцій інших сервісів Microsoft 365. На платформі Downdetector зафіксували кілька сотень тисяч скарг; про проблеми повідомили користувачі з більш ніж 70 країн. Співробітникам офісів і державних установ від Токіо до Лондона та Нью-Йорка довелося переключитися на звичні засоби зв'язку: телефони та навіть факси. Швейцарський холдинг Richemont, чиї компанії випускають предмети розкоші, та американський виробник транспорту Workhorse були змушені відкласти публікацію фінансових звітів. З проблемами зіткнулися й установи Національної служби охорони здоров'я Великобританії.

Тривалий збій знову підняв питання про надійність хмарних сервісів Microsoft і надмірну залежність від одного постачальника. У Microsoft 365 понад 450 млн платних комерційних підписок, а її програми залишаються найважливішою частиною повсякденної роботи підприємств і державних установ. Швидко відмовитися від широко використовуваних продуктів компанії навряд чи можливо. При цьому акції Microsoft майже не змінилися в ціні.

За попередніми даними Microsoft, збій викликала помилка, допущена раніше під час розширення пропускної здатності мережі, яка проявилася після подальшого зміни її конфігурації. При усуненні неполадок виникли труднощі: відновлені сервери могли знову перестати відповідати після надходження навантаження. Сервіси повертали в строй поступово, перевіряючи стабільність роботи на кожному етапі.

За даними Bloomberg, після запуску на серверах процеси Exchange, що забезпечують роботу електронної пошти та календарів Microsoft 365, швидко вичерпували доступні ресурси і переставали відповідати. Інженери, зокрема, перевіряли, чи не зверталося додаток до баз даних замість використання даних у локальній пам'яті. Також розглядалася версія про помилку в конфігурації хмарної мережі Azure. Остаточні технічні причини компанія поки не розкрила і пообіцяла опублікувати детальний звіт після завершення розслідування. Ознак зловмисних дій не виявлено; з ШІ та агентами проблема також не пов'язана, запевнили в Microsoft.

Масові повідомлення про неполадки почали надходити ввечері 12 листопада. Інцидент нагадав про торішній масштабний збій AWS, який тривав 15 годин і торкнувся сотень сайтів, а також про інцидент з програмними рішеннями CrowdStrike у 2024 році, який паралізував роботу організацій по всьому світу.

Цього разу збій завадив навіть повідомленню співробітників про звільнення. Власник брендів Calvin Klein і Tommy Hilfiger компанія PVH 12 листопада оголосила про намір скоротити близько 4 % штату у зв'язку з реструктуризацією, але не змогла провести частину запланованих розмов з працівниками, які потрапили під скорочення, залишивши їх у невіданні про свій статус. А офіс шерифа в колорадському окрузі Арапахо не зміг обробляти платежі для внесення застави через електронну пошту — людей просили приїжджати і вносити заставу особисто.

Хочеш дізнатися більше — читай відгуки