Geçtiğimiz hafta yaşanan ve şirketin tarihindeki en büyük kesintilerden birine yol açan Microsoft 365 sorunlarının kökeninde, Temmuz ayından beri gizli kalan bir bulut geçidi kusuru yatıyordu. Şirket tarafından yayınlanan ön rapora göre, bu gizli hata, trafik değişimleri ve azalan sunucu kapasitesiyle birleşerek Microsoft 365 ve Exchange altyapısının büyük bir kısmını kullanılamaz hale getirdi. Microsoft'un raporunda olayın son durumu "siber saldırı veya yapay zeka ile ilgili olmayan teknik bir sorun" olarak belirtildi.
Microsoft'un ön raporuna göre kesinti, 12 Kasım saat 16:20 UTC ile 13 Kasım saat 16:10 UTC arasında, toplamda yaklaşık 24 saat sürdü. Etkilenen sistemler için 14 Kasım'a kadar ek izleme devam etti.
Yaşanan bu aksaklık, Microsoft'un bulut ve e-posta altyapısına bağımlı olan birçok iş yerini ve kamu kurumunu etkiledi. Microsoft'un olay numaraları EX1550543 ve MO1550821 olarak kayıtlara geçen bu kesinti hakkında daha detaylı bilgilere, şirket içi yetkilendirme ile ulaşılabilir. Ancak ön raporun özetleri ve ilgili güncellemeler kamuoyuna açık kaynaklarda yer aldı.
Kusursuz Bir Fırtına
Microsoft, yaşanan bu büyük kesintiyi üç temel faktöre bağlıyor. Temmuz ayında Microsoft'un bulut geçidinde yapılan bir güncelleme, belirli koşullar altında CPU ve bellek kaynaklarının tükenmesine ve sistemin yanıt vermez hale gelmesine neden olan bir hata oluşturmuştu. Microsoft, bu kusurun, üretim ortamındaki bazı sistemlere kıyasla daha az güçlü donanıma sahip olan ön sürüm testlerinde fark edilmediğini belirtiyor. Yeni makinelerdeki daha yüksek CPU çekirdeklerinin bu sorunu tetiklediği düşünülüyor.
İkinci etken ise sunucu yüküydü. Microsoft, "standart ağ bakımı ve yükseltmeler sırasındaki trafik değişimlerinin gizli bir hatayı ortaya çıkardığını" ifade etti. Şirket, dayanıklılık için Microsoft 365'e erişimde iki bağımsız geçit sistemi kullanıyor. Bir sistemde sorun yaşanması durumunda kullanıcılar diğer sistem üzerinden erişim sağlayabiliyor. Rapora göre, kesintiden yaklaşık 15 saat önce, Teams'ten gelen trafik alternatif geçitten birincil geçide aktarıldı. Bu aktarım, Exchange Online erişiminin sağlandığı ana geçitte ek bir yük oluşturdu. Talepler yığıldıkça, etkilenen sunucular kapasitelerini aştı ve yeni bağlantı isteklerini reddetmeye başladı.
Trafik aktarımı üçüncü bir faktörü de ortaya çıkardı: altyapı kapasitesi. Mevcut bir arıza nedeniyle Microsoft'un geçit sunucu filosunun optimal koşulların %14 altında çalıştığı belirlendi. Bu eksik kapasite, normalde talebi karşılayabilecekken, değişen trafik modelleri ve altta yatan kusurla birleşince, artan istekler nedeniyle geçitlerde kilitlenmelere neden oldu.
Türkiye'deki iş akışları yoğunlaştıkça, geçit sunucuları kilitlenmeye başladı. Yanıt vermeyen sunuculardan istekleri uzaklaştıran yedekleme sistemleri çalışsa da, sözde sağlıklı olan yedek geçitlerde de aynı kilitlenmeler yaşandı. Bu durum, etkilenen Microsoft geçit sunucularının %80'inden fazlasının donmasına neden olan bir kartopu etkisi yarattı. Etkilenen sistemleri bölge bazında izole etmek için konulan mekanizmaların başarısız olduğu görülüyor. Microsoft'un mevcut raporu, bu izolasyon sistemlerinin neden başarısız olduğuna dair bir açıklama sunmuyor.
Kolay Bir Çıkış Yoktu
Kurtarma süreci normalden daha uzun sürdü çünkü çözüm, Microsoft mühendislerinden hedeflenmiş bir sistem güncellemesi gerektiriyordu. Geçit sunucularını yeniden başlatma girişimleri etkisiz kaldı; sunucular çevrimiçi olduğunda, büyük istek kuyrukları hala erişim bekliyordu ve bu da kesintiye yol açan kaynak tükenmesini tekrar tetikliyordu. Microsoft, Teams, OneDrive ve diğer Office uygulamaları gibi hizmetlerin etkilenen altyapıdan yönlendirilebildiğini, ancak ölçeklendirme sınırlamalarının Exchange Online için benzer bir hareketi engellediğini belirtti.
Temmuz ayından beri keşfedilemeyen hata nedeniyle, sistem geri alma işlemleri de etkisiz kaldı. Basitçe "çalışır durumda" olan önceki bir duruma dönmek mümkün değildi çünkü sorun zaten sisteme yerleşmişti. Sunucular aşamalı olarak yamalandı ve hizmete geri döndürüldü. Microsoft, benzer bir durumun tekrar yaşanmasını önlemek için ek kapasite ve trafik dağıtım önlemleri aldığını belirtti. Ayrıca, teslim edilmeyen e-postaların geri dönmesini engellemek için etkilenen mesajlar için teslimat zaman aşımlarını uzattı.
Microsoft, nihai olay raporunu 20 Kasım'da yayınlamayı bekliyor. Bu nihai rapor, bölgesel izolasyon sistemlerinin neden başarısız olduğuna ve bu tür kesintilerin önlenmesi için hangi düzeltici eylemlerin alınacağına dair ek açıklamalar sunabilir. Pazartesi sabahı itibarıyla Microsoft'un tüm bulut hizmetlerinin çevrimiçi ve çalışır durumda olduğu görüldü.
Kaynakça: arstechnica.com