Kısaca: Mayıs ayı başlarında, Google Cloud’un en kötü kabuslarından biri, utanç verici bir sorunun büyük bir müşterinin hesabını ve veri yedeklerini tamamen silmesine neden olmasıyla gerçek oldu. Şanssız kurban, 600.000’den fazla üyesi için 135 milyar dolarlık şaşırtıcı bir varlığı yöneten Avustralya emeklilik fonu UniSuper oldu. Emeklilik fonu aslında iki hafta boyunca donduruldu ve üçüncü taraf yedeklemelerden kurtulmaya çalışırken tam olarak çalışamadı.
Olay, 2 Mayıs’ta UniSuper’ın yedeklemeler de dahil olmak üzere Google Cloud’da barındırılan tüm veri ve hizmetlere erişimini aniden kaybetmesiyle başladı. Kısa bir süre sonra, iki şirket tarafından yapılan ortak açıklamada, silme işlemine “yanlış yapılandırmanın” neden olduğu kabul edildi, ancak ayrıntılar çok azdı. UniSuper, tam bir restorasyonu tamamladıktan sonra ancak 15 Mayıs’ta tekrar çevrimiçi olabildi.
Bu hafta Google nihayet tam olarak neyin yanlış gittiğini ayrıntılı olarak açıkladı. Görünüşe göre şirketten biri, UniSuper’in özel bulut hizmetlerini dahili bir araç kullanarak hazırlarken yanlışlıkla bir parametreyi boş bırakmış. Görünüşte küçük olan bu hata, UniSuper’in hesabının belirli bir sürenin ardından otomatik olarak silinmek üzere işaretlenmesi gibi feci sonuçlara yol açtı.
Google konuyla ilgili bir TL;DR yayınladı:
“Müşteri için Google Cloud VMware Engine (GCVE) Özel Bulutunun dahili bir araç kullanılarak ilk dağıtımı sırasında, bir parametrenin boş bırakılması nedeniyle GCVE hizmeti Google operatörleri tarafından yanlışlıkla yanlış yapılandırıldı. Bu, istenmeyen ve daha sonra bilinmeyen bir duruma neden oldu. Müşterinin GCVE Özel Bulutu’nun varsayılan olarak sabit bir süreye ayarlanması ve bu sürenin sonunda otomatik olarak silinmesinin bir sonucu olarak, olayın tetikleyicisi ve aşağı yöndeki sistem davranışı, bunun tekrar yaşanmayacağından emin olmak için düzeltildi.”
Hatanın ardından Google, “müşteri ve Google ekiplerinin müşterinin GCVE Özel Bulutunu kurtarmak, ağ ve güvenlik yapılandırmalarını geri yüklemek, uygulamalarını geri yüklemek ve tüm işlemleri geri yüklemek için veriyi kurtarmak için birkaç gün boyunca 7/24 çalıştığını” belirtiyor.
Google ayrıca, bunun Google’ın dahili araçları aracılığıyla yanlışlıkla yapılan bir silme işlemi olması nedeniyle herhangi bir “müşteri bildiriminin” tetiklenmediğini de kabul etti. Bütün olay UniSuper için şok olmuş olmalı.
Bununla birlikte, ArsTechnica’nın işaret ettiği gibi, UniSuper’in Google Cloud Storage’da depolanan yedeklerinin gerçekten silinip silinmediğine dair çelişkili bilgiler vardı. Başlangıçta UniSuper, Google yedeklemelerinin de kaybolması nedeniyle üçüncü taraf yedeklemelere güvenmesi gerektiğini iddia etti. Ancak Google’ın blogu, bulut yedeklemelerinin etkilenmediğini ve restorasyonda “etkili” olduğunu belirtiyor.
Google, bunun bir daha asla yaşanmamasını sağlamak için geniş “düzeltme” adımları sözü verdi. Sorunlu dahili aracı etkisiz hale getirdiler ve bu işlevselliği müşteri kontrollü arayüzlere taşıdılar. Ayrıca veritabanlarını da temizlediler ve başka hiçbir Google Cloud hesabının silinmek üzere uygun şekilde yapılandırılmadığını doğruladılar.
Şirket, geçici silme, önceden bildirimler ve insan onayı kontrolleri dahil olmak üzere güçlü silme önlemlerinin mevcut olduğunu yineledi.
Milyonlarca bulut müşterisi için kesinlikle endişe verici bir olay, ancak Google bunun tek bir müşteriyi etkileyen “münferit bir olay” olduğunu vurguladı. Diğer Google Cloud müşterilerini kendiliğinden doğrulama buharlaşması riskine sokan sistemik bir sorun olmadığı konusunda ısrar ediyorlar.