Bu hafta ilk büyüleyici görüntülerini yayınlayan Vera C. Rubin Gözlemevi'nin toplayacağı veri miktarı, daha önceki tüm teleskopların sağladığı verileri katlayacak nitelikte. Bu durum, gökbilimcileri bulut bilişime yönlendirmenin yanı sıra, yedi özel veri aracısı ve bir 'veri kahyası'nın yardımını almaya itti.
Tamamen faaliyete geçtiğinde, Rubin Gözlemevi her gece 20 terabayt (TB) veri toplayacak. Bu verileri analiz ederek gökbilimcilere 10 milyon uyarı gönderecek. Bu devasa uyarılar, daha yönetilebilir hale getirilmek üzere 'veri aracısı' adı verilen sistemler tarafından filtrelenecek.
Rubin için veri yönetimi ekibinden bir bilgisayar bilimci, "Veri miktarı açısından önceki teleskoplardan en az on kat daha büyüğüz," şeklinde açıklıyor.
Önümüzdeki 10 yıl boyunca, Rubin'in Uzay ve Zaman Miras Araştırması yaklaşık 500 petabayt (PB) veri toplayacak; bu, yarım milyon 4K-UHD Blu-ray diske eşdeğer bir miktar. Teleskop tarafından toplanan veriler, Şili'de bulunan Rubin Gözlemevi ile Kaliforniya'daki büyük bir veri merkezi arasında özel bir ağ bağlantısı üzerinden iletilecek. Buradan, tüm ham verilerin bir kopyası Fransa'daki bir hesaplama tesisine ve verilerin bir kısmı da Birleşik Krallık merkezli dağıtılmış bir bilgi işlem ağına gönderilecek.
Veri işleme, bu üç ana veri merkezi arasında paylaşılacak: Yüzde 35'ini bir merkez, yüzde 40'ını diğeri ve yüzde 25'ini Birleşik Krallık'taki ağ üstlenecek. (Şili'de de gözlemevi içinde yerel gökbilimcileri destekleyen mütevazı bir veri merkezi bulunuyor.) Birden fazla veri merkezinin olması sadece veri kaybını önleyen bir yedeklilik sağlamakla kalmıyor, aynı zamanda bir merkez işlemede geriye düşerse diğerleri ona destek olabiliyor. Zira gökbilimciler için asıl önemli olan, ilginç uyarılara mümkün olan en kısa sürede müdahale edebilmek için önemli verilere hızla ulaşmak.
Veri yönetimindeki bir isim, bu yoğun talebi esprili bir dille şöyle ifade ediyor: "En büyük zorluğum, gökbilimcilerin sürekli verilerini talep etmesi!"
Bu muazzam veri miktarı, gökbilimciler için sadece günümüzde değil, onlarca yıl gelecekte de paha biçilmez bir kaynak olacak.
Peki, bu kadar çok verinin içinde arama nasıl yapılacak?
Bir uzman, durumu akıllı telefonunuzda bir fotoğraf arama benzetmesiyle açıklıyor: "Telefonunuz muhtemelen son beş on yılda çektiğiniz fotoğraflarla dolu ve iki yıl öncesine ait o bir fotoğrafı bulmak genellikle sayfalarca gezmeyi gerektirir, parça parça bir yaklaşımdır. Şimdi telefonunuzda 1,5 milyon fotoğraf olduğunu ve hepsinin 10.000 piksel genişliğinde olduğunu hayal edin; sadece kaydırarak bulma şansınız olmaz." Bu benzetmeyi Rubin veri setine uyarlarsak, çözüm, tüm bu görüntülerin erişilebilir açıklamalarını sağlayarak gökbilimcilerin aradıklarını nispeten kolaylıkla bulmalarını sağlamak. Rubin'in veri işleme yönteminin önceki teleskoplardan farklı olmasının nedenlerinden biri de bu. Daha önce gökbilimciler ihtiyaç duydukları veri parçalarını çok karmaşık olmadan indirebiliyorlardı. Ancak Rubin'in veri seti indirmek için basitçe çok büyük, bu yüzden her şey 'bulutta' saklanıyor.
Rubin veri seti, 'Veri Kahyası' adı verilen bir servis tarafından yönetiliyor. Bu servis, tüm meta verileri – yani verinin verisini (zaman, tarih, gökyüzü koordinatları, görüntüde ne olduğu gibi) – kaydediyor.
Bir uzman, "Bir gökbilimci, astronomik objeler, zaman ölçekleri veya koordinat sistemleri hakkında astronomi terimleriyle istedikleri hemen her sorguyu yapabilir ve Veri Kahyası onlara ihtiyaç duydukları bilgiyi getirir," diyor.
Bu uzun vadeli araştırmalar için geçerli, ancak bir de geçici olaylar var: hareket eden nesneler, geceleri belirip gökbilimcileri peşinden koşturmaya iten ve solmadan önce takip edilmesi gereken olaylar. Bunlar arasında süpernovalar, kütleçekimsel dalgalar üreten kilonovalar, novalar, parlayan yıldızlar, tutulma gösteren ikili yıldızlar, magnetar patlamaları, gökyüzünde hareket eden asteroitler ve kuyruklu yıldızlar, kuasarlar ve hatta daha önce hiç görülmemiş yeni nesne türleri bulunabilir. Rubin, her gece tahmini olarak 10 milyon uyarı üretecek ve her uyarıyı teleskop tarafından tespit edildikten sonra iki dakika içinde yayınlayacak. Veri Kahyası'nın yardımıyla bile, gökbilimciler tüm bu uyarıları nasıl eleyip en önemlilerini takip için ayırabilirler? İşte burada yedi farklı 'veri aracısı' devreye giriyor. Farklı ülkelerdeki bilim insanları tarafından işletilen bu aracılar, 10 milyon uyarının tamamını işleyecek (ayrıca belirli bilimsel hedefleri olan iki ek aracı da 10 milyon günlük uyarının bir alt kümesi üzerinde çalışacak). Örneğin, otomatik öğrenmeyle hızlı olay sınıflandırması yapan bir aracı ve temporal analiz ve olaylara yanıt sistemleriyle ilgilenen başka bir aracı bulunuyor. Birleşik Krallık'tan bir aracı ise özellikle geçici olaylara odaklanıyor.
Veri aracılarını, gökbilimcilerin uyarıları elemek ve en çok ilgilendikleri olayları seçmek için kullanabilecekleri bir dizi filtre olarak düşünebilirsiniz. Bazı aracılar makine öğrenimi ve yapay zeka algoritmaları kullanırken, veriyi hızlı bir şekilde işlemek için daha geleneksel modelleme yöntemleri de kullanılıyor. Uzmanlar, "Gökbilimciler bir veri aracısına kaydolabilir, ilgilendikleri şeyleri tanımlayabilir ve uygun tanımlamalarla her gece gelen 10 milyon uyarının belki iki veya üçe indirgenmesini umabilirler," diye belirtiyor.
Diğer 9.999.998 uyarının değersiz olduğu anlamına gelmiyor bu. Belki gökbilimcinin o anki ilgi alanına girmiyorlar ya da özel bir takip gerektirecek kadar benzersiz değiller, ancak her nesne türü için istatistiksel verilere önemli katkı sağlıyorlar.
Rubin, Güney Yarımküre gökyüzünün dörtte birini her gece tarayacak, her şeyi görecek ve hiçbir şeyi kaçırmayacak. Belki de bu, tüm araştırmaların sonu olacak, daha fazla veri üretecek daha büyük bir araştırma asla olmayacak diye düşünebilirsiniz. Ancak, aynı uzman, Güney Afrika ve Avustralya'da bulunan devasa radyo teleskop dizisi Square Kilometre Array (SKA) için de veri yönetimi ekibinde yer alıyor. Rubin için geliştirilen teknikler ve edinilen dersler, SKA'nın veri işleyişini çok daha sorunsuz hale getirmeye yardımcı oluyor. "Rubin'in veri setinin boyutu, SKA tarafından fazlasıyla aşılacak; SKA, Rubin'den bir kez daha kat kat daha büyük olacak," diye ekliyor. Anlaşılan o ki, her zaman daha büyük bir balık var!
