Günümüzde veri merkezlerinin hızla genişlemesi ve yapay zeka (YZ) kullanımındaki patlama, ABD'de enerji tüketiminde önemli bir artışa neden oldu. Özellikle artan kömür kullanımıyla birlikte, YZ'nin çevresel etkisi endişe verici boyutlara ulaşmaya başladı. Bu durum, YZ modellerinin enerji gereksinimlerini doğru bir şekilde anlamayı zorlaştırıyor.
Ancak Google, bu alanda önemli bir gelişmeyi duyurdu. Kendi veri merkezlerinden elde ettiği bilgilerle hazırladığı yeni analiz, YZ sorgularının enerji maliyetinin son bir yılda 33 kat düştüğünü ortaya koyuyor. Bu, YZ'nin çevresel etkisine dair mevcut tahminlerin sürekli değiştiğinin bir göstergesi.
Analizde Neler Yer Alıyor, Neler Dışında Kalıyor?
Bu tür analizlerde en kritik sorulardan biri, hangi faktörlerin dahil edileceğidir. İşlemcilerin bir isteği karşılarken tükettiği enerji, bellek, depolama, soğutma gibi destekleyici unsurların enerji ihtiyacı ve hatta donanımın üretimi ile tesislerin inşasının çevresel maliyetleri bu hesaplamada önemlidir. Ayrıca YZ modellerinin eğitimi sırasında harcanan enerji de tekil sorgulara bir miktar yansıyabilir.
Geçmişte yapılan birçok analiz, bu faktörlerin bir kısmını atlamıştır çünkü analiz yapan kişilerin ilgili verilere erişimi olmamıştır. Örneğin, belirli bir göreve ne kadar işlemci ayrılması gerektiğini veya bunların üretiminden kaynaklanan karbon emisyonlarını bilmek zordur.
Google ise bu konuda kapsamlı verilere sahip. Yeni analizinde, CPU'lar, özel YZ hızlandırıcıları ve belleklerin hem aktif kullanımda hem de bekleme durumundayken tükettiği enerjiyi takip ediyor. Ayrıca veri merkezlerinin genel enerji ve su tüketimini, içindeki diğer bileşenleri ve YZ sorgularına ayrılan payı da hesaba katıyor. Elektrik tedarikinin karbon emisyonları ve kullanılan tüm donanımların üretiminden kaynaklanan emisyonlar da izleniyor.
Analize dahil edilmeyen üç ana faktör bulunuyor. Bunlardan ilki, istekleri almak ve sonuçları iletmek için kullanılan ağ kapasitesinin çevresel maliyeti; bu, isteğe göre büyük farklılıklar gösterebilir. Benzer şekilde, son kullanıcı donanımındaki hesaplama yükü de bir oyun bilgisayarı kullanan biriyle akıllı telefon kullanan biri arasında büyük farklılıklar gösterir. Google'ın makul bir tahmin yapabileceği ancak dahil etmediği bir diğer konu ise modellerin eğitimi sırasındaki etkisidir. Bu alandaki enerji maliyetlerini bildiği ve eğitilmiş bir modelin kullanım ömrü ile bu süre zarfında işlenen sorgu sayısına dair makul tahminler yapabileceği düşünüldüğünde, mevcut tahminlere dahil edilmemesi dikkat çekicidir.
Ortalama rakamları elde etmek için analiz ekibi, 24 saatlik bir süre boyunca sorguları ve bunları işleyen donanımı, ayrıca bu donanımın boşta kalma sürelerini takip etti. Bu, kullanılan modele bağlı olarak değişen, sorgu başına enerji tahminleri sağlıyor. Her gün için medyan istemi belirleyerek çevresel etkiyi hesaplıyorlar.
Düşüş Eğilimi
Bu tahminlere göre, bireysel metin sorgusunun etkisi oldukça küçük. "Ortalama bir Gemini Uygulamaları metin komutunun 0.24 watt-saat enerji kullandığını, 0.03 gram eşdeğer karbondioksit (gCO2e) yaydığını ve 0.26 mililitre (yaklaşık beş damla) su tükettiğini tahmin ediyoruz," şeklinde sonuçlanan analiz, enerji kullanımının yaklaşık dokuz saniyelik bir televizyon izleme süresine benzediğini belirtiyor.
Ancak, sorgu hacminin çok yüksek olması olumsuz bir durum. Şirket, birkaç yıl önce var olmayan bir hesaplama talebi olan her arama isteğiyle bir YZ işlemi yürütmeyi seçmiş durumda. Dolayısıyla, bireysel etki küçük olsa da kümülatif maliyetin önemli olması muhtemeldir.
Peki iyi haber ne mi? Bir yıl öncesine göre çok daha kötü bir durum olabilirdi.
Bu gelişmelerin bir kısmı şans faktörüne de dayanıyor. ABD'de ve diğer yerlerde güneş enerjisindeki artış sayesinde Google'ın yenilenebilir enerji kaynaklarından güç sağlaması kolaylaştı. Sonuç olarak, tüketilen enerji başına düşen karbon emisyonları geçen yıla göre 1.4 kat azaldı. Ancak en büyük kazanımlar yazılım tarafında elde edildi; farklı yaklaşımlar sayesinde, komut başına tüketilen enerji 33 kat azaldı.
Google ekibi, bu duruma katkıda bulunan bir dizi optimizasyonu detaylandırıyor. Bunlardan biri, belirli istekleri karşılamak için yalnızca bir YZ modelinin gerekli bölümünü aktive etmeyi hedefleyen "Uzmanlar Karışımı" (Mixture-of-Experts) yaklaşımıdır. Bu, hesaplama ihtiyacını 10 ila 100 kat azaltabilir. Ayrıca, ana modellerinin daha kompakt sürümlerini geliştirerek hesaplama yükünü azaltmışlardır. Veri merkezi yönetimi de rol oynuyor; şirket, aktif donanımın tam olarak kullanılmasını sağlarken, geri kalanların düşük güç durumunda kalmasına izin veriyor.
Diğer bir önemli nokta ise Google'ın kendi özel YZ hızlandırıcılarını tasarlaması ve üzerlerinde çalışan yazılımları mimari olarak oluşturmasıdır. Bu, donanım/yazılım ikilisinin her iki tarafını da birbirleriyle iyi çalışacak şekilde optimize etmelerini sağlıyor. YZ hızlandırıcılarındaki aktivite, bir sorgunun toplam enerji kullanımının yarısından fazlasını oluşturduğundan bu durum özellikle kritik önem taşıyor. Google ayrıca, verimli veri merkezleri çalıştırma konusunda uzun yıllara dayanan deneyimini YZ ile de kullanıyor.
Tüm bunların sonucunda, tipik bir metin sorgusunun enerji tüketiminin yalnızca son bir yılda 33 kat azaldığı tahmin ediliyor. Bu durum, örneğin donanımın yapımıyla ilişkili karbon emisyonlarının, donanımın kullanım ömrü boyunca çok daha fazla sorguyu işleyebilmesi gerçeğiyle seyreltilmesi gibi dolaylı etkilere de sahip.
Bu verimlilik kazanımları göz önüne alındığında, Google'ın sonuçları basit bir halkla ilişkiler malzemesi olarak kullanması kolay olabilirdi. Ancak şirket, metodolojisini ve dikkate aldığı hususları neredeyse akademik bir yayına benzeyen bir formatta detaylandırmış durumda. Bu yaklaşımı benimsemelerinin nedeni, bu alanda çalışanların başkalarının da benzer yaklaşımları benimsemesini istemesidir. "YZ'nin yetenekleri ilerledikçe, çevresel verimliliklerinin de ilerlemesini sağlamak için bu veya benzer kapsamlı ölçüm çerçevelerinin yaygın olarak benimsenmesini savunuyoruz" şeklinde açıklıyorlar.
