Yapay zeka teknolojilerinin hızla geliştiği günümüzde, işlemci (CPU) talebinde yaşanan artış, bulut bilişim devlerini de harekete geçirdi. Amazon Web Services (AWS), bünyesindeki mühendislerin bulut sunucularını (EC2 instance'ları) gereksiz yere kullanmalarına karşı bir önlem aldı. Edinilen bilgilere göre AWS, bu ay içerisinde mühendisleriyle bir araya gelerek, müşteri taleplerini karşılamak için yeterli CPU kapasitesine sahip olunduğundan emin olmak adına CPU israfını azaltmaları yönünde bir uyarıda bulundu.
Bu durum, veri merkezlerinde CPU'lara olan talebin rekor seviyelere ulaşmasıyla aynı zamana denk geliyor. Geleneksel olarak grafik işlemci (GPU) ile CPU arasındaki 8'e 1 veya 4'e 1 olan oran, CPU'ların lehine değişmeye başladı.
EC2 örnekleri, günümüz internetinin önemli bir bölümünü oluşturuyor ve özel dağıtımlarda da kullanılıyor. Geleneksel olarak, AWS mühendisleri geliştirme süreçleri için kendi örneklerini oluşturabiliyor ve web altyapısı için nispeten düşük CPU kullanımından yararlanarak daha fazla sanal makine kullanabiliyorlardı. Ancak şimdi, mühendisler daha önce saatler içinde alabildikleri örneklere erişim için günler beklemek zorunda kaldıklarını belirtiyorlar. Bir mühendis, Amazon'da yıllardır çalışmasına rağmen böyle bir bekleme süresiyle ilk kez karşılaştığını ifade etti.
Amazon, EC2 örneklerinde AMD ve Intel seçenekleri ile birlikte kendi geliştirdiği yeni nesil Graviton5 çipi gibi farklı türde CPU'lar kullanıyor. Graviton5, Arm tabanlı bir mimari kullanarak Amazon'un şu ana kadarki en güçlü CPU'su olma özelliğini taşıyor.
CPU'lara olan artan talep, üretkenlikte yeni bir çağ başlatan yapay zeka ajanlarından kaynaklanıyor. Hatta Amazon gibi dev şirketler bile bu yeni döneme adapte olmakta zorlanıyor. Geçtiğimiz ay, bir kodlama ajanı, Amazon'da sadece küçük bir kodlama görevi için 1.8 milyon dolarlık token maliyetiyle, geliştirme bütçesini %860 aşmıştı.
Mevcut yapay zeka altyapısının büyük bir kısmı, GPU'lar tarafından hızlandırılan çıkarım (inference) iş yükleri üzerine kurulu. Dört'e bir oranında GPU'lar baskınken, CPU'lar sadece GPU'ları beslemek için kullanılıyordu. Ancak yapay zeka ajanlarının iş yükleri çok daha karmaşık. Sık sık CPU üzerinde çalışan araç çağrılarını ve GPU'lardaki çıkarımların daha karmaşık düzenlenmesini içeriyorlar. Bu durum, yapay zeka ajanları çağında CPU'ları ön plana çıkardı. Intel, AMD ve diğer şirketler, bellek ve depolama şirketlerinden duyduklarımızı doğruluyor: CPU'lara olan talep o kadar yüksek ki, çoğu şirket ne bulursa alacak durumda.
Pazardaki büyük oyuncular bu talepten faydalanıyor. AMD, veri merkezleri için Zen 6 'Venice' CPU'larını tanıttı. Bu, AMD'nin on yıllardır ilk kez istemci pazarından önce veri merkezi için yeni bir mimari piyasaya sürmesi anlamına geliyor. Nvidia da mesajını hızlandırıcılardan uzaklaştırıp yeni Vera CPU'suna kaydırarak, genişleyen yapay zeka altyapısı pazarında yer kapmaya çalışıyor.
Amazon, hem iç mühendisleri hem de dış müşterileri için CPU kapasitesiyle mücadele ederken, edinilen bilgilere göre sıkıntılar büyük ölçüde spot örneklerde yaşanıyor. Bir danışman, sözleşmeli kapasitede herhangi bir sıkıntı yaşanmadığını belirtti.
