Yapay zeka destekli teknolojilerle etkileşimden kaçınmak artık neredeyse imkansız hale geldi. Apple'ın uzun süredir beklenen yapay zeka destekli Siri'si, yapılan bir anlaşmayla bu yılın ilerleyen dönemlerinde Google'ın Gemini dil modelleriyle güçlendirilecek. Dünya Geliştiriciler Konferansı'na (WWDC) yaklaşırken, Apple akıllı telefonların sınırlı işlem gücüne büyük yapay zeka yeteneklerini entegre etme konusunda yoğun bir çalışma yürütüyor.
Apple, yapay zeka işlemlerini yerel olarak çalıştırmanın gizlilik açısından önemini vurgulasa da, yeni raporlar iPhone'daki Gemini entegrasyonunun büyük ölçüde Google ve Nvidia'nın bulut altyapısına dayanacağını gösteriyor. Yapılan haberlere göre, Gemini destekli Siri hem cihaz üzerinde hem de bulutta çalışacak. Bu durum, Apple'ın yerel yapay zeka önceliğiyle çelişiyor gibi görünüyor.
Her yeni çip duyurusunda, işlemcilerin yapay zeka için optimize edildiği belirtiliyor. Ancak akıllı telefonlar, büyük yapay zeka modellerini çalıştırmak için gereken donanıma her zaman tam olarak sahip değil. Telefonlardaki Grafik İşlem Birimleri (GPU'lar), Yapay Zeka Odaklı Ağ İşlem Birimleri'nden (NPU) daha fazla yapay zeka belirtecini işleyebiliyor. Apple'ın Neural Engine gibi bileşenleri, verimli ve bağlamsal yapay zeka işlemleri için tasarlanmış olsa da, devasa modelleri bellekte tutmak için yeterli RAM'e sahip değiller.
En büyük yapay zeka modelleri bile hala orta düzeyde asistanlar olarak kabul ediliyor ve bu da yerel yapay zekayı oldukça zorlu hale getiriyor. Telefonlarda çalışan yapay zeka modelleri fiziksel olarak daha küçük olup, en fazla birkaç milyar parametreye sahip oluyor. Buna karşılık, Google'ın en yeni Gemini modelleri milyarlarca parametreye sahip. Cihaz içi yapay zeka modelleri aynı zamanda daha düşük hassasiyette çalışacak şekilde "nicemleniyor" (quantized), bu da onları daha hızlı hale getiriyor ancak belirteç üretiminin doğruluğunu etkileyebiliyor. Tüm bunlar, bulut tabanlı kardeşlerinden daha az akıllı hissettiren yapay zekalara yol açıyor ve hatta büyük bulut tabanlı modeller bile bazen oldukça yetersiz kalabiliyor.
Küçülen Harika Gemini
Google'ın mobil cihazlar için optimize edilmiş, Gemini Nano adını verdiği sürümleri mevcut. Ancak bunlar Sihirli Vurgu ve ses özetleme gibi bağlamsal özellikleri desteklemek üzere tasarlandı. Siri ise, konuşulanları anlayıp komutları yerine getiren bir sohbet asistanı olması bekleniyor. Bu, farklı bir model türü gerektiren farklı bir deneyimdir. Android'de Google, bunu yerel olarak yapmayı bile denemiyor. Gemini ile konuşmak her zaman doğrudan buluta bağlanır.
Google ile anlaşma yapıldıktan sonra Apple, Google'ın devasa bulut tabanlı Gemini modellerini damıtmak için çalışmalara başlamış görünüyor. Damıtma, küçük ve daha az kaynak gerektiren bir modelin büyük ve pahalı bir modeli taklit etmeyi öğrendiği bir süreçtir. Yeterli zamanla, bu süreç önemli olmayan ağırlıkları budayarak kullanışlı yetenekleri güvenilir bir şekilde aktarabilir. Bu, Siri'nin bazı görevleri özel yerel işlem gücüyle yerine getirmesine olanak tanıyabilir, ancak bir bulut bileşeni kaçınılmaz görünüyor.
Kullanıcıların yapay zeka verilerini bulutta işlemek Apple için bir sorun teşkil edebilir. WWDC'de şirket, yıllarca süren çip tasarım deneyimini ve bunun yapay zeka için ne kadar iyi bir konum sağladığını muhtemelen vurgulayacaktır. Ancak, yapılan haberlere göre Apple'ın, M serisi Mac çipler üzerine kurulu özel Bulut İçi Hesaplama (Private Cloud Compute) altyapısında Google'ın devasa, damıtılmamış Gemini modellerini çalıştırmakta bile zorlandığı iddia ediliyor.
Daha akıllı Siri piyasaya sürüldüğünde, muhtemelen daha karmaşık görevleri Apple'ın yerine Google'ın bulut altyapısına yönlendirecektir. Ancak bu, Google'ın TPU'ları üzerinde çalışmayacaktır. Apple'ın bu amaçla Nvidia'nın Gizli Hesaplama (Confidential Computing) platformunu kullanmak üzere Nvidia ile bir anlaşma imzaladığı bildiriliyor. Gizli Hesaplama, verileri bulutta işlenirken Nvidia GPU'larında şifreli tutar, bu da Apple'ın kullanıcı gizliliği endişelerine hala duyarlı olduğunu iddia etmesine yardımcı olabilir. Hatta sistem için kendi Bulut İçi Hesaplama markalamasını bile koruyabilir.
iPhone muhtemelen size hangi Gemini sürümünün bireysel Siri isteklerini işlediğini söylemeyecektir. Yerel ve bulut tabanlı yapay zekaya dayanan hibrit sistemler tasarlayan cihaz üreticileri, deneyimin "kesintisiz" hissettirmesi hakkında konuşmayı severler. Ancak ipuçları olabilir.
Büyük yapay zeka modellerinin yavaşlığına hepimiz aşinayız; belirteçleri üretirken uzun süreler boyunca işlem yapabilirler. Nvidia'nın tam şifreli Gizli Hesaplama'sı, diğer yapay zeka seçeneklerine kıyasla işlem hızını düşürür. Kullanıcılar, Siri'nin uzak bir sunucuyla konuşması gerektiğinde bunu daha belirgin bulabilirler, ancak en iyi modeller yalnızca milyonlarca dolarlık sunucularda çalışabildiğinde yerel yapay zeka sizi yalnızca bir yere kadar götürecektir.
