Daha hızlı bellekleri ve çift Neural Engine işlemcileriyle Apple cihazları, yapay zeka modellerini çalıştırma kabiliyetlerini önemli ölçüde artırıyor. Elbette her ürünün sınırlamaları var ancak şirket, iPhone ve iPad'lerinin 14 milyar parametreli modelleri çalıştırabildiğini, Mac'lerin ise trilyon parametreli yapay zeka modellerini destekleyebileceğini belirtiyor.
Bir Mac Studio Kümesi Şu Anda 1.6 Trilyon Yapay Zeka Modelini Çalıştırabiliyor, Tek Bir Mac Studio İse 500 Milyar Parametreli Yapay Zeka Modellerine Yaklaşıyor
Apple'ın paylaştığı bir görselde, çeşitli cihazların çalıştırabileceği yapay zeka modelleri listeleniyor. 14 milyar aktif parametreye sahip en küçük yapay zeka modeli için Apple, 16 GB birleşik belleğe sahip bir iPad veya iPhone öneriyor. İlginç olan, şirketin yerel yapay zeka çıkarımı için 76 GB/s bellek bant genişliği belirttiği, ancak bazı donanımların bu sınırı zaten aştığı görülüyor.
64 GB'a kadar birleşik belleği destekleyen ve 307 GB/s'ye varan bant genişliğine sahip MacBook Air ve Mac mini'ye gelince, Apple bu makinelerin 70 milyar aktif parametreye kadar yapay zeka modellerini çalıştırabileceğini belirtiyor. En üst düzey MacBook Pro modelleri 128 GB birleşik belleği destekliyor ve bu cihazlar, aynı miktarda RAM'e sahip bazı dizüstü bilgisayarlar gibi 120 milyar parametreli yapay zeka modellerini çalıştırabiliyor.
Mac Studio'ya gelince, işler ciddileşiyor. Tam 1.2 TB/s bellek bant genişliği ile M5 Ultra çip, 512 GB'a kadar birleşik belleği destekleyebiliyor. Bu da 480 milyar parametreli modellere kadar olan yapay zeka modellerini rahatlıkla çalıştırabileceği anlamına geliyor. Yapay zeka abonelik ücretleri ödemek istemeyenler için Mac Studio, pahalı ama güvenli bir seçenek olarak öne çıkıyor.
Dört küme kurulumu ve toplamda 2 TB'a kadar birleşik bellek ile 1.6 trilyon parametreli modelleri çalıştırmak zor olmamalı. Ancak unutmamak gerekir ki, bir Mac Studio edinmek şu anda kolay değil. Apple'ın çevrimiçi mağazasında şu anda yalnızca 256 GB bellek varyantının satıldığını ve bulunduğunuz yere bağlı olarak 15-17 haftalık bir teslimat süresiyle karşılaşabileceğinizi belirtelim.
Ayrıca, 36 çekirdekli CPU, 80 çekirdekli GPU, 32 çekirdekli Neural Engine ve 1 TB SSD'ye sahip M5 Ultra versiyonu için ödemeniz gereken yaklaşık 10.700 dolarlık fiyattan bahsetmiyoruz bile. Dört kümelik bir kurulum için üç ek üniteyle birleştirdiğinizde, toplamda 43.196 dolar gibi bir rakama ulaşıyorsunuz, ancak bu bile 1 TB birleşik belleğe ulaşmıyor.
1 trilyon parametreli yapay zeka modellerini çalıştırmak için 8 kümelik bir yapılandırma gerekiyor ve bu da yaklaşık 86.392 dolara mal oluyor. Açık kaynaklı modelleri çalıştırmak için bu kadar büyük bir meblağ ödemek, en üst düzey yapay zeka modellerinden tam verim almak istediğinizde oldukça maliyetli bir seçenek haline geliyor. Apple, yerel çıkarım yapmak isteyen kullanıcılar için iyi bir rehber sunmuş olsa da, hangi yapay zeka modellerinin çalıştırılacağına ve her cihazın ne kadar kuantize edilmiş bir versiyonu destekleyeceğine dair herhangi bir örnek sunmadığını da belirtmekte fayda var.
