Yerel bilgisayarınızda büyük dil modellerini çalıştırmanıza olanak tanıyan Ollama, yapay zeka alanındaki en son gelişmeleri Mac kullanıcılarıyla buluşturdu. Şirket, Apple'ın açık kaynaklı makine öğrenimi çatısı MLX için destek eklediğini duyurdu. Bu yenilik, aynı zamanda iyileştirilmiş önbellek performansı ve Nvidia'nın NVFP4 formatını destekleyerek bazı modellerde hafıza kullanımını daha verimli hale getiriyor.
Bu gelişmeler, özellikle Apple Silicon çipli (M1 ve sonrası) Mac'lerde performansta gözle görülür bir artış vaat ediyor. Yerel modellerin popülerliğinin giderek artmasıyla bu yeniliklerin zamanlaması da oldukça isabetli görünüyor. Araştırmacı ve hobi topluluklarının ötesinde de yerel modellerin kullanımı yaygınlaşmaya başlıyor.
Son dönemde GitHub'da 300.000'den fazla yıldıza ulaşan ve özellikle Çin'de büyük ilgi gören bazı yapay zeka projelerinin popülerleşmesiyle birlikte, birçok kullanıcı kendi makinelerinde model çalıştırma konusunda deneyler yapıyor. Bu durum, geliştiricilerin bulut tabanlı araçlardaki hız sınırlamaları ve yüksek abonelik maliyetlerinden duyduğu rahatsızlıkla birleşince yerel kodlama modelleri üzerinde yapılan deneyler daha da hız kazandı. Ollama'nın bu gelişmelere ek olarak Visual Studio Code entegrasyonunu da genişlettiğini belirtmekte fayda var.
Yeni MLX desteği şu anda önizleme aşamasında (Ollama 0.19 sürümüyle) ve şimdilik yalnızca bir modeli destekliyor: Alibaba'nın Qwen3.5 modelinin 35 milyar parametreli varyantı. Donanım gereksinimleri ise ortalama kullanıcılar için oldukça yüksek. Bu özelliği kullanabilmek için Apple Silicon çipli bir Mac'e sahip olmakla birlikte en az 32 GB RAM'e ihtiyaç duyuluyor.
Ayrıca, Ollama artık Apple'ın M5 serisi GPU'larındaki yeni Nöral Hızlandırıcılarından faydalanıyor. Bu sayede en yeni Mac'ler, saniye başına işlenen token (token per second) ve token başına düşen süre (time-to-token) açısından önemli avantajlar elde edecek.
Yerel modeller henüz kıyaslamalarda en gelişmiş modellerin gerisinde kalsa da, kullanıcıların normalde abonelik ücreti ödeyerek eriştiği bazı görevler için yeterli hale gelmeye başlıyor. Elbette, bulut tabanlı hizmetlere kıyasla yerel model çalıştırmanın gizlilik avantajları da bulunuyor. Ancak, modellere sisteminize derin erişim imkanı tanıyan bazı aşırı kurulumlardan kaçınılması gerektiği unutulmamalıdır. Mevcut engeller arasında kurulum kolaylığı (Ollama öncelikli olarak komut satırı aracı olsa da farklı arayüzler de mevcut) ve özellikle video belleği gibi donanım yetenekleri yer alıyor.
Apple'ın MLX çerçevesi, GPU ve CPU arasında paylaşılan Apple çiplerinin belleğine optimize edilmiş erişim sağlıyor. Bu, Ollama'nın daha önce odaklandığı, özel GPU'lara sahip masaüstü makinelerden farklı bir yaklaşım. Bu yenilik, bulut modelleri ile yerel modeller arasındaki farkı çoğu kullanıcı için tamamen kapatmasa da, modern Mac kullanıcıları için doğru yönde atılmış potansiyel bir adım olarak görülüyor.
Ollama, MLX desteğinin önizleme aşamasından ne zaman çıkacağına ve daha fazla modele ne zaman genişleyeceğine dair bir zaman çizelgesi paylaşmadı.
