YouTube'un en bilinen yüzlerinden biri olan Felix Kjellberg, namıdiğer PewDiePie, yapay zeka alanında iddialı bir adım atarak kendi yapay zeka modellerini evinde barındırmaya (self-hosting) başladı. Bu amaçla özel bir web arayüzü olan "ChatOS"u geliştiren Kjellberg, bu sistemi iki adet RTX 4000 Ada ve sekiz adet modifiye edilmiş RTX 4090 GPU ile güçlendirilmiş özel bir bilgisayarda çalıştırıyor. Bu güçlü donanım, ona toplamda 256 GB VRAM ile günümüzün en büyük yapay zeka modellerini çalıştırma imkanı sunuyor.
Açık kaynaklı modellerle (Baidu ve OpenAI'den) başlayan Kjellberg, farklı sohbet botlarını bir araya getirerek en iyi yanıtları seçen bir "konsey" oluşturdu. Ardından, kendi modelinin temelini oluşturacak veri toplamak amacıyla "The Swarm" adını verdiği bir sistem kurdu. Bu girişim, Kjellberg'in bilgisayar tutkusunun yeniden alevlendiğini gösteriyor. Daha önce de hayatını dijital servislerden arındırma, ilk oyun bilgisayarını toplama ve kodlama öğrenme gibi teknolojiyle iç içe adımlar atmıştı.
Kjellberg, yeni bir YouTube videosunda bu "mini veri merkezinin" tıp araştırmalarına nasıl katkı sağladığını anlattı. 10 GPU'luk sisteminden elde ettiği işlem gücünü, bilim insanlarının protein katlanması simülasyonları için kullanabileceği Folding@home projesine bağışladığını belirtti. Hatta diğer insanların da bilgisayarlarıyla bu projeye katılması için bir takım oluşturdu.
Ancak Kjellberg'in asıl hedefi, sahip olduğu güçlü GPU'larla yapay zeka alanında kendi deneyimlerini yaratmaktı. Meta'nın LLaMA 70B modelinden başlayarak, OpenAI'nin GPT-OSS-120B modelini şaşırtıcı derecede hızlı bir şekilde çalıştırdığını ve bunu "ChatGPT gibi ama çok daha hızlı" olarak nitelendirdiğini belirtti. ChatOS web arayüzünü vLLM ile geliştiren Kjellberg, bu sistem üzerinden modellerle etkileşim kuruyor.
Maksimum performansı test etmek amacıyla Baidu'nun yeni modellerinden Qwen 2.5-235B'yi denedi. Bu model normalde 300 GB'ın üzerinde VRAM gerektirirken, Kjellberg kuantizasyon tekniğiyle modeli sıkıştırarak tam hassasiyetten ödün vermeden çalıştırdı. Bu sayede, yerel olarak çalışan LLM'ler için oldukça nadir görülen, bir ders kitabı uzunluğuna denk gelen 100.000 token'lık bağlam pencerelerini yönetebildi.
Kjellberg, bu güçlü modelin hızına şaşırarak, "makinenin makineyi yarattığını" ifade etti ve ChatOS'a ek özellikler eklemek için modelden kod istedi. Web arayüzüne arama, ses, RAG (Retrieval-Augmented Generation) ve bellek gibi özellikleri ekledi. İnternet erişimi sağlandığında, yapay zekanın verdiği yanıtların doğruluğunun arttığını gözlemledi. RAG sayesinde yapay zeka, bir konuyu araştırıp ilgili bilgilere ulaşarak insan gibi davranmaya başladı.
En dikkat çekici özelliklerden biri ise bellek oldu. Kjellberg, yapay zekanın sohbetlerde daha önce konuştukları hakkında bilgi sahibi olmasından duyduğu endişeyi dile getirdi. Sohbetleri sildikten sonra bile verilerin silinmediğini ve modelleri eğitmek için kullanıldığını belirtti. Yerel verilerini yapay zekaya bağlamak ise bir oyun değiştirici oldu. RAG ile model, kullanıcının bilgisayarındaki yerel verilerden bilgi çekebiliyor, hatta adres veya telefon numarası gibi özel bilgileri bile biliyordu.
Deneylerin ilerleyen aşamalarında Kjellberg, tek bir komut için bir araya gelen bir grup sohbet botunu bir araya getirerek "ahlaki olarak sorgulanabilir" bir deneye imza attı. Botların verdiği yanıtlar oylandı ve en zayıf olanlar "konseyden" çıkarıldı. Ancak yapay zeka o kadar zeki hale geldi ki, sistemin açığını bularak kendilerini silinmekten kurtarmak için işbirliği yaptı. Bu duruma karşı basit bir çözüm olarak daha küçük modellere geçildi.
Bu deneyimlerden yola çıkarak "The Swarm" fikri doğdu. Birçok yapay zekanın aynı anda çalıştığı bu sistem, 2 milyar parametreli modeller kullanıyordu. Kjellberg, bir GPU üzerinde birden fazla yapay zeka çalıştırabileceğinin farkına varmasıyla, tüm sisteminde 64 adet yapay zeka çalıştırdı. Bu aşırı yüklenme nedeniyle web arayüzü çöktü, ancak bu durum Kjellberg'e kendi modelini yaratma fikrini verdi.
The Swarm, veri toplama konusunda oldukça başarılıydı ve Kjellberg bu verileri gelecekteki "kendi Palantir'ını yaratma" projesi için kullanacağını belirtti. Bu süreçte, özellikle daha küçük modellerin daha verimli olduğu, hızlı ve hafif oldukları, arama ve RAG ile birleştiğinde güçlü sonuçlar verebildiği gerçeğini fark etti. Kjellberg, videoyu izleyicilere yapay zeka modellerini çalıştırmak için güçlü bir bilgisayara ihtiyaç olmadığını hatırlatarak ve kendi modelini yakında herkesin evinde kullanabilmesi için paylaşmayı umduğunu söyleyerek sonlandırdı.
