Microsoft araştırmacıları, yapay zeka dünyasında dikkat çekici bir adım attı. Açık kaynaklı olarak sunulan BitNet b1.58 2B4T adlı yeni büyük dil modeli (LLM), iki milyar parametreye sahip olmasına rağmen, kullandığı yenilikçi teknoloji sayesinde günümüzdeki pek çok modelden çok daha verimli çalışıyor.
Bu modelin en büyük özelliği, geleneksel 32-bit veya 16-bit kayan nokta formatları yerine 1-bit (teknik olarak -1, 0 ve +1 değerlerini desteklediği için 1.58-bit) ağırlıklar kullanması. Bu durum, modelin çok daha az bellek ve hesaplama gücü gerektirmesini sağlıyor. Öyle ki, bu modelin modern bilgisayarların işlemcileri (CPU) üzerinde bile verimli bir şekilde çalışabileceği belirtiliyor.
Daha büyük ve karmaşık modellerle karşılaştırıldığında doğruluk açısından bazı ödünler verebilse de, BitNet b1.58 2B4T, eğitildiği devasa veri seti (33 milyondan fazla kitaba eşdeğer olduğu tahmin ediliyor) sayesinde bu farkı kapatmayı başarıyor. Araştırmacıların yaptığı karşılaştırmalarda, benzer boyutlardaki diğer önde gelen modellerle rekabetçi sonuçlar elde ettiği ve hatta bazı testlerde öne geçtiği görülüyor.
Özellikle dikkat çekici olan, modelin bellek kullanımı. Yapılan testlerde yalnızca 400 MB bellek tükettiği gözlemlendi. Bu rakam, karşılaştırılan diğer en küçük modelin kullandığı 1.4 GB'tan (yani %30'undan) bile oldukça düşük.
Ancak bu yüksek verimliliği elde etmek için modelin özel olarak geliştirilmiş bir çıkarım çatısı (inference framework) ile kullanılması gerekiyor. Araştırmacılar, standart yapay zeka kütüphaneleriyle kullanıldığında aynı performans artışının gözlemlenmeyeceğini vurguluyor.
Bu özel çıkarım çatısı, CPU üzerinde hızlı ve kayıpsız çıkarım yapmayı destekliyor. Gelecekte NPU ve GPU desteğinin de ekleneceği belirtiliyor. Bu durum, pahalı ve güçlü donanımlara ihtiyaç duymadan, standart bir bilgisayar ile yapay zeka modelleri üzerinde çalışmak isteyen herkes için büyük bir fırsat sunuyor.
Yapay zeka modellerinin eğitimi ve çalıştırılması genellikle büyük enerji tüketimi nedeniyle eleştiriliyor. Ancak BitNet b1.58 2B4T gibi hafif ve verimli modeller, yapay zekayı daha ulaşılabilir hale getirebilir. Büyük veri merkezlerine olan bağımlılığı azaltabilir ve en yeni işlemcilere veya en güçlü grafik kartlarına sahip olmayan kişilerin bile yapay zeka teknolojilerinden faydalanmasına imkan tanıyabilir.
