OpenAI'nin geliştirdiği GPT-6 Astra, yapay zeka alanında sunduğu yeniliklerle büyük ilgi görüyor. Bu teknoloji, OpenAI'nin rakiplerine kıyasla daha fazla kurumsal yatırım çekmesini sağlarken, iki buçuk yıldır süregelen bir dengeyi de değiştirdi.
OpenAI'nin GPT-6 Astra'sı, Benzersiz Döngüsel Transformatör Mimarisiyle Kurumsal Müşterilerin Gözdesi Oldu
Son verilere göre, kullanıcılar geçen hafta OpenAI modellerine, rakiplerinin modellerinden daha fazla harcama yaptı. Bu durum, yaklaşık 2,5 yıldır devam eden bir trendi tersine çevirdi.
Benzer veriler, OpenAI'nin GPT-6 Astra'sının geçen hafta kurumsal harcamalardan %13'lük bir pay aldığını, rakiplerinin ise yalnızca %8 pay alabildiğini gösteriyor.
Elbette, genel benimsenme oranında rakipler hala önde. Ancak mevcut eğilimler devam ederse, OpenAI Astra'nın gücü sayesinde önemli bir geri dönüş yapabilir.
Daha önce de belirttiğimiz gibi, OpenAI GPT-6 Astra'yı 100.000 GPU'luk bir kümede eğitti. Bu eğitimin maliyetinin 500 milyon ile 1 milyar dolar arasında olduğu tahmin ediliyor. GPT-6 Astra, bir yapay zeka aracının ihtiyaç duyduğu her uygulama için özel API'ler sunma gerekliliğini ortadan kaldırarak, insan benzeri bir şekilde herhangi bir yazılımda gezinebiliyor. Bunun için, belgeler ve sunumlar hazırlayan, çok adımlı iş akışlarını uygulayan ve sadece kullanıcıya nasıl tamamlanacağını söylemekle kalmayıp, doğrudan bu işlemleri gerçekleştiren ajanlar oluşturuyor.
Temel olarak, GPT-6 Astra'nın çekirdek mantık motoru, karmaşık problemleri çözmek için yerel bir çoklu ajan yapısı kullanıyor. Karmaşık bir görevle karşılaştığında, modelin ana orkestrasyon ajanı bir teori oluşturabilir ve paralel olarak varyasyonları test etmek ve sonuçları doğrulamak için özel alt ajanlar devreye sokabilir. Bu yerel delegasyon, modelin tekrarlayan hata döngülerine takıldığı "kıyamet döngüleri"ne karşı oldukça dirençli olmasını sağlıyor, bu da kendi kodunu otonom olarak ayıklamasına ve stratejisini anında ayarlamasına olanak tanıyor.
Dahası, elde edilen bilgilere göre OpenAI'nin GPT-6 Astra'sının döngüsel bir transformatör mimarisi kullanması oldukça muhtemel. Özetle, bir yapay zeka modeli temel olarak iki ana unsurdan oluşan bir dizi transformatör bloğu veya katmandan oluşur:
- Dikkat Katmanı, bir cümledeki kelimelerin birbirleriyle nasıl bağlandığına bakar. Örneğin, modele "Paris, Fransa'nın başkentidir" gibi bir komut verirseniz, dikkat katmanı 'başkent' kelimesini 'Fransa' ile ilişkilendirir ve 'Paris'i cevap olarak belirler. Ancak bu katman, Fransa veya Paris'in ne anlama geldiğini bilmez, ancak bu notları KV önbelleği şeklinde saklar. Bağlam arttıkça, KV önbelleği de artar.
- İleri Beslemeli Ağ (FFN), modelin tüm bilgisini ağırlıklar şeklinde tutar ve her kelimenin arkasındaki anlamı ortaya çıkarmak için derin matematiksel formüller kullanan katmandır. Örneğin, Fransa'ya bakıp ülke ansiklopedisini etkinleştirecektir.
Normal bir modelde, bir girdi işlenirken katman 1'den katman 2'ye ve son katmana kadar ilerler, her katmanın kendi benzersiz ağırlıkları vardır. Ancak döngüsel bir transformatör mimarisinde, girdi aynı transformatör bloğundan birden çok kez geçirilir, her geçişte aynı ağırlıklar katmanın çıktısını iyileştirmesine olanak tanır. Bu, ağırlık veya parametre miktarını artırmadan modelin yanıtlarının çok daha doğru hale gelmesini sağlar. Diğer yandan, döngüsel transformatörler KV önbelleğinin boyutunu önemli ölçüde artırır. Muhtemelen OpenAI'nin GPT-6 Astra'sının bu benzersiz mimarisi, kayda değer performans artışları göstermesini sağlıyor.
Son olarak, yapay zeka dünyasının önde gelen isimlerinden birinin bu hafta büyük bir model sürümünü müjdelediğini ve gelecek haftanın, şirketin yedi büyük ürün lansmanı ve platform güncellemesini duyurduğu döneme benzer şekilde birden fazla lansmana sahne olmasını beklediğini belirtmek gerekir.
