Yapay zeka alanında çığır açan gelişmeler sunan OpenAI, tüketicilerin sahip olduğu ekran kartlarında çalışabilecek iki yeni açık kaynaklı dil modelini duyurdu. Bu modellerin en dikkat çekici özelliği ise sadece 16GB belleğe sahip cihazlarda bile etkin bir şekilde çalışabilmeleri.
Yayımlanan blog yazısında tanıtılan "gpt-oss-120b" ve "gpt-oss-20b" isimli modellerden ilki, tek bir 80GB ekran kartında çalışmak üzere optimize edilirken, ikincisi ise 16GB belleğe sahip cihazlarda çalışacak şekilde tasarlandı. Her iki model de, "mixture-of-experts" mimarisini temel alan bir Transformer yapısından faydalanıyor.
Bu yeni nesil modeller, yerel çıkarım (local inference) için şu ana kadar sunulan en uzun bağlam uzunluğunu, yani 131.072 token'ı destekliyor. "gpt-oss-120b" modeli token başına 5.1 milyar parametreyi etkinleştirirken, "gpt-oss-20b" ise token başına 3.6 milyar parametreyi kullanıyor. Ayrıca her iki model de dönüşümlü olarak yoğun ve yerel olarak bantlanmış seyrek dikkat desenleri ile gruplandırılmış çoklu sorgu dikkatini kullanıyor.
Her iki model de "Chain-of-Thought" akıl yürütme mimarisinden yararlanarak akıl yürütme, verimlilik ve gerçek dünya kullanılabilirliğine odaklanıyor. "gpt-oss" modelleri, GPT-2'den bu yana çıkan ilk açık kaynaklı dil modelleri olma özelliğini taşıyor. OpenAI'nin bu modelleri açık kaynak olarak sunması, geliştiriciler için daha kolay erişim imkanı sağlıyor. Bu adımın temelinde ise gelişmekte olan pazarlarda ve kendi özel modellerini benimseme kapasitesi sınırlı olan sektörlerde benimsenmeyi artırma hedefi yatıyor.
Yapılan değerlendirmelerde, "gpt-oss-120b" modelinin temel akıl yürütme testlerinde OpenAI'nin önceki o4-mini dil modeliyle neredeyse aynı performansı sergilediği, ancak tüm bunları tek bir 80GB ekran kartında yapabildiği belirtiliyor. "gpt-oss-20b" ise benzer bir şekilde, sadece 16GB belleğe sahip cihazlarda çalışabilme yeteneğiyle önceki o3-mini dil modeline benzer performans sunuyor.
OpenAI'nin gerçekleştirdiği değerlendirmelerde, "gpt-oss-120b"nin rekabetçi kodlama, genel problem çözme ve araç kullanma gibi alanlarda o3-mini'yi geride bıraktığı ve o4-mini ile eşit veya daha iyi sonuçlar elde ettiği görülüyor. Sağlık ile ilgili sorgularda ve matematik yarışmalarında ise "gpt-oss-120b"nin o4-mini'den daha iyi performans gösterdiği rapor ediliyor. "gpt-oss-20b" de benzer şekilde o3-mini'ye karşı aynı kıyaslama davranışlarını sergiliyor.
OpenAI'nin bu iki yeni modeli, Apache 2.0 açık kaynak lisansı altında kullanıma sunuldu. OpenAI, ONNX Runtime, Azure, AWS ve Ollama gibi platformlarda en yeni modellerini desteklemek için çeşitli şirketlerle iş birliği yapmış durumda.
