SK hynix, TetraMem ve Güney Kaliforniya Üniversitesi'nden araştırmacılar, yapay zeka (AI) kenar cihazları için memristör tabanlı bir bellek içi hesaplama (IMC) sistem-çip (SoC) geliştirdi. Bu çip, hafif yapay zeka modellerinde nöral ağ çıkarımını hızlandırmayı hedeflerken, üst düzey GPU'lar veya NPU'lara kıyasla çok daha az güç tüketiyor. Ancak, bu SoC büyük ölçüde bir konsept kanıtlama çipi niteliğinde zira teorik en iyi senaryoda performansı yaklaşık 2.54 TOPS seviyesinde kalıyor; bu değer, bazı güncel gereksinimlerin oldukça altında.
Derinlemesine Konvolüsyon (DWC) İçin Optimize Edilmiş Bir IMC Mimarisi
Memristör tabanlı bellek içi hesaplama (IMC), hesaplamaları doğrudan bellek dizileri içinde analog olarak gerçekleştirerek veri hareketini ve güç tüketimini azaltır. Bununla birlikte, derinlemesine konvolüsyon (DWC) gibi hafif ağların temel bir işlemi, her kanal için bağımsız filtreleme yapar ve veri yeniden kullanımını sınırlar. Bu durum, geleneksel çapraz çubuk dizilerinde iyi performans göstermemesine neden olur. Bu kısıtlamayı aşmak için SK hynix, TetraMem ve Güney Kaliforniya Üniversitesi'nden araştırmacılar, hem geleneksel IMC çapraz çubuklarına hem de DWC için özel olarak optimize edilmiş memristör tabanlı bir IMC mimarisine sahip bir SoC geliştirdi.
Ortaklaşa geliştirilen SoC, iş yüklerini yöneten gömülü bir RISC-V işlemciye ve 10 adet nöral işlem birimine (NPU) dayanıyor. Bu NPU'lardan biri derinlemesine konvolüsyon için ayrılmışken, diğer dokuzu nokta bazlı ve yoğun işlemleri gerçekleştiriyor. Dokuz NPU, analog vektör-matris çarpımını gerçekleştiren 256x256'lık bir memristör çapraz çubuğu, dijital aktivasyonları analog voltajlara dönüştüren 256 adet 8-bit DAC ve analog çıktıları tekrar dijital değerlere çeviren 256 adet 8-bit ADC ile birlikte çevre birimlerini içeriyor.
DWC için optimize edilmiş NPU, geleneksel dizisi yerine sekiz adet özel 252x28 zikzak çapraz çubuk bloğu kullanıyor, ancak DAC ve ADC'leri koruyor. SK hynix, memristör cihazlarını geliştirip üretti ve dirençli anahtarlama hücrelerini 65 nm CMOS devresi üzerine entegre etti.
DWC'ye özel bu NPU, tüm SoC'nin kilit özelliğini oluşturuyor. Derinlemesine konvolüsyonu hızlandırmak için TetraMem, geleneksel 1T1R çapraz çubuklarında kullanılan düz seçim hatları yerine zikzak bir topoloji kullandı. Sonuç olarak, NPU sekiz adet 252x28'lik çapraz çubuk bloğu içeriyor. Bu bloklar, 28 sütun boyunca 252 bellek hücresini etkinleştirerek, dizinin %100'ünü ağırlık depolama için kullanırken 28 bağımsız 3x3 konvolüsyonun paralel çalışmasına olanak tanıyor. Kalan dokuz NPU ise geleneksel 1T1R çapraz çubuklarını nokta bazlı ve yoğun katmanlar için koruyarak geleneksel bellek içi hesaplamanın verimliliğini ve çıktı hızını sürdürüyor.
Yüksek Verimlilik, Düşük Genel Performans
Mimarinin yeteneklerini sergilemek amacıyla araştırmacılar, Görsel Uyanık Kelimeler (Visual Wake Words) veri kümesi için özelleştirilmiş bir MobileNetV1Small sinir ağı kullandı. Bu ağ yaklaşık 36.000 parametre içeriyor. Derinlemesine katmanların tamamı özel NPU'ya, nokta bazlı katmanlar ise diğer NPU'lara atandı.
Memristör tabanlı IMC donanımı, işaretsiz analog vektör-matris çarpımını doğal olarak gerçekleştirdiği için, girdiler ve ağırlıklar yürütme öncesinde işaretsiz 8-bit değerlere kuantize ediliyor. Her memristör cihazı yaklaşık 2 bitin biraz üzerinde etkili hassasiyetle programlanabildiği için, tasarım etkili ağırlık hassasiyetini yaklaşık 4 bit'e yükselten bir iki alt dizi telafi tekniği kullanıyor.
Bu yaklaşım, her ikisi de düşük hassasiyetli donanımdan daha yüksek etkili hassasiyet elde etmeyi amaçlayan bir teknolojinin felsefesine benzese de, uygulamaları temelde farklıdır. Bu memristör SoC, analog programlama hatalarını iki programlanmış alt dizi ile telafi ederek hassasiyeti artırıyor.
Doğruluk açısından, SoC, ilgili 4-bit yazılım modeline karşılık gelen %80,36'lık bir çıkarım doğruluğu elde etti. Performans açısından, SoC NPU başına 0.254 TOPS'luk bir tepe çıktı hızı sunuyor ve 100 MHz'de 21,3 TOPS/W, 400 MHz'de ise 11,9 TOPS/W enerji verimliliğine ulaşıyor. Yazarlara göre bu değerler, daha eski bir 65 nm işlemde üretilmesine rağmen yayınlanmış SRAM tabanlı bellek içi hesaplama hızlandırıcılarına kıyasla olumlu bir tablo çiziyor. SoC ayrıca, ortak makalenin iddia ettiğine göre, bazı eski nesil GPU'ların INT8 enerji verimliliğini bir mertebe aşıyor. Ancak, bu iddiaların büyük ölçüde desteklenmesi gerekiyor.
Öncelikle, MobileNet demosunda tüm 10 NPU'nun tamamı kullanılmıyor. Özel DWC NPU'su, nokta bazlı katmanlar için beş standart NPU ve dört standart NPU boşta bırakılıyor. Bu nedenle demo, SoC'nin toplam çıktı hızını (TOPS), gerçek bir ağ çalıştıran sürekli çıktı hızını ve tüm 10 NPU'nun aynı anda kullanıldığı durumu yansıtmıyor. Hatta makale, 10 NPU'nun aynı anda kullanılıp kullanılamayacağını bile belirtmiyor. Bu bağlamda, haberin başında bahsedilen 2.54 TOPS rakamı oldukça teorik kalıyor.
Doğrulanmış Bir Yaklaşım
SK hynix, TetraMem ve Güney Kaliforniya Üniversitesi'nden araştırmacılar, hafif yapay zeka iş yükleri için çapraz çubuk kullanımını artıran yenilikçi bir derinlemesine konvolüsyon hızlandırıcıya sahip, memristör tabanlı bir IMC SoC geliştirdi. Ortaklar, bunu eski bir 65nm işlem teknolojisi kullanarak üretebildiler ve memristörlerin yaklaşık 2 bit hassasiyetle programlanmasına rağmen 21,3 TOPS/W enerji verimliliği ve 4-bit yazılım modeline benzer çıkarım doğruluğu elde etmeyi başardılar. Mimari, yaklaşımın çalıştığını doğrulasa da, makale SoC'nin tam performansını ortaya koymuyor ve çipin 10 NPU'sunun tam kapasiteyle çalıştırılıp çalıştırılamayacağı belirsizliğini koruyor.
