SK hynix ve TetraMem’den Edge AI Cihazları İçin Devrimsel İş Birliği

SK hynix ve TetraMem’den Bellek İçi İşlem Yapan Deneysel Memristör Çipi Tanıtıldı

Yapay zeka modellerinin uç cihazlarda (edge AI) yerel olarak çalıştırılması, günümüz yarı iletken dünyasının en büyük odak noktalarından biri haline gelmiştir. Bu doğrultuda SK hynix, TetraMem ve Güney Kaliforniya Üniversitesi (USC) araştırmacıları, hafif yapay zeka modellerinde enerji verimliliğini radikal bir şekilde artırmayı hedefleyen memristör tabanlı bir bellek içi hesaplama (In-Memory Computing - IMC) sistemi (SoC) geliştirdiklerini duyurdu.

Geliştirilen deneysel yonga, özellikle yüksek performanslı GPU ve NPU'ların tükettiği yüksek enerjinin çok küçük bir kısmını harcayarak sinir ağı çıkarımlarını (inference) hızlandırmak üzere tasarlandı. Ancak çip, enerji verimliliğinde çığır açsa da ham performans tarafında henüz kat etmesi gereken uzun bir yola sahip.

Derinlemesine Evrişim (DWC) İçin Optimize Edilmiş Özel Mimari

Geleneksel bellek içi hesaplama (IMC) sistemleri, analog hesaplamaları doğrudan bellek matrislerinin içinde gerçekleştirir. 

Bu yöntem veri hareketini ve güç tüketimini azaltsa da MobileNet gibi hafif ağların temelini oluşturan Derinlemesine Evrişim (Depthwise Convolution - DWC) işlemlerinde verimsiz kalmaktadır. DWC, sınırlı veri yeniden kullanımı ile kanal başına bağımsız filtreleme yaptığından standart çapraz çubuk (crossbar) dizilimlerine tam olarak uyum sağlayamaz. Araştırma ekibi bu kısıtlamayı aşmak için hem geleneksel IMC çapraz çubuklarını hem de DWC için optimize edilmiş özel bir memristör mimarisini aynı çipte bir araya getirdi.

İşlemci ve NPU Dağılımı: 

Sistem, iş yüklerini planlayan gömülü bir RISC-V işlemci üzerine inşa edilmiştir. Toplamda 10 adet Sinir İşleme Birimi (NPU) barındırır.

Görev Paylaşımı: Bu 10 NPU'dan 1 tanesi tamamen derinlemesine evrişime (DWC) ayrılmışken, kalan 9 NPU noktasal (pointwise) ve yoğun (dense) işlemleri yürütür.

Donanım Bileşenleri: Standart 9 NPU'nun her biri; analog vektör-matris çarpımını (VMM) gerçekleştiren bir adet 256 × 256 memristör çapraz çubuğu, dijital aktivasyonları analog voltaja dönüştüren 256 adet 8-bit DAC ve analog çıktıları tekrar dijitale çeviren 256 adet 8-bit ADC içerir.

Zig-Zag Topolojisi: DWC için optimize edilen özel NPU'da ise düz seçim hatları yerine zig-zag topolojisi kullanılmıştır. Bu NPU, sekiz adet 252 × 28 zig-zag çapraz çubuk bloğu içerir. Diyagonal seçim hatları sayesinde 28 sütunda 252 bellek hücresi tetiklenerek 28 bağımsız 3 × 3 evrişimin paralel olarak çalışması sağlanır. Bu sayede matrisin %100'ü ağırlık depolama için kullanılabilir.

SK hynix, memristör cihazlarını geliştirip üreterek dirençli anahtarlama hücrelerini (resistive switching cells) kendi arka uç işlemi (back-end process) ile 65 nm CMOS devresi üzerine entegre etmiştir.

Yüksek Enerji Verimliliği ve Hassasiyet Dengesi

Memristör tabanlı IMC donanımı doğası gereği işaretsiz analog vektör-matris çarpımı gerçekleştirir. Girişler ve ağırlıklar yürütmeden önce işaretsiz 8-bit değerlere kuantize edilir. Her bir memristör cihazı normal şartlarda sadece 2-bit civarında etkili bir hassasiyetle programlanabilir. Ancak araştırmacılar, analog programlama hatalarını telafi eden iki alt matrisli bir dengeleme tekniği (two-subarray compensation) kullanarak etkili ağırlık hassasiyetini yaklaşık 4-bite çıkarmayı başarmıştır. Mimarinin bu yaklaşımı, donanımsal hassasiyet sınırlarından daha yüksek bir yazılımsal hassasiyet elde etme mantığı yönüyle Nvidia'nın NVFP4 felsefesiyle benzerlik göstermektedir.

Çip, Visual Wake Words karşılaştırma testi için özelleştirilmiş ve yaklaşık 36.000 parametre içeren MobileNetV1Small sinir ağı üzerinde test edilmiştir.

Çipin elde ettiği temel teknik metrikler şu şekilde

Çıkarım Doğruluğu: Çip, %80.36 uçtan uca çıkarım doğruluğuna ulaşarak 4-bitlik yazılım modelinin başarımıyla tam uyum yakalamıştır.

Enerji Verimliliği: Eski bir üretim teknolojisi olan 65 nm mimarisine dayanmasına rağmen, 100 MHz hızında 21.3 TOPS/W ve 400 MHz hızında 11.9 TOPS/W gibi oldukça yüksek bir enerji verimliliğine ulaşılmıştır. Bu değerler mevcut SRAM tabanlı hesaplama hızlandırıcılarından çok daha başarılıdır.

Nvidia Karşılaştırması: Araştırma makalesi, yonganın enerji verimliliğinin Nvidia A100 INT8 verimliliğini katladığını iddia etmektedir.

Performansa Dair Cevaplanmamış Sorular

Geliştirilen teknoloji kavramsal olarak büyük bir başarı sunsa da ham performans ve pratik kullanım senaryoları açısından bazı soru işaretlerini de beraberinde getirmektedir

Düşük Toplam Performans (TOPS): NPU başına tepe işlem hacmi 0.254 TOPS seviyesindedir. Çipteki tüm birimlerin en iyi senaryoda ve tam kapasiteyle eş zamanlı çalıştığı teorik durumda dahi toplam performans 2.54 TOPS düzeyinde kalmaktadır. Bu performans, Microsoft'un modern yapay zeka bilgisayarları için şart koştuğu Copilot+ gereksinimlerinin (minimum 40 TOPS) tam 16 kat altındadır.

Eksik Test Verileri: MobileNet üzerinde gerçekleştirilen demonstrasyonda 10 NPU'nun tamamı kullanılmamıştır. 1 adet DWC NPU ve noktasal katmanlar için 5 standart NPU aktif edilirken, kalan 4 standart NPU boşta bırakılmıştır. Dolayısıyla makale; çipin gerçek bir ağ çalıştırırken sürdürülebilir toplam iş çıkarma kapasitesini veya 10 NPU'nun aynı anda doygunluğa ulaşıp ulaşamayacağını net olarak ortaya koymamaktadır.

SonuçSK hynix, TetraMem ve USC ortaklığı; memristör tabanlı bellek içi hesaplama mimarisinin uç cihazlardaki hafif yapay zeka iş yüklerinde son derece yüksek bir enerji tasarrufu sağlayabileceğini başarıyla kanıtlamıştır. Çip, 2-bit doğruluğa sahip bileşenlerden 4-bit kalitesinde yapay zeka çıkarımı üreterek mimari bir olgunluk sergilemektedir. Ancak bu deneysel çalışmanın ticari edge AI donanımlarına dönüşebilmesi için ham performans çıktılarının artırılması ve çoklu çekirdek mimarisinin tam kapasite kararlılığının netleşmesi gerekmektedir.