Kısaca:GPU’lar, AI ve HPC uygulamalarının talepleriyle karşı karşıya kaldıklarında bellek sınırlamalarına sahiptir. Bu darboğazın etrafından dolanmanın yolları vardır, ancak çözümler pahalı ve zahmetli olabilir. Şimdi, Güney Kore’nin Daejeon kentinde merkezlenen bir girişim, yeni bir yaklaşım geliştirdi: Kapasiteyi genişletmek için PCIe’ye bağlı bellek kullanmak. Bu çözümü geliştirmek birçok teknoloji çemberinden atlamayı gerektirdi ve önümüzde hala zorluklar var. Yani, AMD, Intel ve Nvidia teknolojiyi destekleyecek mi?
AI ve HPC uygulamaları için gelişmiş veri kümelerinden kaynaklanan bellek gereksinimleri genellikle bir GPU’ya yerleştirilmiş belleği boğar. Bu belleği genişletmek genellikle pahalı yüksek bant genişliğine sahip bellek takmak anlamına gelir ve bu da genellikle mevcut GPU mimarisinde veya yazılımında değişikliklere neden olur.
Bu darboğaza bir çözüm, Güney Kore’nin KAIST araştırma enstitüsü tarafından desteklenen bir şirket olan Panmnesia tarafından sunuluyor. Bu şirket, GPU’ların doğrudan bir Compute Express Link (CXL) arayüzü aracılığıyla sistem belleğine erişmesine olanak tanıyan yeni bir teknoloji tanıttı. Esasen, GPU’ların sistem belleğini kendi belleklerinin bir uzantısı olarak kullanmasını sağlıyor.
Şirket, CXL GPU Image adını verdiği PCIe bağlantılı belleğin, geleneksel SSD’lerden önemli ölçüde daha hızlı olan çift haneli nanosaniye gecikme süresine sahip olduğunu söylüyor.
Panmnesia bu sistemi geliştirmek için birçok teknik zorluğun üstesinden gelmek zorunda kaldı.
CXL, bir PCIe bağlantısının üstünde çalışan bir protokoldür, ancak teknoloji bir ASIC ve alt sistemi tarafından tanınmalıdır. Başka bir deyişle, GPU’larda DRAM ve/veya SSD uç noktalarını destekleyen bir CXL mantık yapısı ve alt sistemi olmadığından, teknoloji yığınına basitçe bir CXL denetleyicisi eklenemez.
Ayrıca, GPU önbelleği ve bellek alt sistemleri, AI veya HPC için yeterince hızlı olmayan birleşik sanal bellek (UVM) dışında hiçbir genişlemeyi tanımaz. Panmnesia tarafından yapılan testlerde, UVM tüm test edilen GPU çekirdekleri arasında en kötü performansı gösterdi. Ancak CXL, yükleme/depolama talimatları aracılığıyla genişletilmiş depolamaya doğrudan erişim sağladı ve sayfa hataları sırasında ana bilgisayar çalışma zamanı müdahalesinden kaynaklanan ek yük ve sayfa düzeyinde veri aktarımı gibi UVM’yi engelleyen sorunları ortadan kaldırdı.
Panmnesia’nın buna karşılık geliştirdiği şey, tüm temel CXL protokollerini destekleyen ve bunları tek bir denetleyicide birleştiren bir dizi donanım katmanıdır.
CXL 3.1 uyumlu kök kompleksi, PCIe üzerinden harici belleği destekleyen birden fazla kök bağlantı noktasına ve GPU’nun sistem veri yoluna bağlanan ve sistem belleğini yöneten ana bilgisayar tarafından yönetilen bir aygıt bellek kod çözücüsüne sahip bir ana bilgisayar köprüsüne sahiptir.
Panmnesia’nın kontrolü dışında kalan başka zorluklar da var, bunlardan en büyüğü AMD ve Nvidia’nın GPU’larına CXL desteği eklemesi gerektiği. Sektör oyuncularının GPU’lar için PCIe’ye bağlı bellek kullanma yaklaşımını beğendikleri ve kendi teknolojilerini geliştirmeye devam ettikleri olası.