Köşeleri kesmek: Santa Cruz’daki Kaliforniya Üniversitesi’nden araştırmacılar, milyarlarca parametre ölçeğinde büyük bir dil modelini yalnızca 13 watt’lık (yaklaşık olarak modern bir LED ampulün gücü kadar) güç kullanarak çalıştırmanın bir yolunu geliştirdiler. Karşılaştırma için, LLM görevleri için kullanılan gerçek bir orta sınıf GPU yaklaşık 700 watt gerektirir.
Yapay zeka bu noktaya kadar büyük ölçüde birinci olma yarışıydı ve verimlilik gibi ölçütler pek dikkate alınmıyordu. Bunu değiştirmek isteyen araştırmacılar, matris çarpımı adı verilen yoğun bir tekniği geliştirdiler. Bu teknik, sözcükleri sayılara atar, bunları matrislerde saklar ve dil oluşturmak için bunları bir araya getirir. Tahmin edebileceğiniz gibi oldukça donanım yoğun.
Ekibin revize edilmiş yaklaşımı bunun yerine sinir ağı matrislerindeki tüm sayıları üçlü olmaya zorluyor; bu da bunların üç değerden yalnızca birine sahip olabileceği anlamına geliyor: negatif bir, sıfır veya pozitif bir. Bu önemli değişiklik, Microsoft’un bir makalesinden ilham almıştır ve bu, tüm hesaplamaların çarpma yerine toplamayı içerdiği anlamına gelir; bu, donanım açısından çok daha az yoğun olan bir yaklaşımdır.
Bahsi geçmişken, ekip aynı zamanda sahada programlanabilir kapı dizisi (FPGA) adı verilen son derece özelleştirilebilir bir devre kullanarak özel donanım da yarattı. Özel donanım, sinir ağında yer alan tüm enerji tasarrufu özelliklerini en üst düzeye çıkarmalarına olanak tanıdı.
Özel donanım üzerinde çalışan ekibin sinir ağı, tipik bir kurulumdan 50 kat daha verimlidir. Şimdiye kadarki en iyisi, Meta’nın Llama’sı gibi üst düzey bir modelle aynı performansı sağlamasıdır.
Yeni yaklaşımla özel donanıma gerek olmadığını belirtmekte fayda var; bu sadece pastanın üzerindeki krema. Sinir ağı, AI endüstrisinde yaygın olan standart GPU’larda çalışacak şekilde tasarlandı ve testler, çarpma tabanlı bir sinir ağına kıyasla yaklaşık 10 kat daha az bellek tüketimi olduğunu ortaya koydu. Daha az bellek gerektirmesi, akıllı telefonlar gibi mobil cihazlarda tam teşekküllü sinir ağlarına kapı açabilir.
Bu tür verimlilik kazanımlarının devreye girmesiyle ve tam bir veri merkezi gücü verilmesiyle, yapay zeka yakında ileriye doğru büyük bir adım daha atabilir.
Resim kredisi: Emrah Tolu, Pixabay