Qualcomm, 22 Eylül'deki yıllık Snapdragon Zirvesi'nde Snapdragon 8 Elite Gen 6 SoC'nin yanı sıra Snapdragon 8 Elite Gen 6 Pro'yu da tanıtıyor.
Bu etkinliğin öncesinde şirket, bugün çiplerden birinin Hexagon NPU'sunda yaptığı iyileştirmelerin tanıtımını yapıyor (muhtemelen Snapdragon 8 Elite Gen 6 Pro'nun Hexagon NPU'sundan bahsediyoruz).
Bu, dönüştürücü odaklı bir Öğe Hızlandırıcısı ve "sık erişilen model verilerini NPU'ya yakın tutan" %50 daha büyük bir paylaşılan belleğe sahip ajansal yapay zeka için tasarlanmıştır, böylece aracılar "daha uzun bağlam, daha fazla araç ve eşzamanlı görevler arasında denge kurarken duyarlı kalabilirler". Böylece bellek darboğazlarının azalmasını ve "daha hızlı, daha duyarlı ajansal yapay zeka deneyimlerinin" olmasını bekleyebilirsiniz.
Element Accelerator, "modern üretken ve ajansal yapay zekaya güç veren transformatör iş yükleri için özel olarak tasarlanmıştır" ve skaler, vektör ve matris uzantılarıyla birlikte, büyük modeller için en önemli işlemleri hızlandırarak temsilcilerin daha hızlı yanıt vermesine, daha verimli bir şekilde akıl yürütmesine ve "mobil güç verimliliğinden ödün vermeden daha zengin deneyimler sunmasına" yardımcı olur.
Qualcomm ayrıca yeni NPU'nun INT4 modelleri için %50'ye kadar daha hızlı ön doldurmaya sahip olduğunu ve jeton başına parametrelerinin yalnızca bir kısmını etkinleştiren Uzmanlar Karması (MoE) modelleri için çok uygun olduğunu söylüyor. Yeni Hexagon NPU "sürekli çalışan yapay zeka, uzun bağlamlı akıl yürütme, çok modlu modeller, eşzamanlı aracılar ve düşük gecikmeli eylem döngüleri için tasarlandı".
