Qualcomm은 9월 22일 연례 Snapdragon Summit에서 Snapdragon 8 Elite Gen 6 SoC와 Snapdragon 8 Elite Gen 6 Pro를 선보일 예정입니다.
해당 이벤트에 앞서 오늘 회사는 칩의 Hexagon NPU 중 하나에 대한 개선 사항을 발표하고 있습니다(아마도 Snapdragon 8 Elite Gen 6 Pro의 Hexagon NPU에 대해 이야기하고 있는 것 같습니다).
이는 에이전트가 "더 긴 컨텍스트, 더 많은 도구 및 동시 작업을 저글링할 때 응답성을 유지할 수 있도록" "자주 액세스하는 모델 데이터를 NPU에 가깝게 유지"하는 50% 더 큰 공유 메모리와 변환기 중심 요소 가속기를 갖춘 에이전트 AI용으로 구축되었습니다. 따라서 메모리 병목 현상이 줄어들고 "더 빠르고 반응성이 뛰어난 에이전트 AI 경험"을 기대할 수 있습니다.
Element Accelerator는 "현대적인 생성 및 에이전트 AI를 지원하는 변환기 워크로드를 위해 특별히 제작되었으며" 스칼라, 벡터 및 매트릭스 확장과 함께 대형 모델에 가장 중요한 작업을 가속화하여 에이전트가 더 빠르게 응답하고 더 효율적으로 추론하도록 돕고 "모바일 전력 효율성을 저하시키지 않으면서 더 풍부한 경험을 제공"합니다.
Qualcomm은 또한 새로운 NPU가 INT4 모델에 대해 최대 50% 더 빠른 사전 채우기를 제공하며 토큰당 매개변수의 일부만 활성화하는 MoE(Mixture-of-Experts) 모델에 매우 적합하다고 말합니다. 새로운 Hexagon NPU는 "항상 실행되는 AI, 장기 컨텍스트 추론, 다중 모드 모델, 동시 에이전트 및 지연 시간이 짧은 작업 루프를 위해 설계되었습니다".
