Qualcomm представляет SoC Snapdragon 8 Elite Gen 6, а также Snapdragon 8 Elite Gen 6 Pro на ежегодном саммите Snapdragon 22 сентября.
В преддверии этого события сегодня компания анонсирует улучшения, внесенные в один из процессоров Hexagon NPU (предположительно, мы говорим о Hexagon NPU Snapdragon 8 Elite Gen 6 Pro).
Он создан для агентного ИИ с ориентированным на преобразователь ускорителем элементов и общей памятью на 50% большего размера, которая «хранит часто используемые данные модели рядом с NPU», так что агенты «могут оставаться отзывчивыми, манипулируя более длинным контекстом, большим количеством инструментов и параллельными задачами». Таким образом, вы можете ожидать уменьшения узких мест в памяти и «более быстрого и более оперативного взаимодействия с агентным искусственным интеллектом».
Element Accelerator «специально создан для рабочих нагрузок преобразователей, которые обеспечивают работу современного генеративного и агентного искусственного интеллекта», и вместе со скалярными, векторными и матричными расширениями он ускоряет операции, которые наиболее важны для больших моделей, помогая агентам реагировать быстрее, а также более эффективно рассуждать и «обеспечивать более богатый опыт без ущерба для эффективности энергопотребления мобильных устройств».
Qualcomm также сообщает, что новый NPU обеспечивает до 50% более быстрое предварительное заполнение для моделей INT4 и очень хорошо подходит для моделей Mixture-of-Experts (MoE), которые активируют только часть своих параметров на каждый токен. Новый Hexagon NPU «предназначен для постоянно работающего искусственного интеллекта, долгоконтекстных рассуждений, мультимодальных моделей, параллельных агентов и циклов действий с малой задержкой».
