高通新一代 Hexagon NPU 共享記憶體增 50%，導入 Element Accelerator 並支援 300 億參數 MoE 模型

高通針對代理式 AI 需求推出新一代頂級行動平台 Qualcomm Hexagon NPU，新增 Element Accelerator 並將共享記憶體容量提升 50%。擴充的記憶體可將更多模型狀態、啟用值與中間張量保留在晶片本地端，減少外部 DDR 存取次數，從而支援更長的上下文視窗與更快的 token 生成速度。在模型支援方面，高通導入混合專家模型（MoE）架構，可運行 300 億參數的 MoE 模型，每次生成 token 時僅需啟用約 30 億個參數。此外，Hexagon NPU 支援 INT2、INT4、INT8、FP8 與 FP16 運算精度，並專為加速 Transformer 工作負載設計；系統層面則由 CPU 負責協調多步驟工作負載與智慧路由，GPU 亦加入與 NPU 相似的專用 AI 加速功能。