模型發布
PyTorch 2.15 帶來 Mac MPS 後端重大升級:支援 FP8,MoE 解碼提速 5–6.5 倍
HuggingFace Blog一手來源
核實資料不足
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
本次未取得足夠原文證據
PyTorch 2.15 在 Apple 晶片 Mac 的 MPS 後端加入 float8_e4m3fn 張量支援,單一數值僅佔 1 位元組,儲存空間為 BF16 的一半,並可透過 F.scaled_mm 進行張量級或列級縮放的矩陣乘法。根據 Hugging Face PyTorch 團隊於部落格發布的說明,MoE 模型解碼速度較 2.14 快 5–6.5 倍:在搭配 torch.compile 的 M3 Ultra 上,Qwen3.6-35B-A3B 由 9.4 提升至 61.3 tokens/s,LFM2.5-8B-A1B 由 23.6 提升至 123.6 tokens/s。此提速來自原生分組矩陣乘法(grouped matmul)、減少 GPU 與 CPU 間的同步,以及更快的 top-k 路由。單列線性層改用專用矩陣向量核心,詞彙表 softmax 約快 8 倍。Wan2.2 的分塊 VAE 解碼峰值記憶體由 270 GiB 降至約 8 GiB。Qwen-Image-2.1 的 VAE 編碼器在 2.14 版於 MPS 上會靜默損壞影像(於 ComfyUI 中有回報),本版修正後,編碼解碼往返結果與 CPU 的 PSNR 由 10.06 dB 提升至 29.95 dB。此版本要求 macOS 15 或以上與 Python 3.11 或以上。
讀原始報導背景
Metal Performance Shaders(MPS)是 Apple 針對 Apple Silicon GPU 開發的高效能運算框架,提供神經網路訓練、推論以及矩陣乘法等進階數學運算的底層加速。其中 MPSGraph 負責構建與最佳化張量運算的計算圖,PyTorch 則透過 MPS 後端讓 Mac 裝置能執行 GPU 加速運算。