研究與評測
Google、Meta 推出 TorchTPU 原生 PyTorch 後端,宣稱 DeferAndFuse 比 Strict Eager 快 50% 以上
AI 前線單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
Google 與 Meta 合作推出開源專案 TorchTPU,為 Google TPU 提供原生 PyTorch 後端。既有 PyTorch 工作負載只需少量改寫即可在 TPU 上執行,並支援即時執行、編譯執行、分散式運算與硬體專屬最佳化。據 Google 表示,前代方案 PyTorch/XLA 自 2020 年起基於 JAX、XLA 與延遲張量,需侵入式修改原始碼以定義可編譯區域,編譯延遲嚴重,且不支援 PyTorch 原生的命令式即時執行,分散式原語也落後於生態系統。遷移時,裝置由 cuda 換成 tpu,NCCL 分散式後端換成 tpu_dist,並可用 torch.accelerator.current_accelerator 辨識可用加速器。TorchTPU 提供 Strict、Debug、DeferAndFuse 三種即時執行模式,其中 DeferAndFuse 為即時與編譯混合模式,Google 宣稱速度比 Strict Eager 快 50% 以上,並降低 HBM 峰值記憶體占用。Google 建置整合測試流程,在 TPU v5e 起的多代硬體上,以即時與編譯兩種模式評估約 5,000 個 Hugging Face 模型,涵蓋 500 多種架構。效能方面,以標準 PyTorch 實作的 300 億參數 Muse Glimmer 模型,在單顆 TPUv7 上,序列長度 5120 時推論吞吐量為每秒 25,700 Token,10,240 時為每秒 22,400 Token;四顆 TPUv7 訓練時,序列長度 5120 與 10,240 分別為每秒 5,600 與 4,600 Token。另以 Qwen3 MoE 235B 進行訓練實驗,規模從 1,024 顆擴展到 8,192 顆 TPUv7;推論部分,Google 表示以 vLLM 執行大規模 MoE 可提供具競爭力的單位成本效能。以上數據皆出自 Google 公告與單一來源報導,尚未見獨立驗證。評論區指出,Google 除透過 GCP 提供 TPU,也向包括 Anthropic 在內的企業客戶出售本地部署方案,Meta 未來或也會跟進,此說法未經證實。TorchTPU 仍處早期,路線圖包括動態形狀、編譯效能、運算子覆蓋、強化學習與量化等工作。
讀原始報導背景
XLA 張量採用延遲執行(lazy),會先把運算記錄成計算圖,直到真正需要結果時才執行。這種延後執行的方式讓 XLA 能把多個分開的運算融合成一個經過最佳化的運算。