AWS 發布 PyTorch 原生後端 TorchNeuron：一行設定直通 Trainium，文本模型支援率升至 89%

AWS 釋出 PyTorch 原生外掛程式 TorchNeuron，讓模型能以原生裝置形式運行於自研 Trainium 晶片，直接挑戰 NVIDIA 藉由 CUDA 建立的軟體優勢。關於上線時程，TechCrunch 報導 AWS 已於週一發布該工具，而 Hugging Face 部落格則標註公開測試版將於 2026 年 10 月 20 日提供，屆時可透過 pip install torch-neuronx 安裝。 過往在 Trainium 上執行 Hugging Face 模型需依賴基於 PyTorch XLA 的 optimum-neuron，開發者必須適應延遲張量（lazy tensors）、固定形狀限制以及圖中斷（graph break）帶來的頻繁編譯。TorchNeuron 則將 neuron 直接整合為 PyTorch 原生裝置，支援 eager 執行模式、torch.compile，以及 DTensor、FSDP2 等原生分散式 API。 Amazon 指出約 85% 的 AI 應用採用 PyTorch 開發。透過新後端，Transformers、Diffusers、Accelerate、PEFT 與 TRL 等函式庫皆能直接支援 Trainium，開發者僅需在設定中加入 device_map="neuron" 等單行配置即可遷移，無需重寫程式碼或維護客製化分支出來的專用類別。在推論方面，前 100 大最常用文字生成模型架構的開箱支援率，從 Optimum Neuron v0.4.5 的 46% 提高至 89%，生成時建議搭配靜態快取（static cache）以避免重複編譯。在微調訓練方面，標準 TRL 腳本已可直接執行，但目前 Neuron 後端尚無法編譯 Dynamo 的自動動態形狀。