跳到主要內容
2026-11-05 日報
研究與評測

RunAnywhere 以 NKI megakernel 在 AWS Trainium2 上部署 GLM-5.3-Flash,batch-8 decode 步驟從 32.2 ms 降至 24.2 ms

Reddit r/MachineLearning單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

RunAnywhere 開源了一套在 AWS trn2.48xlarge 上運行 GLM-5.3-Flash(320B MoE、1M token 上下文)的推論引擎,並以 NKI 層級 megakernel 重寫各層。此次優化的重點在 decode 階段:早期版本中,batch-8 的單步 decode 耗時 24.2 ms,而記憶體下限為 6.1 ms;剖析顯示,瓶頸主要來自每次約 153 ns 固定成本的小型向量引擎指令鏈、每個 kernel 邊界寫回 HBM,以及每步 125 次跨晶片集體通訊。在 batch 1 的 KDA 線性注意力層中,遞迴運算僅佔注意力半層的 2%,其餘為 mHC 前投影(36%)、XLA 膠合(33%)、轉置(10%)、stream mix(10%)等。 新設計遵循三項原則:將工作集保留在晶片上(每個 NeuronCore 有 28 MiB SBUF)、同時使用邏輯核心內的兩個實體核心分擔權重串流(單一程式約 340–400 GB/s,雙核合計 672–708 GB/s),以及將會阻塞後續運算的集體通訊移入 kernel,讓獨立工作得以與之重疊。 依作者量測,batch-8 decode 步驟從 10 月 17 日版本的 32.2 ms 降至 11 月 1 日版本的 24.2 ms;其中融合稀疏注意力層省下 3.2 ms,KDA 與 MoE kernel(同批發布)再省 3.2 ms。剩餘 24.2 ms 中,6.1 ms 為記憶體下限,10.0 ms 為引擎超出下限的忙碌時間,4.6 ms 為 kernel 內等待,2.8 ms 為外露的集體通訊,0.7 ms 為閒置。作者亦指出目前沒有原廠 AWS 基準可比:最新 vLLM Neuron 外掛未登錄 GLM 模型,NxD Inference 處於維護模式。 作者也列出失敗經驗:融合編譯器已自行重疊的運算段,預估節省 2–4 ms,實際在某一批次大小僅省 0.85 ms;單獨測試的稠密 FFN kernel 從 145 µs 降至 84 µs,但整體步驟在 batch 2 反而慢 55 µs,因編譯器重排了周邊運算;另有三個 kernel 通過 NKI 模擬器,但在裝置上輸出錯誤,原因包括 PSUM tile 切片上的矩陣累加群組、未加圍欄的 kernel 內集體通訊,以及配對程式讀取另一程式剛寫入的共享 HBM。 精度方面,作者表示位元不應改變之處皆做逐位元比對,其餘與高精度參考比較,誤差上限為前一版的 1.05 倍。稀疏注意力預填階段仍有一處近似(約 1.2% 的選取),相對精確重跑,下一個 token 的對數機率平均偏移 0.012–0.021 nats,並在 448 個位置中有 3 個位置改變了頂端 token;作者尚未對此版本進行任務層級評測。 端到端方面,作者於 SemiAnalysis 的 AgentX 基準(自行執行、每點一小時、非官方 InferenceX)測得單機最高每分鐘 28.9 個代理請求;在 16 個代理時,請求的中位解碼速度為 35.9 tokens/s。作者未在相同追蹤上執行 GPU 比較,因此文中沒有 GPU 對照數據。作者揭露其任職於 RunAnywhere,程式碼由該公司持有。
讀原始報導

背景

AWS Trainium 是 AWS 為 AI 工作負載設計的機器學習晶片,需搭配 Neuron SDK 使用。NKI(Neuron Kernel Interface)是該 SDK 中用來撰寫自訂核心(kernel)的介面,Neuron Compiler 則負責把 PyTorch、JAX 等框架的運算圖轉換成最佳化的機器碼。

來源