開發生態
Cerebras 推出解耦推論架構:GPU 負責 Prefill 配晶圓晶片 Decode,每 MW 吞吐達 5 倍
Hacker News單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

晶片製造商 Cerebras 透過官方部落格宣布,正式在生產環境推出「解耦推論」(Disaggregated Inference)架構,將 GPU 與其晶圓級晶片系統(Wafer Scale Engine)結合。該架構將推論工作拆分:由 GPU(例如 AMD Instinct)負責計算密集型的提示詞處理(prefill),再由 Cerebras 晶片系統(如 CS-3)專注於自回歸的輸出生成(decode)。官方宣稱,這套解決方案在維持原有高速生成的情況下,每百萬瓦(MW)可提供 5 倍的 Token 吞吐量。
Cerebras 指出,Decode 階段每產生一個 Token 都需重新自記憶體讀取模型權重,記憶體頻寬至關重要。其單一晶片具備數十 GB 的 SRAM 與每秒數十 PB 的記憶體頻寬,SRAM 容量約為 GB300 GPU 的 350 倍、頻寬達 5,400 倍,能大幅提升並行請求處理量。在 Cerebras Inference Cloud 的 GPT-OSS-120B 端點實測中,採用 AMD Instinct GPU 搭配 CS-3 的解耦架構,較純 CS-3 配置達到 5 倍的能效吞吐比。
在軟體整合方面,Cerebras 提供兩種架構供合作夥伴部署:第一種是端到端軟體堆疊,包含請求路由框架、支援 vLLM 或 SGLang 的 prefill 引擎、Cerebras decode 引擎,以及透過 RDMA 傳輸鍵值狀態的 KV Portal 介面;第二種為 decode-only SDK,允許合作夥伴自帶框架與 prefill 引擎,並提供模擬 decode 副本進行測試。Cerebras 表示,計畫在 2027 年底前將此架構推廣至數百 MW 的推論雲與資料中心,配合已發表的 CS-4 系統擴展算力。
讀原始報導社群討論
討論集中在 Cerebras 的 disaggregated inference 技術與空缺:多數人讚賞其 prefill/decode 分離,並指出 Cerebras 晶片適合 decode、不適合 prefill(一位留言者指出 prefill 仍需高速互連做 all-reduce,而 decode 可用一般節點組成的 swarm 處理)。另一焦點是針對 Culper 空頭報告的爭議:eh8 指出報告有誤(CS-3 平均運作溫度低於 65°C、ghost tokens 並非 Cerebras 獨有、3 年壽命推論係由 GPU 數據外推),但 augment_me 質疑其閒置功耗與退役數據定義不清,並認為 Cerebras 對資產使用年限的解釋仍屬迴避,雙方各有依據,尚無定論。