跳到主要內容
2026-10-26 日報
開發生態

Cerebras 解析兆級模型晶圓級部署:以 59 片 WSE-3T 運行 3 兆參數 Kimi K3,推論達每秒 1000 至 2000 token

Hacker News單一來源
已查原文 · 3 項主張

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

經查證 Cerebras 官方技術部落格原文,報導引述之各項技術數據與系統架構細節(包括以 59 片 WSE-3T 部署 3 兆參數 Kimi K3、宣稱達每秒 1000 至 2000+ token 推論速度、線性與密集層之晶圓配置計算、RDMA over Ethernet 每跳約 2 微秒延遲及 KV 快取併發限制等)均與官方發布內容相符。

Cerebras 發布技術文章說明其 WSE-3T 晶片部署多兆參數模型之方案,宣稱推論速度可達每秒 1000 至 2000 token 以上。

Cerebras 官方技術部落格文章明確指出,透過將大型前沿模型分割至多片 WSE-3T 晶圓,能以每秒 1000 至 2000 個以上的 token 速度運行多兆參數模型。

1000-2000+ tokens per second

查看原始出處

以約 3 兆參數的 Kimi K3 為例(69 個線性層、24 個密集層),在 4-bit 量化與 8-bit KV 快取設定下,合計需使用 59 片 WSE-3T 晶圓。

官方文章詳細計算指出,每片 44 GB 的 WSE-3T 晶圓可容納 2 個線性層或 1 個密集層(保留空間給 KV 快取),因此 69 個線性層需 35 片、24 個密集層需 24 片,合計為 59 片晶圓。

35 + 24 = 59 wafers

查看原始出處

系統採管線架構且權重常駐晶圓,晶圓間以 RDMA over Ethernet 傳遞 activations(每跳延遲約 2 微秒),併發量取決於 dense 層的 KV 快取記憶體。

文章指出模型權重長駐晶片無需移動,跨晶圓僅透過 RDMA over Ethernet 傳遞 activations,每跳約 2 微秒延遲;流水線滿載不同請求串流推進,最大併發請求數由密集層晶圓分配給 KV 快取的片上容量決定。

RDMA over Ethernet

查看原始出處

2 microseconds per hop

查看原始出處
Cerebras 發布技術文章說明其晶圓級晶片 WSE-3T 部署多兆參數模型的方案,宣稱推論速度可達每秒 1000 至 2000 個 token 以上。該文章以約 3 兆參數的開源模型 Kimi K3 為例(具備 69 個 linear-attention 層與 24 個 dense 層,在 Terminal-Bench 2.1 與 BrowseComp 分別取得 88.3% 與 91.2% 分數)。在 4-bit 權重量化、8-bit KV cache 及平均 256k 請求長度的設定下,該模型總權重約 1.5 TB,93 個層平均每層約需 16 GB 記憶體。 單片 WSE-3T 晶圓具備 44 GB 片上 SRAM 記憶體;因 dense 層需額外空間儲存每個 token 的 KV cache,每片晶圓僅放置 1 個 dense 層,剩餘容量留給快取;linear-attention 層則僅需固定大小狀態,每片晶圓可容納 2 層。依此計算,69 個 linear 層需 35 片晶圓,24 個 dense 層需 24 片,合計需使用 59 片 WSE-3T 晶圓。 Cerebras 指出,系統採管線(pipeline)架構運行,模型權重長駐於晶圓上無須跨晶片搬移,晶圓之間僅透過 RDMA over Ethernet 傳遞 activations,每跳通訊延遲約 2 微秒。多請求處理方面,各階段晶圓同時運算不同請求或微批次(micro-batch)以保持流水線滿載,請求採連續串流方式推進;而系統所能支援的最大同時併發請求量,則取決於 dense 層晶圓剩餘分配給 KV cache 的片上記憶體容量。
讀原始報導

背景

Cerebras 開發了晶圓級晶片(Wafer Scale Engine-3)與 CS-3 超級電腦,並提供 AI 推論及訓練雲端 API 服務。Kimi 則是由 Moonshot AI 推出的大型語言模型系列,其中 Kimi K3 為參數量達 2.8 兆的開放權重模型。

社群討論

社群肯定 Cerebras 帶來的極致推論速度,網友推算 59 片晶圓系統在 190 個併發請求下能耗約 4.1 J/token,但強烈質疑單一晶圓故障就會癱瘓整個 pipeline 且無法滾動升級的容錯風險。此外,多位使用者批評其支援的模型落後主流約 6 至 9 個月,且疑似因過度採用 4-bit 量化導致回答品質嚴重下降,加上晶圓製造難度高與資金受限,實際服務穩定度備受質疑。

來源