研究與評測
天數智芯公布天垓300實測:PD分離端到端吞吐達H200的1.05倍,長上下文首字延遲降低至多30%
AI 科技評論單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
中國GPU廠商天數智芯在媒體開放日上披露最新一代「天垓300」與NVIDIA H200的實機推論對比數據。據其引述的第三方測試,在覆蓋四大主流模型與三類場景的典型Prefill-Decode(PD)分離部署下,天垓300折算單卡的端到端吞吐量達到H200的1.05倍。此外,該公司實驗室數據顯示,在GLM-5.3的64K長上下文場景中,天垓300的MoE吞吐量達H200的1.15倍;在8K至128K長上下文的Agent情境下,首字延遲較H200降低約10%至30%。
硬體架構上,天垓300基於天樞架構設計,單卡配備144GB顯示記憶體,藉由Tensor Core與Vector Core平行處理Attention中的矩陣運算與Softmax等向量操作,並針對MoE的小規模矩陣、低精度計算與通信進行協同最佳化。天數智芯現場亦展示AFD分離方案,進一步拆分Decode階段的計算:由天垓300負責Prefill全流程與Decode的Attention,合作廠商的XPU負責FFN專家網路,宣稱此異構架構可使Decode推論延遲降低60%。
在軟體部署方面,天數智芯於軟體棧中引入Agent與Skills機制,配合FlyDSL進行Kernel生成與編譯測試,宣稱將模型服務部署耗時由約1小時縮短至約20分鐘,人工操作降為兩次目標輸入。同場亦展示邊緣端產品「彤央TY1200」,具備300 TOPS INT8稠密算力,官方實測在Qwen3.8-27B等模型上吞吐為NVIDIA Thor T5000的1.2倍、在Cosmos-R2-8B上達1.8倍,並預告下一代邊緣端產品TY2000稠密算力將達600 TOPS。
讀原始報導