社群實測雙 DGX Spark 混搭 3090 運行 DeepSeek-V4.1-Flash:256K Prefill 逾 2,600 tok/s、四串流 JSON 達 322 tok/s
透過 RDMA 與投機解碼卸載釋出記憶體,NVMe 前綴快取將 150K 提示的首字延遲由 58.6 秒降至 2.58 秒。
Reddit r/LocalLLaMA單一來源
34 則值得知道的變化
透過 RDMA 與投機解碼卸載釋出記憶體,NVMe 前綴快取將 150K 提示的首字延遲由 58.6 秒降至 2.58 秒。
結合 Mage-CUA-Forge 環境合成與五階段課程,經線上強化學習後使呼叫次數減少 13%、輸出 Token 降低 25.4%,主打裝置端桌面操作。
以該模型實測,限制 16GB VRAM 時雖提速 56%,但多步推理分數驟降 5.2 分且事實召回嚴重劣化。