研究與評測
社群實測雙 DGX Spark 混搭 3090 運行 DeepSeek-V4.1-Flash:256K Prefill 逾 2,600 tok/s、四串流 JSON 達 322 tok/s
Reddit r/LocalLLaMA單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
據 Reddit 社群 LocalLLaMA 開發者公開實測,其採用兩台 DGX Spark 搭配一台搭載雙 RTX 3090 的舊 EPYC 伺服器,部署 2.75 bpw EXL3 量化版 DeepSeek-V4.1-Flash-1017 並釋出完整數據與設定檔。架構上,兩台 DGX Spark 透過 vLLM 執行張量平行(tensor parallel);EPYC 伺服器則負責透過 RDMA 以系統記憶體提供 Engram 表格,並藉由 NVLink 互聯的雙 3090 運行 DSpark 投機解碼 drafter。這項卸載設計為 Spark 騰出約 1.93M tokens 的 KV 快取池;配合 Spark 上的 NVMe 前綴快取,150K prompt 重啟後的首字回傳延遲(TTFT)從冷啟動的 58.6 秒縮減至 2.58 秒。
在 sparkDash 測試標準下(Spark 時脈設為 2,300 MHz,取 3 次中位數),提示預填充(prefill)速度在 4K 為 2,827 tok/s、32K 為 2,667 tok/s、128K 為 2,650 tok/s,至 256K 仍達 2,618 tok/s(首字耗時 100 秒),在 8K 至 128K 區間高於 MiaAI(2,065–2,155 tok/s)與 bertholomus(2,439–2,568 tok/s)的實測數據。解碼表現方面,4 串流 JSON 結構化輸出達 322 tok/s(單串流 138 tok/s),程式碼輸出為 192 tok/s(高於 MiaAI 的 166 tok/s);散文寫作在關閉思考模式下單串流為 66 tok/s、4 串流 130 tok/s,開啟思考模式後分別為 56 與 105 tok/s。
實測也暴露出多項架構瓶頸:該系統在純散文單串流解碼落後 MiaAI 的 80.7 tok/s,128K prompt 後的解碼速度僅 62 tok/s(bertholomus 為 99 tok/s),且投機解碼在散文情境每輪僅能接受約 2 個 token(程式碼與 JSON 則可達 4–5 個)。此外,短請求卡在冷 93K prompt 後需等待 34 秒。精度方面,在 sudoingX 的 KLD 測試中,其真實 tool-call 步驟與原始模型 top token 一致率為 95.9%(KLD 0.018)。相關啟動腳本與原始 JSON 測試資料已開源至 GitHub,惟該數據尚未經第三方獨立復現。
讀原始報導