DeepSeek 開源生產級推論框架 DeepInfer：支援 V4.1-Flash 並適配 SM100 與昇騰 950

DeepSeek 依據 Apache License 2.0 正式開源其內部生產環境使用的高性能推論框架 DeepInfer，用於支援大型服務的離線推論與規模化部署。該框架主要基於 vLLM 架構打造，並借鑑了 SGLang 與 TensorRT-LLM 的設計，首波支援的模型為 DeepSeek-V4.1-Flash（預設權重為 DeepSeek-V4.1-Flash-1017），官方表示未來新模型的支援程式碼也將持續開源。 在硬體適配方面，DeepInfer 支援 NVIDIA SM100 GPU（需 CUDA 13）與華為昇騰（Huawei Ascend）950 NPU（需 CANN 9.2），運行環境需 Linux、GCC 13.0 以上及 Python 3.12。效能測試基準顯示，其 Prefill 階段於單一 scale-up 網域內採用 4 顆 SM100 GPU 測量，Decode 階段則採用 64 顆 SM100 GPU 進行平行運算。 DeepInfer 整合了多項底層運算與排程技術： - 算子最佳化：納入 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及自訂 TileLang kernels。 - 平行運算：支援 Attention DP、balanced CP，以及 MoE 架構的 EP 與 EPLB 負載平衡。 - 解碼加速：具備 DSpark 與基於信心度的驗證排程（confidence-scheduled verification），透過草稿 Token 加速解碼，預設最大長度為 5，並支援變長 MTP。 - Prefill 負載最佳化：採用 Decoder SWA bounded replay，僅重播有界後綴（預設保留涵蓋 SWA 視窗與最大回溯長度的 140 個 Token）以減少計算負擔。 - 排程與採樣：預設啟用非同步排程，將 CPU 批次排程與硬體執行重疊；NVIDIA 平台額外支援批次不變性推論（Batch-invariant inference）與確定性取樣。 - 限制生成：支援 Regex、JSON schema 與 EBNF 文法的結構化輸出。 官方指出，本次開源版本聚焦於離線推論核心，若要構建完整的線上推論服務，社群仍需自行建置 KV 快取系統、VE/Prefill/Decode 分離解耦架構，以及跨資料平行副本的負載平衡機制。此外，DeepSeek 同步釋出了 deepseek-recipe 工具，可重現官方 API 的 Token 處理邏輯，確保自託管環境的推論表現與官方服務一致。