模型發布
SGLang v0.5.23 發布:新增 Muse Spark Open、MiniMax-M3.1-Flash 等 10 款模型,GB300 上 DeepSeek-V4.1 預填吞吐最高提升 1.5 倍
GitHub sgl-project/sglang一手來源
核實資料不足
來源為發布方或研究資料;不代表所有主張已獲獨立核實。
本次未取得足夠原文證據
開源推論框架 SGLang 發布 v0.5.23,本版合併 1007 個 PR,來自 257 位貢獻者。新增支援的模型包括 LLM/VLM 類的 Muse Spark Open、Beam-1.0、MiniMax-M3.1-Flash、MiniCPM-V 4.7、Kev,以及擴散類的 Cosmos3-Nano-Sim、FastH3 Omni、FLUX.3 Image Klein、HY-Nomas、MOSS-Image。
效能方面,DeepSeek-V4.1 在 GB300 上負載下的預填(prefill)吞吐最高提升 1.5 倍,32K 至 64K 提示詞的首字延遲約降低 28%。選擇性啟用的低延遲模式,透過 NVIDIA megakernel 與 AMD monokernel 外掛,將 DeepSeek-V4.1-Flash 解碼以融合持久核心執行,單使用者解碼在 GB300 上最多快 44%,在 MI350X 上最多快 75%。另外,DeepSeek-V4.1-Flash、GLM-5.3-Flash 與 gpt-oss 等 MoE 模型在 H200 上、8K 提示詞的首字時間縮短 30% 至 58%。
Paged Experts 為選擇性功能,可讓超過 GPU 記憶體容量的 MoE 模型在單張消費級 GPU 上執行,相較 CPU offload 最高快 30 倍。LoRA 引擎則新增對 FP8 與 NVFP4 量化 MoE 模型提供 LoRA 轉接器服務的能力,同樣為選擇性啟用。支援 decode context parallelism 的 MLA 類模型,現可將前綴快取存放於 HiCache 的檔案型 L3 儲存。
SGLang 也首次支援 Google TPU7x,透過 PyTorch 原生外掛 SGLang-TorchTPU 運行。升級指令為 `uv pip install --prerelease=allow sglang==0.5.23`,並提供 NVIDIA CUDA 13、AMD MI35x/MI30x、Intel GPU/CPU 及 TPU7x 的 Docker 映像檔。
讀原始報導背景
SGLang 是一套高效能的服務框架(serving framework),可用於部署與擴展推論服務,並提供路由、負載平衡與叢集編排等功能。該專案歡迎社群貢獻,範圍從錯誤修正、文件到模型支援與效能改進皆然。