跳到主要內容
主題

SGLang

13 則報導橫跨 13 期2026-07-25 起
2026-11-17科技新報 AI

LMSYS Org 成立 SGLang 聯盟,輝達、AMD、Google、Meta 等八家業者共推開源 AI 推論引擎

2026-11-08Reddit r/LocalLLaMA

騰訊發表 DSpine 投機解碼架構:採跨層因果注入,SGLang 吞吐量提升 23.3%

2026-11-04Reddit r/LocalLLaMA

steffi.ai 團隊公布自製 Rust 本地推論引擎 llminfra 的自測數據:Qwen 上 TTFT 較 SGLang 快 13.4 倍

2026-11-03GitHub sgl-project/sglang

SGLang v0.5.23 發布:新增 Muse Spark Open、MiniMax-M3.1-Flash 等 10 款模型,GB300 上 DeepSeek-V4.1 預填吞吐最高提升 1.5 倍

2026-10-27Cloudflare Blog

Cloudflare 與 SGLang 揭露 Workers AI 跨請求快取洩漏:分離推論缺陷致 155 筆超長回應混入他人資料

2026-10-03GitHub sgl-project/sglang

SGLang 發布 v0.5.21:支援 DeepSeek-V4.1 Flash 與 Kimi K3,PD 實例可即時切換 Prefill 與 Decode

2026-10-02Hacker News

研究團隊提出 Context Language Models (CLMs):模型原生管理上下文,BrowseComp-Plus 準確率升 11.4%

2026-09-24NVIDIA Developer

NVIDIA 推出 SWE-Serve 評測基準:實測顯示加入即時服務驗證後,AI 代理程式碼通過率從 69.4% 降至 45.9%

2026-09-18AI 前線

LinkedIn 公布基於 SGLang 的多教師蒸餾框架:將 8B 模型知識壓縮至 600M 排序模型,訓練提速 8 倍

2026-09-09Reddit r/LocalLLaMA

網友實測 Qwen3.8-Flash-Next 推論引擎:262K 滿載 SGLang 首字延遲 35 秒,較 llama.cpp 快 7.3 倍

2026-08-21HuggingFace Blog

LiquidAI 發布 LFM2.5-DSpark 推測解碼模型,GPU 推論最高加速 3.18 倍並首日支援 SGLang 與 llama.cpp

2026-08-09GitHub sgl-project/sglang

SGLang 發布 v0.5.17,首日支援 2.8T 參數 Kimi K3 與 MiniMax-H3 影音生成模型,並初步導入 Rust 前端

2026-07-25GitHub sgl-project/sglang

SGLang v0.5.16強化推論