SGLang 發布 v0.5.17,首日支援 2.8T 參數 Kimi K3 與 MiniMax-H3 影音生成模型,並初步導入 Rust 前端
新版原生支援 Kimi K3 的 MXFP4 權重並於 GB300 驗證,新增 DWDP 預填策略,並加入權重快取以縮短重啟時間。
GitHub sgl-project/sglang一手來源
27 則值得知道的變化
新版原生支援 Kimi K3 的 MXFP4 權重並於 GB300 驗證,新增 DWDP 預填策略,並加入權重快取以縮短重啟時間。
該設施採用 NVIDIA DSX 平台,NVIDIA 亦表態將注資,支持其拓展 2 GW 算力目標,已獲 Perplexity 採用。
該電廠初期將脫離德州電網獨立運作,獲准年排 3300 萬噸二氧化碳,超越全美最大燃煤電廠,凸顯 AI 耗電與淨零目標的衝突。
SIE 採 Apache 2.0 授權,內建負載平衡與 KEDA 自動擴展等生產級堆疊,可按需載入 Qwen3 等模型處理檢索、OCR 與結構化輸出任務。
執行長於財報會議指出,受 AI 代理指數級增長影響,人類在網路上的存在將微不足道;公司第二季營收達 6.96 億美元。
新建的兩座資料中心預計消耗該州近三分之一電力。能源公司警告若開發商拒付基建費將導致民生電價上漲,開發商則反控對方供電承諾跳票。
專為 1.58-bit 模型設計,透過 AVX-512 直接運算並內建 OpenAI 相容 API;開發者坦言單批次解碼已達記憶體頻寬瓶頸。