vLLM 0.26.0 發布
vLLM 0.26.0 正式發布,新增 Inkling 模型家族完整支援,並擴充推測解碼、多模態與 Transformers 5.13.0 後端。此版本強化 KV offloading 與分層次級儲存,也允許依 KV-cache 群組選擇注意力後端,有助於混合模型部署。
GitHub vllm-project/vllm
25 則值得知道的變化
vLLM 0.26.0 正式發布,新增 Inkling 模型家族完整支援,並擴充推測解碼、多模態與 Transformers 5.13.0 後端。此版本強化 KV offloading 與分層次級儲存,也允許依 KV-cache 群組選擇注意力後端,有助於混合模型部署。
昆侖萬維發布 Matrix-3.5、Mureka V9.5 與 O3,以及機器人世界模型 Riemann-1.0,分別投入互動內容、音樂創作與機器人決策。這批模型聚焦即時生成、長期空間記憶,以及動作與未來狀態的聯合預測,顯示世界模型正由研究走向內容與具身智慧產業。
據報導,微軟公布圖像生成模型 MAI-Image-2.5-Pro 與低延遲文字轉語音模型 MAI-Voice-2 Flash,並分別上線 Microsoft Foundry 與 Azure Speech。