vLLM 0.26.0 發布
vLLM 0.26.0 正式發布,新增 Inkling 模型家族完整支援,並擴充推測解碼、多模態與 Transformers 5.13.0 後端。此版本強化 KV offloading 與分層次級儲存,也允許依 KV-cache 群組選擇注意力後端,有助於混合模型部署。
GitHub vllm-project/vllm
25 則值得知道的變化
vLLM 0.26.0 正式發布,新增 Inkling 模型家族完整支援,並擴充推測解碼、多模態與 Transformers 5.13.0 後端。此版本強化 KV offloading 與分層次級儲存,也允許依 KV-cache 群組選擇注意力後端,有助於混合模型部署。
IIHS分析2021至2024年NHTSA申報資料,發現Waymo約5,000萬英里無人駕駛里程中,每百萬英里碰撞1.28次,較同期同地區人類駕駛的4.06次低68%。單一車輛事故與受傷事故按里程分別少85%及81%;鳳凰城、洛杉磯、舊金山分別低76%、71%、35%,奧斯汀則高4%,可能受樣本過小及仍在測試影響。
Cursor 讓多個 Agent 僅憑 835 頁 SQLite 手冊,在無原始碼、測試套件與網路的條件下,以 Rust 從零實作資料庫引擎,並通過 sqllogictest 預留測試集的全部測試。