SGLang 發布 v0.5.21:支援 DeepSeek-V4.1 Flash 與 Kimi K3,PD 實例可即時切換 Prefill 與 Decode
新版預設以 Rust 核心執行 Prefix cache,新增 Decisions API,並支援在 AMD MI355X 執行 GLM-5.3-Flash,同時大幅擴充投機解碼功能。
58 則值得知道的變化
新版預設以 Rust 核心執行 Prefix cache,新增 Decisions API,並支援在 AMD MI355X 執行 GLM-5.3-Flash,同時大幅擴充投機解碼功能。
資金含 2.23 億美元 B 輪股權與中信銀 4.45 億美元聯貸,將投入推論服務及全球擴張,目前其平台每週處理約 4 兆個 tokens。
新系統將運算移至伺服器端以提升準確度,結合開源 Federated Language,並將存取策略發布至公開日誌 Rekor 供外部稽核。
9月26日晚間市府全球資訊網與雲平臺無法連線,據調查因市政大樓中央空調未納入控制系統,跳電後儲存設備觸發過熱保護而關閉。
Supabase 將維持 Postgres 與 SQLite 雙軌發展,利用 Turso 單機可管理數百萬個資料庫的架構,滿足 AI 代理大量且低成本的按需建置需求。
專為大記憶體 Mac、CUDA 與 ROCm 設計,採 MIT 授權,內建 API 與原生代理,並支援將長提示詞快取至 SSD。
全美逾百個資料中心項目受阻,AWS 執行長將其比作二戰後公路網建設,並透露今年計畫投入 2200 億美元擴建 AI 基礎設施。
Anthropic IPO 文件揭露此 5 年期協議,預計 2027 年取得次世代 TPU 算力並成為博通最大客戶,引發循環融資疑慮。
據鈦媒體報導,DeepSeek 正轉向華為生態,涉及底層算力基礎設施的重大轉變,報導形容此舉並非單純適配,而是一次「搬家」。
知情人士指雙方於今年夏天展開算力租賃談判,顯示 SpaceX 儘管面臨馬斯克初期的反對,仍決定全面投入新興雲端市場。