llama.cpp 與 ggml 發布 v1.0.0 正式版:確立語意化版本與 API 穩定性,支援逾 150 種模型架構
專案歷時 3.5 年,新版將 API 與 ABI 破壞性變更嚴格綁定主版本號,支援投機解碼,並涵蓋 Android、iOS 等多平台安裝管道。
65 則值得知道的變化
專案歷時 3.5 年,新版將 API 與 ABI 破壞性變更嚴格綁定主版本號,支援投機解碼,並涵蓋 Android、iOS 等多平台安裝管道。
液冷散熱與高階供電放量恐由 2027 年延至 2028 年;台積電等具跨平台彈性者抗跌,高度依賴輝達新規的零組件廠獲利承壓。
MoE 專家層前向運算採用 NVFP4、反向搭配 MXFP8 隨機捨入,相較全 MXFP8 預訓練快 8%,且最終模型無需校準。
模型以混合精度量化與專家剪枝將體積縮至 BF16 的九分之一,推論速度達 INT4 的兩倍,並釋出專用 llama.cpp 分支。
開發者透過多代理自動調整張量精度,在 128K 上下文測試中,9B 模型 Q3 規格以 4.7GB 達到 90.5% 準確率。
超過上限後新的計費呼叫會被拒絕,靜態資源仍照常提供;可用 Dashboard、cf CLI 或 REST API 設定,目前支援 Workers 與 Durable Objects。
故障波及 Outlook、Teams、Copilot 及 OpenAI 與 Anthropic 連線元件,官方已修復底層問題並分階段導流復原。
雙方正與業界夥伴打造以記憶體為中心的運算架構,允許 AI 伺服器共享記憶體資源,解決代理型 AI 對容量與頻寬激增的需求。
架構涵蓋客戶端、網關與 AgentServer 三層,提供事件驅動的熱插拔擴充機制,並在 WorkSwarm 內建存檔點回退與多 Harness 切換。
容器映像檔上限擴至 10 GB 並改用快照還原,多輪互動記憶體計費最多省 68%,已於東京與新加坡等 19 個區域預設啟用。
支援純 C++ 跨 CPU、GPU 與 NPU 零拷貝互通,且能由 AI 代理自動調校,WebGPU 實測影格率自不足 10fps 升至 30fps 以上。
新系統整合沙箱、KV Cache 與記憶能力,巴基斯坦同步推出首個海外衍生版 HECOS 1.0,社群目標以 AI 處理 80% CVE。
團隊捨棄管線平行,改採 384 路 FSDP 搭配節點內 4 路專家平行,並結合 Muon 最佳化器將序列長度推展至 64k。
透過 capcurl 與 capsudo 組件將操作權限與底層金鑰分離,防止 AI 代理遭遇提示注入時外洩 API 權杖或橫向移動。
雲端系統整合氣象與流量數據推薦最佳航線,由人工專家審核後發布;航空公司表達支持,但管制員工會抗議未參與測試。
系統遇 HTTP 402 即自動簽署扣款,各類端點每千次查詢均為 5 美元且限時補貼 Gas 費,支援 Stripe 開發的 Purl 錢包。
事故起於 UTC 09:58 的登入驗證失敗,波及終端工具 Claude Code 與網頁端,官方部署修正後於 11:58 宣布排除。