跳到主要內容
2026-10-07 日報
開發生態

llama.cpp 提交 PR 引入 -sm tensor 參數,透過 RPC 支援跨機器張量平行運算

Reddit r/LocalLLaMA單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

據 Reddit 社群消息,開源推論框架 llama.cpp 近期出現一項 Pull Request(#26610,由開發者 am17an 提交)。該 PR 透過 RPC 新增了 `-sm tensor` 參數,旨在支援跨機器的張量平行運算(Tensor Parallelism)。這意味著使用者有望在多台獨立的電腦上共同運行單一模型,並在所有節點間執行張量平行處理。目前該功能仍在 PR 階段,尚未正式合併。
讀原始報導

這則事件的發展

  1. 2026-10-06llama.cpp 釋出 v0.6.0,支援 Qwen4Exp 的 MTP 推測解碼
  2. 2026-10-03llama.cpp 提交 PR 支援 /v1/systemone API 與 OpenJev、Julia-1 等六款新模型
  3. 2026-09-28Reddit 網友宣稱 llama.cpp 的 Prompt Lookup Drafting 效能提升 42 倍
  4. 2026-09-27據報開發者最佳化 llama.cpp 的 prompt lookup decoding,草稿生成速度最高提升 140 倍
本期分類
相關主題