開發生態
llama.cpp 提交 PR 引入 -sm tensor 參數,透過 RPC 支援跨機器張量平行運算
Reddit r/LocalLLaMA單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
據 Reddit 社群消息,開源推論框架 llama.cpp 近期出現一項 Pull Request(#26610,由開發者 am17an 提交)。該 PR 透過 RPC 新增了 `-sm tensor` 參數,旨在支援跨機器的張量平行運算(Tensor Parallelism)。這意味著使用者有望在多台獨立的電腦上共同運行單一模型,並在所有節點間執行張量平行處理。目前該功能仍在 PR 階段,尚未正式合併。
讀原始報導這則事件的發展
本期分類
相關主題