跳到主要內容
2026-10-03 日報
模型發布

llama.cpp 提交 PR 支援 /v1/systemone API 與 OpenJev、Julia-1 等六款新模型

Reddit r/LocalLLaMA單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

據 Reddit 社群發現,開源推論框架 llama.cpp 近期透過 Pull Request(#29818 與 #29844)新增 `/v1/systemone` API,並加入多款新模型的支援。目前 `ggml-org` 已在 Hugging Face 上釋出對應的 GGUF 格式檔案,包含 OpenJev、lev、Julia-1、Laya、Kev-4B 以及 Bespoke-Nimble-9B-v3 共六款模型。根據官方部落格網址(`decision-models-in-llamacpp`)推測,此次更新與決策模型(decision models)在 llama.cpp 中的應用有關。
讀原始報導

這則事件的發展

  1. 2026-09-28Reddit 網友宣稱 llama.cpp 的 Prompt Lookup Drafting 效能提升 42 倍
  2. 2026-09-27據報開發者最佳化 llama.cpp 的 prompt lookup decoding,草稿生成速度最高提升 140 倍
  3. 2026-09-19開發者釋出 llama.cpp 分支,透過專家串流讓 64GB Mac 以 27 tok/s 運行 95.5GB Qwen3.8-Flash-Next