跳到主要內容
2026-10-28 日報
開發生態

開源專案 OpenJet 推出 Qwen3.8-27B 專用 CUDA 引擎,單張 RTX 3090 平行運行 4 個 Agent 達 288 tok/s

Reddit r/LocalLLaMA單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

社群開發者於 Reddit 開源本地編程代理工具 OpenJet 新版本,宣稱透過客製化 CUDA megakernel 推論引擎,可在單張 24GB 顯示卡(RTX 3090)上同時平行運行 4 個基於 Qwen3.8-27B Q4_K_M 的 Coding Agent。該數據目前屬社群實測回報,尚未經第三方獨立基準驗證。 根據作者發布的測試數據,在 4 個 Agent 平行的配置下: - 短提示詞解碼:OpenJet 達到每 Agent 64-72 tok/s(總吞吐量 256-288 tok/s),相較 llama-server --parallel 4 的每 Agent 18-20 tok/s(總計 72-80 tok/s)提升約 3 至 4 倍。單一 Agent 運作時解碼速度為 117 tok/s;在包含工具呼叫與測試執行的真實編程情境下,4 個 Agent 總吞吐量約為 150-200 tok/s。 - 長文本解碼:在各自維持 23K 上下文時,OpenJet 解碼速度為 52-55 tok/s(llama-server 為 15-16 tok/s);後續請求的首字輸出時間(TTFT)由 llama-server 的 13.4 秒降至 0.2-0.5 秒。 - 混合負載:當另一個 Agent 正在處理 20K 提示詞時,解碼中的 Agent 仍能維持 9.5 tok/s,而 llama-server 則降至 0.6 tok/s。 在運作架構上,GPU 逐 token 解碼主要受限於記憶體頻寬,在 RTX 3090(936 GB/s)上每次讀取 16.7GB 權重需耗時約 18ms。OpenJet 將所有活躍 Agent 的工作打包為單一批次(4 個 Agent 包含次個 token 與 2 個 MTP/prompt-lookup 草稿 token,共 12 行),單次串流讀取權重並利用 Tensor Cores 完成矩陣乘法,使多個 Agent 平攤讀取開銷。整個運算作為單一持久性 CUDA kernel(persistent CUDA kernel)執行,並在同一通道內完成草稿驗證。 此外,該引擎採用分塊(chunked)處理提示詞以避免阻塞其他 Agent 生成;配置 132K token 的分頁式(paged)q8_0 KV 快取池供動態共用;超過 1024 token 的共通系統提示詞與工具列表僅儲存與處理一次;後續對話保留在既有 slot 內。新版同時引入溫度大於 0 時的 MTP 草稿拒絕抽樣(Rejection sampling),並提供終端即時監控工具 mk_top。 該引擎支援 Linux、CUDA 12+ 與具備 24GB 記憶體的 RTX 30/40/50 系列顯示卡,相容 OpenAI API 介面。目前的限制包括僅支援 Q4_K_M 格式、最多支援 8 個 Agent,且會忽略 presence 與 repetition 懲罰參數;由於算術執行順序不同,輸出結果與 llama.cpp 不具備位元級一致性,但作者稱兩者間的 KL 散度相當於 llama.cpp 自身的批次與逐字輸出差異。
讀原始報導

這則事件的發展

  1. 2026-10-20社群實測消費級硬體推論 Qwen3.8:2× RTX 5070 Ti 達 379 tok/s,千歐性價比大幅超越 5090