開發生態
開發者實踐 Claude Code 與本地 9B 模型混合架構:由大模型規劃、小模型執行完成 75 次 Commit 跨儲存庫合併
Reddit r/LocalLLaMA單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
有開發者在 Reddit r/LocalLLaMA 分享一套結合雲端大模型與本地端側小模型的混合程式開發工作流,旨在降低 Claude 的 Token 開銷。該架構由 Claude Code 負責制定規格、切分任務卡並在合併前驗證,耗費大量 Token 的機械式操作(如執行指令、建置、輪詢任務與 Git 操作)則交由本地運行的 8-bit 量化 Ornith 1.5-9B 模型處理。
根據作者公開的提示規範文件,端側 9B 模型不具備自主探索能力且自我報告往往不可靠,因此規劃模型必須提供絕對路徑、精確行號範圍、限制每次僅編輯 1 至 3 行程式碼,並在每個步驟附帶指令與預期輸出,同時給予明確的終止規則。執行端則採每個任務開啟獨立新工作階段、以規劃文件作為記憶體,並嚴格透過 Git 和日誌(而非模型回報的摘要)進行事後核對。
實測結果顯示,該 9B 模型成功完成橫跨兩個儲存庫、共 75 次 Commit 的合併,且通過所有回歸測試。不過該流程也存在明顯取捨:執行耗時近一整天,遠慢於 Claude 獨立執行該階段所需的約一小時,且需具備可運行本地模型的硬體配置。
讀原始報導