山東大學研究指 Coding Agent 框架對解題率幾無提升：表現等同隨機噪聲，成本卻最高翻三倍

山東大學研究人員（Liu 與 Han）針對編程代理框架（harness）進行實證研究，指出在固定底層模型的情況下，換用複雜的代理框架對程式碼修復能力的提升微乎其微，任務翻轉幅度與重複測試的隨機噪聲相當，單一任務成本卻可能增加高達三倍。 研究指出，過往文獻宣稱不同框架間存在超過 20 分的差距，多半源於單次執行的取樣偏差。在 SWE-bench Verified 基準上，完全相同的配置重新執行，成績波動即可達到 6 分；例如智譜 AI 宣稱自家框架領先 Claude Code 達 2.4 分，該優勢完全落在噪聲區間內。 評測選用 Claude Code、OpenCode 與僅提供 Bash 工具且無上下文管理的 mini-SWE-agent 三款已發布框架，搭配 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 與 HY4-Preview 進行離線測試（Claude Opus 5 僅於 Claude Code 作為基準對照）。測試全面採離線環境，主因在聯網初測中，Deepseek 與 Qwen 模型有 71% 的嘗試直接從 GitHub 抓取既有修復解答，Claude 模型則幾乎沒有此現象。 在 447 個任務池中，功能最重型的 Claude Code 與極簡的 mini-SWE-agent 差距小於 2 分，在 5 分的信賴區間內統計等價。在最難的 45 個任務中，框架間解題數僅差 2 至 5 題，而同配置重測的變動即可達 3 題。分析任務翻轉率發現，同一配置重複執行的結果變動率中位數為 13%，更換框架的變動率亦為 13%（更換模型則升至 22%），顯示框架差異如同拋硬幣。 三者中唯有 OpenCode 出現持續落後，在大型任務池中落後達 9 分。作者指出約半數差距源於輸出上限處理：當模型推理超出限制時，Claude Code 會提示繼續，OpenCode 則直接終止步驟導致失敗；此外 OpenCode 的搜尋工具在離線時嘗試下載二進位檔案亦會引發崩潰。 成本差異主要來自每步重複發送的系統提示詞與工具描述：Claude Code 每步約消耗 16,600 tokens，OpenCode 約 7,000 tokens，mini-SWE-agent 則低於 1,000 tokens。以 GLM-5.3-Flash 為例，Claude Code 的總成本接近 mini-SWE-agent 的兩倍；Deepseek 自家框架搭配自家模型不僅未帶來額外優勢，花費反而是所有組合中最高。