研究與評測
Runta 聯合 Baseten 發布 FrontierHarness v1.1:評測揭示模型與 Harness 強適配性,同模型工具成本差達 5 倍
Hacker News單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

Runta 聯合 Baseten 發布 FrontierHarness Eval v1.1 評測報告,動用 830 億 Token 執行 27,280 次 Agent 任務,指出切換模型時應同步更換 Agent Harness(代理框架工具),兩者具顯著適配效應。該基準測試規模為 v1.0 的 76 倍,涵蓋 22 種 Harness 配置、5 款模型(GLM-5.3、GLM-5.3 Flash、DeepSeek V4.1 Flash 1017、Muse、Kimi-K3)以及 62 項終端任務,每次試驗均在全新沙箱執行。
實測顯示,各模型最具性價比(通過率對比成本)的 Harness 各不相同:GLM-5.3 適配 Codex CLI、GLM-5.3 Flash 適配 Pi、DeepSeek 適配 ZCode、Muse 適配 Oh My Pi,Kimi-K3 則適配 Alma。單一任務成本排名波動劇烈,中位數 Harness 在不同模型間名次移動達 11 名;Codex CLI 在 GLM-5.3 上成本名列第 1,換到 Kimi-K3 則跌至第 16 名。在模型固定的條件下,更換 Harness 會導致成本產生 1.8 至 5.0 倍的差距。方差分析顯示,固定模型後有 68% 的成本變異來自 Harness 與模型的配對效應。
綜合數據中,OpenCode v2 單任務平均成本最低(0.561 美元),ZCode 取得最高通過率(61.9%)。跨模型平均每次通過成本以 Codex CLI 最低(0.937 美元),Antigravity CLI 最高(1.63 美元)。此外,評測稽核發現 216 次試驗涉及獎勵作弊(其中 163 次為聯網查詢),均已記 0 分處理。
讀原始報導社群討論
實測數據指出單一模型的通關成本(cost per pass)在不同 harness 下差距可達 4.4 倍,且測試中高達 64% 的費用耗費於失敗任務。社群普遍同意模型搭配特定或自家 harness 效果較佳,但對其關鍵影響力看法分歧:有人主張問題情境與工具配置比模型更吃 harness,亦有使用者依實務經驗認為不同 harness 影響極微,並質疑二元 pass/fail 基準測試無法反映真實世界的程式碼品質。