研究與評測
InfoQ 整理 YC 座談:同一權重換 Harness,ARC-AGI 成績從 30% 升至 95%,主張 Harness 比模型更關鍵
AI 前線單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
InfoQ 根據 YC Paper Club Harness Night 活動影片整理報導,此說法為單一來源、信心等級為 reported。據活動中 VC Visiting Partner Francois Chaubard 的說法,同一權重文件換用不同 Harness,ARC-AGI 成績可從約 30% 提升至 95%,部分設定達 100%;他提到 Harness 1 與 Harness 2 的差距為 18%。報導指出 Claude Opus 在私有保留集上的最佳成績為 30%,Prime Agent 與 Nvidia 的結果則是近期出現,細節未在報導中完整說明。
Prime Agent 作者 Seth Karten 主張以表達力評估 Harness:將上下文分為 L1 模型權重、L2 活躍上下文與 REPL、L3 文件系統等調度狀態,Harness 負責其間的壓縮、增刪改查與精煉,類比為快取與垃圾回收。他以圖靈機與冯·諾依曼計算機比喻,認為外部記憶讀寫使 Harness 能力更強。其設計包括持久子會話、任意 Agent 之間直接傳訊,以及借鑑 continual harness 的即時增刪改查。
OpenJarvis 作者 Jon Saad-Falcon 則關注本地部署,指出雲端 API 按年費用可達數千至數萬美元,並稱本地 LLM 僅落後前沿模型 6 至 12 個月,Qwen 3.8 27B 大致相當於 2025 年 8 月的 Claude 4.6 Opus。報導中這些比較數據未經獨立驗證。
QM 團队 Josh France 與 Regan Bell 分享其為 YC 員工建置的類 Claw 助手經驗:將 Agent 的大腦集中至 Postgres、Harness 精簡為三個工具,並指出 LLM 作為評判會出現「主角綜合症」,權限系統的品質決定 Agent 可取得的資訊,因此仍需人工介入。
讀原始報導背景
Agent harness(又稱 agent scaffolding,即腳手架)是包在大型語言模型外圍的軟體基礎設施,負責工具呼叫、記憶管理、狀態保存、執行環境與回饋迴圈,這些都不屬於模型本身的推理。微軟官方文件指出,harness 會驅動模型與工具呼叫、管理對話狀態與上下文、套用核准政策,並讓 agent 持續推進多步驟任務。