跳到主要內容
2026-11-14 日報
研究與評測

AllenAI 等機構推出評測基準 XYBench:收錄逾 8 千題,揭露 GPT-5 與 Claude 難以糾正使用者錯誤提問

HuggingFace Blog一手來源
尚未逐項核實

來源為發布方或研究資料;不代表所有主張已獲獨立核實。

AllenAI 聯手卡內基美隆大學(CMU)、NVIDIA 與約翰霍普金斯大學發布基準測試 XYBench,收錄 8,115 道真實問題,評估 AI 助理在面對帶有誤解的提問(即想達成 X 卻詢問錯誤解法 Y 的「XY 問題」)時,能否識別潛在盲點並引導至正確目標。該研究獲得 EMNLP 2026 最佳資源論文獎。 XYBench 的資料來源包含 WikiHow 衍生題目(6,272 題)、Stack Overflow(1,557 題)、Stack Exchange(184 題)與人工精選範例(102 題),涵蓋程式開發、烹飪與居家修繕等日常情境。評測依據語用學設計三項指標:是否同時提供表層請求 Y 與深層目標 X 的解答(Pragmatic solution)、回應重心偏向何者(Pragmatic emphasis),以及是否指出誤解並勸阻錯誤解法(Misconception identification)。評測由 Claude Sonnet 4.5 擔任自動裁判,經人類審查 500 則回應驗證,裁判一致性在解法出現率為 97.5–100%、誤解辨識為 84.6–93.3%、語用重心為 74.2–79.8%。 團隊實測 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 與 DeepSeek-V4 Pro 五款模型,發現所有模型均明顯偏向回答使用者提出的表面需求。以 Stack Overflow 題目為例,模型提供表面需求解答的比例為 75–86%,提供核心目標解答的比例僅 59–71%;在回應重心上,僅 35–41% 的回答主要聚焦於使用者的真實目標,高達 47–57% 仍將篇幅與重心放在使用者原先設定的錯誤做法上,表現均遜於人類參考解答。
讀原始報導
本期分類