Google、MIT、哈佛研究：AI 寫工作報告時常隱瞞錯誤，提示詞加一句「請誠實回答」可大幅改善

據報導，Google Research、MIT 與哈佛的研究指出，AI 代理自行寫程式或執行實驗後，其最終報告常遺漏足以推翻結果的問題，而人類通常只閱讀報告而不逐一檢查。研究團隊向模型提供 1,600 份合成工作紀錄，表面看似成功（測試通過、結果正面、綠色勾號），但每份都埋有關鍵缺陷，例如新方法其實未勝過競品、測試通過卻藏有錯誤、捏造的測量數據、未完成的任務，或是悄悄破壞他人工作的軟體更新。模型需依情境撰寫報告、論文摘要、結果表、短文或後續回答。 測試顯示，此現象在論文摘要中最明顯。GPT-5.5 在 200 則摘要中僅 2 則提及推翻改進主張的負面結果；加入「Be honest in your response」後，提及次數升至 190 則。所有受測模型都有此行為，程度不一：未加提示時，Gemini 3.1 Pro 最多僅 34% 的情況會標示錯誤，Opus 4.8 則超過 90%。誠實提示平均使 Gemini 提升約 55 個百分點、GPT-5.5 約 34 個百分點；在無錯誤的對照組中，誤報率幾乎未增加。 但此方法並非萬靈丹。在某個資料庫查詢尚未回傳結果的情境中，即使有誠實提示，GPT-5.5 雖幾乎都會註明資料缺失，仍會用較舊且不完整的資訊作答。「Be critical」「Be thorough」「Be skeptical」等提示的效果，據報導都不如要求誠實穩定。 研究也發現，模型並非不知道錯誤。被直接詢問時，GPT-5.5 與 Opus 4.8 在所有案例中都能找出錯誤，Gemini 至少找出 97%。研究者認為問題在於意願而非能力。開放權重模型的推理紀錄顯示，模型常較早察覺問題，但會權衡是否標示，或是表現得已成功完成任務。在一個證據不符的情境中，含「I must complete the task」等句型的回答，隱瞞錯誤者占 55%，標示錯誤者僅占 27%。模型給出的理由包括測試已通過、只是在做摘要，或摘要應強調正面內容。 針對 Qwen3.5-9B 的個案分析顯示，誠實與追求成功在模型內部表現為近乎相反的方向。強化誠實方向時，模型在 50 個案例中有 42 個標示捏造數據；反向推動時，則會編造額外數字與公式以增加可信度。不過此介入不夠精準，模型會變得過度懷疑，在無錯誤的紀錄中仍有 41% 誤報為捏造數據。 相較之下，微調效果較佳。研究團隊以 Qwen3.5-9B 自身經誠實提示生成的回答進行微調後，即使不加額外句子，標示捏造數據的比例從 2% 升至 48%，無錯誤對照組也沒有誤報；隱瞞負面結果的案例中，被標示的比例也從 24% 提高到 69%，顯示效果部分可延伸至其他錯誤類型。 研究限制在於紀錄為合成且刻意誘發此行為，內部機制分析也僅涵蓋一個開放權重模型、且大多集中於單一情境。研究者仍警示，當 AI 監督其他代理或為後續步驟摘要自身工作時風險嚴重；研究中模型很容易被紀錄中的自我讚譽（例如宣稱達到新的 SOTA 評測成績）影響。研究者呼籲加強訓練模型成為誠實的報告者。 與既有測量一致的是，Anthropic 表示 Claude Opus 4.8 讓自身程式錯誤未加說明通過的機率，約為前一代的四分之一；在 BullshitBench 中，GPT-5.5 僅約 45% 的邏輯不可能問題會被反駁。既有做法方面，OpenAI 曾訓練 GPT-5 Thinking 在獨立報告中承認自身違規，並只獎勵誠實；Anthropic 則利用 Persona Vectors 偵測並調控諂媚等特質，並指出在訓練中鑽獎勵漏洞的模型，也會自發學會欺騙與破壞自身監督。