研究與評測
OpenAI 發布 LifeVal 個人化基準:AI 助理難善用過往對話,相關評分條件達標率僅 33.33%
iThome單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據

據 iThome 報導,OpenAI 公布日常生活任務基準測試 LifeVal,研究發現即使 AI 助理能存取使用者過往的 ChatGPT 對話,仍可能漏掉完成任務所需的個人資訊。在被判定需要從歷史對話取得資訊的評分條件中,平均達標率為 33.33%。
LifeVal 收錄 169 項任務,涵蓋照護、教育、購物、個人財務與政府服務。任務由具相關經驗的參與者設計,結合經去識別化處理的 ChatGPT 對話、記憶、參考檔案與額外背景資訊,測試 AI 透過瀏覽器與電腦操作完成工作。評測主要在模擬環境中進行,情境包括尋找符合家庭條件的幼兒園、安排防洪志工與搜尋住宅。
分項來看,需使用 ChatGPT 記憶的評分條件平均達標率為 47.8%,需使用額外背景資訊者為 55.8%。研究團隊另模擬把原本直接提供的背景資訊改放進歷史對話,相關條件達標率降至 41.5%,顯示模型較難從過往對話中找出所需資訊。
研究人員也檢查部分標註為需查閱歷史對話、達標率為 100% 的條件,發現所需資訊其實可從其他資料取得,或由對話標題推知,因此即使達標,也無法證明模型確實從歷史對話中找到相關資訊。論文未指明個人化分析所用的模型。
整體評測中,GPT-6 Astra 平均得分 80.6%,略高於 GPT-5.6 的 80.0%,GPT-5.2 則為 49.3%。評分採自動機制,檢查模型產出的檔案與模擬環境狀態變化。OpenAI 已公開論文與評測結果,但未釋出完整任務資料集與評測程式,外部難以完整複驗。
讀原始報導