TutorMoments 評估框架與資料集開源：實測 7 款 LLM 家教傾向過度幫助學生，難以拿捏輔導時機

Allen AI 發布 TutorMoments 預覽版評估框架與開源資料集，旨在測試 LLM 在教育場景中是否能拿捏「提供輔助」與「讓學生獨立思考」的時機。 該框架採用重播（replay-based）機制，TutorMoments-Preview 資料集包含 462 份去識別化的美國 2-7 年級真實一對一數學輔導純文字對話紀錄。27 位具經驗的數學教師在對話中標註了超過 1,500 個關鍵決策點，指出家教何時該降低難度提供鷹架（scaffolding），何時該要求嚴謹思考（pushing for rigor）。 評估時，系統會將對話暫停在決策點，交由受測 LLM 扮演家教，與另一個扮演學生的 LLM 進行 5 輪模擬對話。LLM 評分管道會依據教師標註的多數決基準，評估模型是否在需要時提供輔助、在學生準備好時要求獨立思考，並避免過度輔助。 初步針對 7 款 LLM 的測試結果顯示，若僅提示模型「好好教」，LLM 傾向於過度幫助學生，極少要求學生深入思考；即使在提示詞中明確說明權衡關係，模型表現雖有提升，但仍無法達到人類家教的水準，且各模型間的判斷穩定性差異極大。 官方目前已開源去識別化對話資料集、重播管道程式碼以及模型家教的重播結果。