Amazon Science 發表論文解釋 ML 研究代理為何不發生過度擬合：成功策略具備高度可壓縮性

Amazon Science 近期發表論文《What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents》，探討為何基於 LLM 的機器學習研究代理在反覆迭代基準測試時，不會產生過度擬合。傳統理論認為，反覆針對同一測試集進行最佳化會導致過度擬合，但人類研究社群與 AI 研究代理在長期共用基準測試下，其進步在全新測試集上依然有效。研究團隊透過重置 AI 代理的記憶並控制其接收的資訊進行實驗，提出基於奧卡姆剃刀原則的數學解釋。論文指出，成功的機器學習策略（如架構、最佳化器、學習率排程）通常高度可壓縮；當策略能以極少的 token 描述時，便沒有足夠空間去「記憶」訓練資料的答案，因此其優異表現必然是捕捉到了資料的真實結構，進而確保了泛化能力。