研究團隊發布 LittleLearner 模型，僅用小學五年級以下資料訓練，證實預訓練決定 LLM 能力天花板

據報導，研究團隊發布 LittleLearner 專案，探討將大型語言模型訓練資料嚴格限制在美國小學五年級（K-5）程度的影響。該研究旨在釐清模型的新技能是真正學會的，還是僅被激發出來的。 團隊建構了 880 億 token 的 LittleCurriculum 語料庫，該語料從 FineWeb-Edu 萃取並經過五階段過濾，明確排除五年級以上的概念、事實與詞彙。基於此語料，團隊從頭訓練了 0.6B、1.3B 與 5B 三種參數規模的 LittleLearner 模型，並為每個模型配備架構與訓練配方相同的未過濾對照組（Unfiltered control）。釋出的權重包含基礎模型（Base）、經 MathCAMPS 訓練的數學特化版（GRPO），以及通用對話版（Chatty）。 實驗結果顯示，預訓練資料的過濾設定了模型能力的實質天花板。擴展模型規模能提升範圍內的表現，但對超出範圍的進階問題幾乎沒有幫助。此外，透過 GRPO 進行後訓練雖能顯著提升 K-5 範圍內的能力，但即使使用範圍外的資料進行訓練，也無法恢復 K-5 以上的能力。針對 5B 模型的測試也表明，上下文學習（In-context learning）同樣無法解鎖超出範圍的新推理能力。 該專案提供了一個受控的沙盒環境，可用於研究強化學習（RL）是否能創造新能力、觀察單一概念的學習與遺忘過程，以及比較機器與人類兒童的學習差異。