Apple 研究：阿英雙語預訓練在資料受限下勝過超參數搜尋，模型越大優勢越明顯

Apple ML 發表研究〈Mix, Don’t Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings〉，比較資料受限的阿拉伯語預訓練中，混合高資源英語資料與積極超參數搜尋的效果。研究以阿拉伯語為目標語言、英語為輔助語言，涵蓋 150M 至 1.43B 參數的四種模型規模，約進行 1000 次預訓練。結果顯示，資料混合在驗證損失與下游任務準確度上的改善都大於超參數調整，而且模型規模越大，差距越明顯。研究估計，混合資料在驗證損失上的效益相當於增加 2–3 倍獨特目標語言資料，在下游任務準確度上的效益則相當於增加 2–13 倍；但目標語言驗證損失會系統性低估資料混合的價值。研究團隊建議優先調整混合比例，而非投入更多超參數搜尋，並可透過 μP 從小型代理模型轉移超參數。該論文標示為 2026 年 10 月發表。