Meta 測試以 Raw Bytes 取代 Token 訓練 1B 模型：計算步數增 5 倍且實測仍落後

社群討論引述一篇 arXiv 論文指出，Meta 嘗試捨棄傳統 Token 機制，改以 Raw Bytes（原始位元組）直接讀取字元的方式訓練約 1B 參數的小型語言模型。該實驗部分透過 Llama 3 8B 教師模型進行知識蒸餾，由於教師模型基於 Token 運作，研究團隊設計了特定機制在兩者表徵間進行轉換。實測結果顯示，訓練初期 Token 模型的表現顯著領先；然而隨著訓練量增加，Token 模型效能趨於平緩，位元組模型則持續進步，且位元組模型達到相同效能水準所需的文本資料量減少了約 6 倍。不過論文提及的優勢多屬推論：超越 Llama 3.2 1B 與 Gemma 3 1B 僅是根據趨勢線外推的預測，在實際完成的訓練週期內 Token 模型依然領先。此外，因一個 Token 通常涵蓋 4 至 5 個字母，位元組模型處理相同文本需耗費約 5 倍計算步數，產生較高算力成本，且目前僅在 1B 規模測試，尚未驗證能否擴展至更大模型。