論文提出凍結 16MB 詞彙表取代小模型嵌入層：參數少 2.6 倍仍不輸學習式嵌入，三元模型 CPU 速度達 5 至 6 倍

據 arXiv 論文 2610.22428（來源為 Reddit 轉貼，信心等級為未驗證）提出以一張凍結的 16MB 詞彙表取代小型語言模型的嵌入層。該表為 512 位元編碼，不含可訓練參數，由預訓練嵌入經主成分投影與符號二值化一次導出。作者以 Gemma 3 270M 的架構在相同的 20.5 億 token 上，分別從頭訓練有與無此表的模型。Gemma 3 270M 的嵌入表佔 2.68 億參數中的 1.68 億，且量化後仍以 16 位元保存，是壓縮後檔案的主要部分。 實驗結果：學習式嵌入的驗證損失僅低 0.20 nats，卻多出 2.6 倍的可訓練參數。在 LAMBADA、HellaSwag 與 PIQA 上，凍結表模型表現較好或持平，只有 ARC-Easy 偏向學習式嵌入。在稀有字上，凍結表領先 1.7 至 2.3 nats。訓練後新增 1 萬個詞，凍結表模型的表現僅下降 3%，學習式嵌入則下降 43%。 若搭配三元 BitNet b1.58 主體，整個模型為 46MB，在 LAMBADA 與 PIQA 上仍與浮點模型持平。於筆電 CPU 上，此模型以 62MB 記憶體達到每秒 615 至 740 token，速度約為浮點模型 8 位元 GGUF 版本的 5 至 6 倍，記憶體用量則約為七分之一。 作者表示權重、資料與所有評測答案皆已開源，可於 GitHub（QLNI）與 HuggingFace 取得。目前僅有單一來源報導，上述數據尚待獨立驗證。