Reddit 貼文稱發布 Recursive BitNet N-Gram 102M：以 4.703B tokens 訓練 65,536-token 長上下文

Reddit r/LocalLLaMA 一則未經驗證的貼文稱，作者發布 Recursive BitNet N-Gram 102M，結合三值 BitNet 權重、遞迴共享 Transformer 層與雜湊 n-gram 嵌入；貼文與模型卡均註明曾使用 AI 輔助製作。模型從隨機初始化開始，含 102.28M 個獨立參數，採用 hidden size 1,024、16 個 query heads、4 個 KV heads 的 grouped-query attention，以及 squared-ReLU 前饋層；6 個 Transformer blocks 執行兩次，兩次通過共享權重，並在各有效深度使用獨立 KV cache。BitLinear 投影在前向傳播使用 {-1, 0, +1} 的縮放權重，訓練則保留 FP32 主權重並使用 BF16 activations；2、3、4-gram 嵌入分支約增加 1.6M 個參數。 據貼文，訓練分為兩階段：骨幹模型使用 4 張 NVIDIA B300，將上下文從 2K 延伸至 4K，處理 3.487B 個輸入 tokens；加入 n-gram 分支後，再以 1 張 NVIDIA B300、65,536-token 上下文繼續訓練 1.216B tokens，合計 4.703B tokens，作者稱總預算約為 100 歐元。兩階段皆使用 AdamW，有效批次大小為 131,072 個輸入 tokens；其中約 2.781B 個位置實際提供監督目標，約八分之一的延續訓練更新包含最遠跨越 60K tokens 的合成記憶情境。 貼文使用 lm-eval 0.4.12 進行 zero-shot 評測，以完整可用資料切分、純文字提示與 2,048-token 評分上下文，合計 20,465 題。結果包括 ARC-Easy 40.11%、ARC-Challenge 23.63%、PIQA 57.62%、WinoGrande 51.22%、OpenBookQA 25.60%、BoolQ 58.65% 與 HellaSwag 27.27%，未加權平均為 40.59%。一次、兩次與三次遞迴通過的平均分數分別為 39.19%、40.59% 與 39.67%。 貼文稱，釋出內容包括 Hugging Face 上的模型權重、推論程式碼、模型卡與評測結果；FP32 主權重大小為 409.14MB，打包版本為 124.24MB，打包時每個位元組儲存五個三值權重，其餘嵌入與張量仍使用浮點格式。作者表示這是結果有限的實驗預覽，相關主張目前沒有其他佐證來源。