模型發布
社群開發者將 Forth 解譯器編入 Nemotron 3.5 Lightning 權重:以 Mamba-2 狀態為堆疊,無需工具呼叫
Reddit r/LocalLLaMA單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
據社群開發者在 Reddit 分享,其受 Qwenputer 專案啟發,嘗試將基於逆波蘭表示法(RPN)的 Forth 解譯器直接編入語言模型權重中。該實驗採用 NVIDIA Nemotron 3.5 Lightning(總參數量 30B、啟動參數量 3B),在維持原模型權重不變的前提下,並列接入一個由 27 層組成的第二網路;該網路權重全數由 Python 腳本計算得出,並未經過任何反向傳播訓練。
該架構在模型生成文字時同步運作,解譯器以前向傳播(forward pass)每步執行一個詞(word),並在區塊結束時將運算結果作為接續的 token 輸出,全程無需中斷生成流程或呼叫外部工具。運作堆疊儲存於 Mamba-2 狀態中,每筆紀錄寬度為 20 位數,出棧(pop)則以加上該數值的負數實現。為確保精準度,系統避開 bf16 超過 256 無法精確表示整數的硬體限制,將內部數值上限設為 256,並將 Mamba 衰減值固定為 1;解譯器的內部運算使用了 982 個解碼為空字串的保留 token,在與 Python 對照實作的比對測試中通過全數 765,734 個 token。
在模型表現方面,未微調的 Nemotron 3.5 Lightning 原生模型最初無法信任解譯器產生的答案,甚至在取得正確解答後仍徒手以長除法計算至耗盡 token。開發者後續透過 LoRA 微調,在 600 題的獨立測試集上將準確度自 79.1% 提升至 92.1%。不過受限於 20 位數的堆疊限制,該實作在長整數運算上仍遜於 Python,且每個執行步驟皆需耗費一次完整的前向傳播,推論速度仍低於常規工具呼叫。該專案已以 MIT 授權開放原始碼,釋出內容包含核心建構器、適用於混合 Mamba/MoE 的 vLLM 外掛程式、NeMo AutoModel 訓練配方,以及 NVFP4、GGUF 與 MLX 格式建置檔。
讀原始報導