跳到主要內容
2026-11-14 日報
模型發布

Precision Numerics 開源 1.8-bit MoE 模型 Boole-32B-A2.5B-Preview:體積 9GB、RTX 5090 推論達 565 token/s

Reddit r/LocalLLaMA單一來源
尚未逐項核實

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

開發團隊 Precision Numerics 於社群平台宣布,開源發布極低位元 MoE 模型 Boole-32B-A2.5B-Preview。該模型為 Recursive 旗下 flint 模型的早期 1.8-bit 實驗版本,透過混合精度量化、專家剪枝與客製 CUDA 核心最佳化,將模型容量壓縮至 9GB(約為 BF16 格式的九分之一),宣稱推論速度可達 INT4 版本的 2 倍。根據作者公布的測試數據,該模型在單張 NVIDIA RTX 5090 上的推論吞吐量達每秒 565 個 token。該團隊先前曾釋出 1-bit 模型 Boole-1.7B,本次已同步於 Hugging Face 公開 GGUF 格式權重,並於 GitHub 開源展示專案與修改後的 llama.cpp 分支。
讀原始報導