開發者開源純 C99 無依賴 BitNet 推理引擎，Xeon CPU 實測達 36.25 tok/s

據 Reddit 社群 LocalLLaMA 討論板分享，開發者 shifu_legend 從零打造了一款純 C99 編寫、無外部依賴（無 Python、CUDA 或 BLAS）的 CPU 推理引擎「project-zero」。該專案專為 1.58-bit 三元模型設計，在 Intel Xeon 處理器上使用 4 執行緒運行 BitNet b1.58-2B-4T 模型，實測達到 36.25 tok/s。 技術細節方面，該引擎將 BitNet 權重以每位元組 4 個（數值為 -1、0、+1）的方式打包，不需解包為 float32，而是透過自訂的 AVX2 與 AVX-512 程式碼，利用 VNNI 指令（vpdpbusds）直接在整數暫存器中累加。執行緒池採用 C11 atomics 與 spin-then-yield 策略以消除 mutex 競爭，並可編譯為單一獨立執行檔，直接提供 OpenAI 相容的 API 端點。 開發者指出，目前最大的瓶頸在於 DRAM 記憶體頻寬。在 Xeon 測試機上，單批次（batch size 1）解碼速度已達理論記憶體頻寬的 95%，在未進行多序列批次處理的情況下，進一步最佳化運算核心已無法降低端到端延遲。