未驗證 Reddit 貼文：1.72 bits/weight 三值化 27B 推理模型可在 Apple M5 Max 以約 47 tok/s 運行

Reddit r/LocalLLaMA 一則尚未獲獨立佐證的貼文宣稱，一款採用三值化 Transformer 權重的 27B 級推理模型，可透過 llama.cpp 在 CUDA、Metal 或 CPU 上運行，並在 Apple M5 Max 筆電達到約每秒 47 token。貼文稱其模型大小約 5.9 GB，較 FP16 約 54 GB 的版本縮小約 9.3 倍，並保留 98.2% 的 FP16 智能表現。 依貼文提供的 14 項 thinking-mode 評測，模型平均分數為 84.78，高於傳統 IQ2_XXS 建置的 72.59；後者約只有該模型 82% 的大小。貼文另稱，該結果與 UD-Q4_K_XL 相差不到 0.4 分，但後者占用約三倍容量。分項分數包括數學 96.57、程式設計 89.42，以及代理工具呼叫 74.92。 貼文聲稱，權重從 embeddings、attention projections、MLP projections 到 LM head 都採用真正的三值化格式，達到 1.72 bits per weight，並非僅在低位元標籤下保留高精度權重；視覺塔則另以 Q8_0 mmproj 封裝。模型基於 Qwen3.8-27B 混合注意力架構，約 75% 使用線性注意力，支援裝置端 262K-token 上下文。 目前列出的 GGUF 封裝有兩種：PTQ1_0 以約 1.75 bits per weight 密集儲存 trit，大小約 5.95 GB；PQ2_0 則以 2-bit slot 儲存每個 trit，大小約 7.21 GB。貼文稱兩者都由 llama.cpp 的自訂三值化混合注意力核心直接讀取，不會先還原成 FP16。由於目前只有單一 Reddit 來源，模型名稱、評測流程、硬體設定與上述效能數據均尚未獲其他來源確認。