Telperion 發布 Qwen3.8-27B-MLA 與 GLA-g2：KV cache 壓縮 4 倍，MLA SWE 表現宣稱提升 6.58%

據 Reddit r/LocalLLaMA 貼文，Telperion 宣布 Qwen3.8-27B 的兩個 latent attention 變體：Qwen3.8-27B-MLA 與採用兩組 latent attention 的 Qwen3.8-27B-GLA-g2。貼文稱，這些以 FP8 KV cache 校準的量化版本可將 KV cache 壓縮 4 倍，消費級硬體的最大 context 可接近提升 4 倍，伺服器硬體的並行數也可接近提升 4 倍。以零樣本、無工具、樣本數 n>1500 的 SWE-bench Verified 測試而言，原版 Qwen3.8-27B 為 39.5%，MLA 版為 42.1%，相對提升 6.58%；GLA-g2 為 39.4%。兩個變體的平均輸出 token 分別為原版的 0.88 倍與 0.86 倍，貼文另稱推理 token 可減少超過 20%。在 KV cache 壓縮方面，MLA 版於 TP=1、TP=2 分別為 4.00 倍與 2.28 倍，GLA-g2 則皆為 4.00 倍。貼文稱，GLA-g2 是為改善多 GPU 部署 MLA 的記憶體限制而製作，主要面向雙 GPU 使用者。包含 MTP head 與 vision encoder 的記憶體測試中，BF16 為 55.7GB、FP8 為 31.5GB、INT4 為 22.9GB、EXL3-4.0bwp 為 17.2GB；相對 BF16 的 top-1 disagreement 分別為 0.06%、0.17% 與 0.46%。Telperion 表示提供可安裝的 vLLM plugin，並稱該 plugin 已在 RTX PRO 6000、H100 與兩張 RTX 5060 Ti 16GB 上驗證；EXL3 版本需要自訂 vLLM plugin。團隊表示將開放原始碼其方法，方法不需重新訓練，並相容於採用 grouped query attention 或類似變體的多數模型；但完整 benchmark suite 與改良版第二版仍屬後續計畫。上述資訊目前只有 Reddit 單一來源，尚未獲其他來源佐證。