社群分享 EXL3-QLoRA，支援 2–8 bpw ExLlamaV3 量化模型訓練

據 Reddit r/LocalLLaMA 貼文，一名社群作者分享非官方、仍在開發中的 EXL3-QLoRA；這是 ExLlamaV3 的分支，以原生 PyTorch 實作訓練流程，不依賴 Transformers。專案可對 2–8 bpw 的 EXL3 量化模型進行 QLoRA 訓練，adapter 以標準 PEFT 格式儲存，可載入 TabbyAPI 或 PEFT，也能合併回基礎模型。 目前列出的模型支援包括 Llama 3、Mistral Small／Medium、Qwen3 dense 與 MoE、Qwen3.5／3.6／3.8 hybrid、Gemma3／4（含 MoE）及 Arcee Trinity；作者表示各模型家族都會在訓練前對照推論 forward 進行檢查。功能包括 SFT、DPO、KTO、rsLoRA、PiSSA、對 MoE 路由專家／嵌入層／LM head 選擇性套用 LoRA，以及單 GPU、多 GPU 分層與 DDP 訓練。 其他功能還包括樣本打包、透過 Jinja 進行聊天格式化（含工具呼叫與推理）、梯度檢查點、啟用值卸載、分塊交叉熵、8-bit 與分頁式最佳化器、Liger kernels，以及瀏覽器即時訓練監控；載入的模型也能在提供聊天服務的同時即時訓練 adapter。 貼文提供的 Qwen3.5-4B 測試顯示，在相同資料集與硬體上，EXL3 6.0 bpw 的評估損失為 2.128、峰值顯存 12.7 GiB；4.0 bpw 為 2.152 與 11.9 GiB；3.0 bpw 為 2.165 與 11.5 GiB；bnb NF4（axolotl）則為 2.183 與 12.8 GiB。作者稱 bnb 速度約快兩倍，但其測試認為 EXL3 更具彈性、較節省顯存，且損失較低。上述內容目前僅有單一 Reddit 來源，專案作者也明確稱其為非官方工作且仍在持續開發。