社群熱議 ToMoE v2 論文：探討將密集模型近乎無損轉換為 MoE 模型

據 Reddit r/LocalLLaMA 社群討論，近期一篇名為 ToMoE v2 的論文引發關注。該研究探討如何將密集模型（dense model）轉換為混合專家（MoE）模型，並指稱能達到幾乎無損的準確度（near lossless accuracy）。社群討論指出，若能將此技術應用於現有開源模型（如 Qwen 系列）將極具潛力，但也坦言實務上仍面臨架構轉換的技術障礙，且需要額外的訓練資料來支援轉換過程。