研究提出 Infinite-Parameter LLM 架構：以超網路將即時互動數據動態轉為模型權重

據 arXiv 提交的論文指出，研究人員提出「Infinite-Parameter LLM」新架構，旨在解決傳統語言模型訓練後權重凍結、無法從即時互動中學習的限制。該架構受混合專家模型（MoE）啟發，透過緊湊的超網路（hypernetwork）將運行時的輸入數據轉化為共享基礎網路的低秩（low-rank）調變，使前饋（feed-forward）權重直接由即時數據生成，而非儲存於固定的參數庫中。 不同於讀取一次上下文即凍結的傳統生成器，此架構對生成器的潛在代碼維持貝氏信念（Bayesian belief）並進行線上更新，讓有效權重能隨對話進程動態重新推導。論文指出，將即時知識與行為寫入權重而非提示詞（prompt），可攤銷運算成本、釋放上下文視窗，使資訊在多輪對話中留存，並提供優於上下文學習（in-context learning）與檢索的泛化能力。