據 Reddit 曝光 mini-AGI 專案：採動態循環 Transformer 與演化生長機制，預計達 GPT-2 等級後開源

據 Reddit r/LocalLLaMA 社群分享，一款名為「mini-AGI」的新型模型架構專案正在開發中，該模型於筆記型電腦上訓練，並具備多項非傳統設計。 在架構上，mini-AGI 採用動態循環 Transformer（Looped transformer），每個 token 可動態決定循環深度，最高達 24 次循環。模型無分詞器（No tokenizer），直接讀取原始位元組，並透過持續的自我監督學習吸收新資料。 其 MoE 架構具備動態擴展與「演化生長」能力：VRAM 中保持 8 個活躍專家與 32 個路由專家，並智慧快取額外 96 個專家。系統會按需建立新專家並增加參數，經測試後修剪未使用的專家。為降低硬體需求，權重儲存於 SSD 並按需分頁載入（paged in on-demand）；同時透過主幹（trunk）慢速與專家快速的學習率分離設計，防止災難性遺忘。 開發者表示，目前訓練趨勢線保持 15 倍增長，預估在數週內訓練進度達到約 GPT-2 等級時，將對外釋出模型權重。