據 Reddit 討論盤點潛在推理（Latent Reasoning）五大流派，BDH-CQ 突破 ARC-AGI-1 成本準確率前沿

據 Reddit 社群（r/MachineLearning）探討，隨著研究指出大型語言模型（LLM）的口語化思維鏈（CoT）僅是推理的模仿而非機制本身，學界正轉向關注「潛在推理」（Latent Reasoning）架構。該機制不輸出中間結果，而是透過反覆轉換連續隱藏狀態並僅解碼最終答案來進行推理。 討論將潛在推理歸納為五大流派： 1. 自迴歸模型中的連續思考：如 Coconut 將最終隱藏狀態作為下一個輸入嵌入回饋，Soft Thinking 則在連續概念空間中推理，理論上單一狀態可平行擴展多個搜尋前沿。 2. 壓縮的離散非語言 Token：如 Abstract-CoT 以學習到的詞彙表取代口語化推論，雖為非語言但仍採序列與外部解碼。 3. 循環深度與迴圈模型：如 recurrent-depth LM 與迴圈 Transformer（looped Transformers），將共享區塊重新應用於潛在狀態，主要用於提升參數效率與測試時算力擴展。 4. 任務訓練的遞迴求解器：如 HRM 與 TRM，遞迴最佳化潛在與候選答案狀態；其 ARC 流程具直推性（transductive），面對未見任務需先進行反向傳遞（backward pass）才能作答。 5. 脈絡內循環潛在求解器：如基於 Dragon hatchling 架構的 BDH-CQ，示範內容會在推論時直接寫入循環記憶體，並在獨立的連續潛在空間中迭代計算。 據稱 BDH-CQ 在公開的 ARC-AGI-1 評測上突破了先前的成本與準確率 Pareto 前沿，且早期預訓練實驗顯示其在保留潛在推理行為的同時，可遵循類似 Transformer 的擴展定律擴展至 6,000 億（600B）參數。討論也指出，若潛在推理在效率上勝出，業界高度依賴的可讀思維鏈軌跡將面臨挑戰，引發可解釋性與安全性是否值得犧牲效率來維持的探討。