NeurIPS 論文提出「自適應表示」函數梯度下降法，稱效能超越神經網路達一個數量級

據論文第一作者在 Reddit 發表的消息，其獲 NeurIPS 接受的最新論文《Functional Gradient Descent with Adaptive Representations》提出了一種新的函數梯度下降（Functional GD）實作方法。作者指出，函數梯度下降演算法通常優於神經網路，但因其梯度為無限維度，實務上必須進行近似；若採用常規近似方法，往往會導致模型收斂至錯誤位置。為解決此問題，該研究形式化了一類名為「自適應表示（adaptive representations）」的廣泛近似方案。據稱，該方案在確保能收斂至全域最小值的同時具備即時可實作性，且在多種設定下，其演算法效能超越對應的神經網路達一個數量級。