跳到主要內容
2026-11-13 日報
研究與評測

e-means 以指數移動平均改進 k-means:據論文宣稱 25 epoch 的 Lloyd 損失可在 1.4 至 2.6 epoch 達成

Reddit r/LocalLLaMA單一來源
核實資料不足

目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。

本次未取得足夠原文證據

研究團隊在 arXiv 論文中提出 e-means,這是一種為 mini-batch 更新設計的 k-means 最佳化方法,以指數移動平均(EMA)取代傳統 Lloyd 演算法的更新方式。論文指出,其衰減率與批次大小的影響可用縮放律描述,據此可直接決定超參數,無需逐一調參。依論文宣稱,e-means 在多組嵌入資料集上以 1.4 至 2.6 個 epoch 達到 Lloyd k-means 在 25 個 epoch 時的損失,換算為 GPU 實際執行時間,相較於現有最先進的 k-means 實作可加速 10 至 45 倍,且收斂後的損失常低於 k-means++。論文舉例,e-means 在 2.5 個 epoch 內將 100 億筆 DINO 嵌入(DINO10B)分成 1,600 萬個群集,損失即低於 Lloyd 在 25 個 epoch 的結果。目前資訊來自 Reddit 轉貼,尚未經獨立驗證;加速數字為作者自報,實測條件與比較基準以原論文為準。程式碼已列於 faiss 的 contrib 目錄下。
讀原始報導

背景

k-means 是常用的資料分群方法,而 Lloyd 演算法是其中最經典的做法。搜尋結果指出,k-means 的最佳化問題屬於 NP-hard,因此實務上會改用近似解法。Lloyd 演算法這類啟發式方法,讓 k-means 能應用在大型資料集上。

來源