Pinterest 搜尋平台 Manas 導入量化與 SPANN 架構，取代純記憶體 HNSW 處理數百億向量

據報導，Pinterest 工程團隊為因應數百億個嵌入向量的擴展需求，其分散式搜尋平台 Manas 正逐步汰換記憶體占用較高的傳統 HNSW 演算法。 在量化技術測試中，團隊於 1 億個向量的 GraphSage 資料集導入標量量化（SQ）與乘積量化（PQ）。PQ 將 HNSW 索引縮小 74%、倒排檔案（IVF）索引縮小 93%，Recall@100 落在 70% 至 80%；SQ 則將 HNSW 縮小 59%、IVF 縮小 75%，且 Recall@100 維持在 90% 以上。為解決 SQ 解碼的 CPU 瓶頸，團隊利用 SIMD 內建函式實現線性縮放，減少 10% 至 15% 查詢運算資源；線上實驗顯示，導入 SQ 與 PQ 後，生產工作負載的服務成本降低了 20% 至 30%。 在 SSD 服務評估中，Pinterest 比較了 DiskANN 與 SPANN。結果顯示，結合 PQ 的 SPANN 吞吐量達 DiskANN 的 3 倍，延遲僅三分之一，召回率僅下降 5%。其客製化的 SPANN 架構將小型質心索引保留於記憶體，大型倒排列表存於 SSD 以最佳化 IOPS。在一項逾 50 億個向量的推薦評估中，SPANN 較純記憶體 HNSW 節省超過 40% 的 CPU 時間。 此外，為突破單向量雙塔模型限制，Pinterest 正轉向 ColBERT 等多向量後期交互模型，透過 MaxSim 評分最佳化 Token 匹配，目前已在內部展開試點上線，測試真實生產環境中的多嵌入查詢支援。