網友實測以 FFT 壓縮 AdamW 最佳化器狀態，宣稱微調模型可省 50% VRAM

據 Reddit r/LocalLLaMA 社群討論，有開發者提出一種非量化的微調方法，透過快速傅立葉轉換（FFT）處理 AdamW 最佳化器狀態，以解決 8B 與 70B 模型在消費級 GPU 上的 OOM 問題。該方法將梯度轉換至頻域，保留高能量訊號並動態捨棄低影響頻率來壓縮狀態，反向轉換後能維持方向完整性，宣稱可減少約 50% 的 VRAM 消耗。開發者指出，此作法為避免 8-bit 量化造成的收斂退化，雖會增加運算負載導致每步訓練時間微幅拉長，但能避免 OOM 崩潰並允許使用更大的批次大小（batch size）。目前該團隊正開放內部 Colab 環境與基準權重供社群測試驗證。