研究與評測
LenVM細化生成長度建模
Apple ML
Apple ML 提出 Length Value Model（LenVM），在每個解碼步驟預測剩餘生成長度，並以每個 token 的固定負獎勵建立有界的折扣回報。此方法提供無須標註、密集且可擴展的 token-level 監督訊號；在 LIFEBench 精確長度匹配任務中，7B 模型的長度分數由 30.9 提升至 64.8。在 200 token 預算的 GSM8K 測試中，LenVM 維持 63% 準確率，token budget baseline 則為 6%，顯示其可用於控制推論成本與效能取捨、預測生成長度及支援未來 RL 訓練。
讀原始報導背景
現有生成長度建模方法主要停留在粗粒度的序列層級，缺乏對每個 token 的細緻估計。LenVM 將剩餘生成長度轉化為價值估計問題，在解碼過程中預測有界的 token 層級訊號，可用於精確控制長度、預測總生成長度，並調整效能與效率之間的取捨。