Multiverse Computing 提出基於 Ising 最佳化的 LLM 剪枝法，Llama-3.3-70B 壓縮 50% 時 MMLU 提升 23%

Multiverse Computing 發表論文《LLM Compression by Block Removal with Constrained Binary Optimization》，提出將 Transformer 區塊移除轉化為受限二元最佳化（CBO）問題的剪枝新方法。 有別於現有方法將區塊視為獨立個體或僅移除連續區塊，該研究將問題映射至物理學的 Ising 玻璃模型，透過對模型損失進行二階泰勒展開產生 Hessian 矩陣。矩陣的對角線代表單一區塊的重要性，非對角線則量化區塊間的交互作用。 該方法僅需在小型校準資料集上進行一次前向與反向傳播來計算 Hessian 矩陣，後續評估候選配置只需進行低成本的能量計算，無需實際執行模型。在小規模配置中可使用單一 GPU 暴力破解，例如移除 Llama-3.3-70B 的 80 個區塊中的 8 個（約 290 億種配置）耗時約兩天；面對更大規模的配置，則可轉換為 QUBO 形式，利用開源 tabu 求解器等量子啟發工具在數秒內找到低能態配置。 實測數據顯示，在對 Llama-3.3-70B-Instruct 進行 50% 深度壓縮時，該方法在 MMLU 基準測試的表現較現有最佳區塊移除方法提升近 23 個百分點。