研究與評測
OpenBMB 以 Lookahead Expert Scheduling 讓 35B MoE 在 iPhone 跑到 20.5 tok/s，且不跳過專家
Reddit r/LocalLLaMA單一來源
核實資料不足
目前依單一來源整理，這是來源數量描述，不是對消息真假的判定。
本次未取得足夠原文證據
據 Reddit 網友轉述 OpenBMB 的工程文章，該團隊以 Lookahead Expert Scheduling（LES）技術，在 iPhone 18 Pro Max 上以 20.51 tok/s 執行 35B-A3B MoE 模型 MiniCPM-V 4.7，且未改變路由，也未捨棄任何專家。LES 的做法是預測下一層可能需要的專家，在當前運算進行時先從 flash 儲存空間預載其權重，並優先執行已就緒的專家，以隱藏記憶體搬運的瓶頸。此方案另結合最佳化的權重佈局、混合精度量化與 DSpark 推測解碼。報導稱，相較 3.38 tok/s 的基線，速度提升 6.07 倍；專家權重縮小 26.7%，五項評測的成績僅下降 0.16 分。在低記憶體配置下，峰值記憶體約 3 GB。實作（含專家排程與 DSpark 整合）已開源於 llama.cpp-omni。作者認為此方法或可套用於其他 MoE 模型，但目前僅為推測。此為單一來源的轉述，上述數據尚未獨立驗證。
讀原始報導背景
MoE（混合專家）模型每次只啟動部分專家子網路，但完整權重仍需儲存，當權重放在 SSD 等儲存裝置時，讀取速度可能成為瓶頸。OpenBMB 的 MiniCPM-V-4.7-35B-A3B 討論頁提到，Lookahead Expert Scheduling（LES）用來從 SSD 串流載入專家（MoE-SSD）。另有研究 MoE-SpeQ 依草稿模型的預測來排程與快取專家，DSpark 則是一種加速 LLM 推論的推測解碼（speculative decoding）框架。