llama.cpp 提交 PR 為主機記憶體中的 MoE 專家新增 GPU 快取，有望提升 VRAM 不足時的推論速度

據 Reddit 社群討論，開發者 am17an 為推論框架 llama.cpp 提交了 Pull Request #29887。該 PR 針對混合專家（MoE）模型，為保留在主機記憶體（host memory）中的專家（experts）新增 GPU 快取機制。對於無法將整個模型完全載入 VRAM 的硬體環境，此項最佳化有望大幅提升 MoE 模型的推論速度。