據 Reddit 實測 Apple Silicon 推論生態：框架碎片化嚴重，mlx-lm 轉換 Qwen 會遺失 MTP head

據 Reddit r/LocalLLaMA 社群的深度實測指出，目前 Apple Silicon 的推論軟體生態面臨嚴重的碎片化問題。相比 CUDA/NVIDIA 環境（如 llama.cpp）已具備成熟且高度整合的推論堆疊，Mac 上的最佳化技術散落於 mlx-lm、vllm-metal 及眾多自訂轉換專案中，缺乏單一框架能同時支援前綴快取（prefix caching）、預測解碼（speculative decoding）、paged KV cache 與連續批次處理（continuous batching）等完整功能。 測試發現，最新的 Qwen 模型因採用混合 KV 與循環狀態（recurrent state），使得結合前綴快取與預測解碼的難度大幅提升。此外，mlx-lm 在模型轉換過程中會捨棄內建的 MTP head，導致原本原生支援預測解碼的模型在轉換後失去該功能。 作者指出，對於需要長時間運作的代理（agentic）應用而言，前綴快取與預測解碼是決定 Mac 本地端效能的兩大關鍵。經評估，vllm-metal 是目前最接近完整 Apple Silicon 推論最佳化堆疊的專案，並呼籲開發者停止建立新的分岔，應將資源集中貢獻至 mlx-lm 與 vllm。