開源工具 mlx-decision 支援在 Mac 本地推論與微調決策模型，推論速度最高達 PyTorch 的 6 倍

開發者在 Reddit 社群發布開源 Python 套件 mlx-decision，基於 Apple MLX 框架，讓 Mac 用戶可在本機端推論並微調開源決策模型（Decision Models）。該工具目前相容 Cloudflare Clef、Perplexity pplx-decider、d3、H2O-Lightning 與 LiquidAI d1 等架構；決策模型可接收文字、文件或截圖搭配指定問題，單次推論即回傳各預設選項的機率分布與信心度數值。 作者表示所有模型皆對照官方 PyTorch 程式碼逐 token 驗證，在 Apple Silicon 上的推論速度比 MPS 加速快 1.4 至 6 倍。數據顯示，d1-3B 模型在 TREC 資料集進行微調，可在 4 分鐘內將準確率從 86.6% 提升至 96.4%；4B 規模的 pplx-decider-flash 支援下載時同步量化，4-bit 版本僅佔 3GB 記憶體（bf16 為 9GB），可於 16GB 的 MacBook Air 順暢運作。 套件內建 Studio 本地 Web 介面，提供三模型並排比對、混淆矩陣評估與微調功能，同時提供 CLI、相容 TypeSafe Jev API 的 HTTP 伺服器，以及供 AI 代理串接的 MCP 介面。軟體採 MIT 授權開源，執行環境限制為 Apple Silicon、macOS 14+ 及 Python 3.12+。