開發者復現 TypeSafe AI 技術開源 Qwen-2.5-1B-RLCD，M4 筆電 JSON 推理延遲最高降 7 倍

據報導，開發者 Harsha Gundal 僅花 2 小時即復現 TypeSafe AI 耗時 2 年開發的 RLCD 技術思路，並開源基於 Qwen-2.5-1B 的推理程式碼 Qwen-2.5-1B-RLCD。該專案採用「平行受限解碼（Parallel Constrained Decoding）」，以單一 Transformer 解碼器的前向傳播取代傳統逐 token 的自我迴歸生成，在同一步驟內並行解碼 JSON 結構的所有欄位。在 M4 MacBook 上的測試顯示，基於 MLX 框架執行的延遲比標準自我迴歸解碼降低 5.6 至 7 倍，JSON schema 符合率達 100%。此方法無需對模型重新訓練，可直接套用現有權重，並附帶欄位級別的可信度分數，讓開發者無需額外校準即可掌握預測可靠度。