llama-modchip 釋出 ggml 核心修補:免 GPU 僅靠 64GB 記憶體執行 284B DeepSeek,解碼達 14.7 tok/s
透過 1.71 bpw 量化將模型壓至 56.56 GiB,達成 256K 上下文零 swap 常駐,Zen 5 預填速度達 44.4 tok/s。
Hacker News單一來源
25 則值得知道的變化
透過 1.71 bpw 量化將模型壓至 56.56 GiB,達成 256K 上下文零 swap 常駐,Zen 5 預填速度達 44.4 tok/s。
v1 權重已依 Open RAIL-M 授權釋出並支援 Mac 本地推論,團隊同步發布訓練技術報告,v1.1 權重預計於推論最佳化完成後釋出。
模型專為程式庫檢查、依賴修復及工作流程重構設計,透過交替重寫驗證軌跡與策略精煉,將環境探索轉為可重現的任務完成狀態。