研究與評測
開發者微調 Qwen3.5-0.8B 打造終端助手 dale:Bash 生成準確率達 79.4%,超越原版 9B 模型
Reddit r/LocalLLaMA單一來源
尚未逐項核實
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
據社群開發者於 Reddit 分享,其將 Qwen3.5-0.8B 微調為離線終端輔助工具「dale」,能將自然語言直接轉譯為 Bash 指令,執行前會經由確定性風險檢查器標註安全等級並待使用者確認。在包含 471 條英西雙語請求的保留測試集(採 Q4_K_M 量化)中,體積僅 529 MB 的 dale-0.8b 準確率達 79.4%(374 題),dale-9b 達 89.2%;相較之下,採 8-shot Prompting 的未微調 Qwen3.5-9B 準確率為 62.8%,未微調的 Qwen3.5-0.8B 僅 14.9%,Gemma 4 E4B-it 則為 62.8%。系統架構整合 llama.cpp 打包為 51 MB 單一執行檔,無需 Python 環境或伺服器;在無 GPU 的 2020 年筆電上,dale-0.8b 中位數延遲為 1.7 秒,dale-4b 透過 Vulkan 在 16GB GPU 上則為 1.2 秒。開發者指出,0.8B 模型訓練初期曾卡在 74% 瓶頸,嘗試 DPO、27B 模型蒸餾與調整學習率皆無效,後發現測試集包含多重堆疊條件,經補充約 9,000 筆對應分布的訓練資料後,答對題數提升至 375 題(p = 0.001)。作者亦補充,此評測屬於微調小模型對比提示詞大模型,測試集為合成資料並由兩款商用 LLM 擔任裁判。
讀原始報導背景
llama.cpp 是一個開源軟體庫,能針對多種大型語言模型執行本機推論,被視為許多本地推論工具的核心基礎。該專案於 2023 年 8 月推出 GGUF 二進位檔案格式,將張量與詮釋資料儲存於單一檔案中,旨在提升模型資料的載入速度並維持跨架構的相容性。