模型發布
3.22 億參數決策引擎 Laya 9 天獲 2.6 萬星,主打取代 LLM-as-a-judge 進行分類與路由
Reddit r/LocalLLaMA單一來源
核實資料不足
目前依單一來源整理,這是來源數量描述,不是對消息真假的判定。
本次未取得足夠原文證據
據 Reddit 社群消息,一款名為 Laya 的 3.22 億參數決策引擎在發布 9 天內即獲得逾 2.6 萬顆星。該專案主打取代傳統的 LLM-as-a-judge,將路由、分類(triage)與是非判斷等決策任務,轉化為類型化輸出(typed outputs)而非生成文字。
Laya 內建純路由 CLI、分類預設值,以及低於信心閾值時的棄權閘門(abstention gate)。據社群用戶在 CPU 上的實測,執行包含法文工單分類的端到端測試時,設定 `min_confidence=0.90` 成功讓模型在原本會誤判的案例中觸發棄權機制。
實測數據顯示,CPU 上的溫啟動延遲(warm latency)約為每題 0.7 秒;不過用戶也提醒,目前的檢查點(checkpoints)存在過度自信的校準問題,不建議盲目信任其評分。
讀原始報導相關主題