研究與評測
開源專案 OpenJev 推出,作為 TypeSafe Jev 替代方案提供瀏覽器本地實測與相容 API
Hacker News綜合 2 家報導多家報導
尚未逐項核實
多個報導來源提及此事;未必是彼此獨立的證據。
據報導,針對 TypeSafe 於週二發表但目前需排隊等候的「Jev」服務(可快速回傳 yes/no 或選擇題等類型化問題的機率),開源替代方案 OpenJev 已推出。
OpenJev 包含網頁版本地實驗與伺服器 API 兩種形式。網頁版(openjev.com)允許使用者在本地 GPU 的瀏覽器環境中,比較兩種運算方法的差異:直接讀取選項的 logits 機率(不進行解碼),以及要求模型逐個 token 生成包含機率的 JSON 文字。該網頁版預設使用 MiniCPM5 2B(1.56 GB)模型,並支援 Qwen3 0.6B(639 MB)與 Qwen3.5 4B(3.01 GB),模型權重自 Hugging Face 下載並暫存於瀏覽器,輸入資料不會離開本機。
此外,OpenJev 以 Apache-2.0 授權釋出開源伺服器版本(GitHub:razorback16/openjev),提供與 Jev 相同的 API,開發者只需更改 base URL 即可相容 TypeSafe 的 SDK。該專案提供包含 vLLM 與 API 的 Docker 容器,以及免費託管的 API 服務。此實作靈感部分來自 Matt Mastracci 針對 DiffusionGemma 提出的 vLLM PR #57250。
在模型品質實測方面,官方發布的 Jev 在 TypeSafe 102 列公開子集上的準確度為 88.3%;而在 OpenJev 網頁版中,Qwen3.5 4B 的準確度為 84.5%,MiniCPM5 2B 為 63.7%,Qwen3 0.6B 為 40.7%。
讀原始報導社群討論
社群強烈質疑 OpenJev 命名誤導,指出它僅是利用 SGLang 快取機制與小模型(如 Qwen3 0.6B、MiniCPM5 2B)來模擬 Jev API,而非重現其底層架構。實測數據顯示其效能與準確度不佳且易受提示詞注入攻擊,例如在 M2 Max 上需耗時 0.5 到 2 秒,在多項邏輯測試中給出如擲硬幣般的機率(如 0.5/0.5),甚至以 80% 信心水準選出錯誤答案。部分開發者建議改用 vLLM 搭配 DiffusionGemma 以獲得更接近原版 Jev 的表現,並指出正版 Jev 其實在條款中嚴禁跑分(benchmarking)。
來源
- Reddit r/LocalLLaMAreddit.com