開發者推出 Kyojin 引擎,單台 128GB AMD 迷你電腦可運行 300B MoE 模型,解碼達 44 tok/s
據 Reddit 社群實測,基於 ExLlamaV3 與 ROCm 開發的 Kyojin 引擎,能在 Ryzen AI Max+ 395 處理器上以 EXL3 權重執行 GLM-5.3-Flash 等模型,Prefill 速度最高達 650
Reddit r/LocalLLaMA單一來源
25 則值得知道的變化
據 Reddit 社群實測,基於 ExLlamaV3 與 ROCm 開發的 Kyojin 引擎,能在 Ryzen AI Max+ 395 處理器上以 EXL3 權重執行 GLM-5.3-Flash 等模型,Prefill 速度最高達 650
程式碼代理極易引發失控的鉅額帳單,開發者強調雲端服務應預設在超支時直接切斷服務而非僅發送警告,AWS 與 GCP 已陸續推出專案級別的支出上限功能。