實測揭露本地部署 LLM 效能衰退元兇:推理軟體堆疊差異導致長文本 Token 翻轉,NVIDIA NVFP4 錯誤率近半
論壇用戶測試 Qwen3.6-27B 發現,將 KV 快取降至 INT4 會導致工具呼叫徹底失敗,且張量平行度與 NCCL 跨卡通訊差異皆會引發數值偏移。
量子位單一來源
19 則值得知道的變化
論壇用戶測試 Qwen3.6-27B 發現,將 KV 快取降至 INT4 會導致工具呼叫徹底失敗,且張量平行度與 NCCL 跨卡通訊差異皆會引發數值偏移。
Keenable 重新建立 Web Index,查詢延遲低於 250ms,大規模調用最低每千次 1 美元,直接挑戰估值 22 億美元的同業 Exa,爭奪 Agent 存取網路的底層介面。
攻擊者透過內部憑證取得使用者專案環境變數,官方確認 OpenAI、Anthropic 等多項服務金鑰已遭盜用,並暫停 AI Hub 服務進行調查。