llama-modchip 釋出 ggml 核心修補:免 GPU 僅靠 64GB 記憶體執行 284B DeepSeek,解碼達 14.7 tok/s
透過 1.71 bpw 量化將模型壓至 56.56 GiB,達成 256K 上下文零 swap 常駐,Zen 5 預填速度達 44.4 tok/s。
Hacker News單一來源
25 則值得知道的變化
透過 1.71 bpw 量化將模型壓至 56.56 GiB,達成 256K 上下文零 swap 常駐,Zen 5 預填速度達 44.4 tok/s。
透過接手廠商兩年前向 Caterpillar 簽署的合約鎖定舊價,部分機組近期交貨,其餘預計未來兩年內陸續到位。
該研究對視覺語言動作模型的推論採取精簡設計,透過簡化運算流程使機器人動作速度達到原先的 3.4 倍。
除引進 64 顆 B200 與 96 顆 SambaNova 晶片外,地端提供逾 50 款模型,並結合 Claude Code 等代理推動實驗流程自動化。
公測期間免費開放,測試顯示成本可降至三分之一,但若未指定會話 ID 將失去提示詞快取並增加模型切換懲罰。
據分析,內蒙古憑藉低建置成本與無公眾反對加速擴建,該園區全面由風電供電,並正試點 5MW SST 原生 800V 直流系統。
異常亦波及 Claude Code 與 Cowork,受影響時段為 8 日 08:18 至 08:32 UTC,官方已部署修復復原。