未驗證 Reddit 貼文:1.72 bits/weight 三值化 27B 推理模型可在 Apple M5 Max 以約 47 tok/s 運行
Reddit 貼文稱模型僅約 5.9 GB,能在 Apple M5 Max 筆電以每秒約 47 token 推理,並支援 262K-token 本地上下文。
Reddit r/LocalLLaMA單一來源
14 則值得知道的變化
Reddit 貼文稱模型僅約 5.9 GB,能在 Apple M5 Max 筆電以每秒約 47 token 推理,並支援 262K-token 本地上下文。
測試在關閉 thinking 與 ngram-mod 下進行,發文者稱 draft-n-max/draft-p-min 的最佳設定接近 greedy sampling。
在 1K、30K 與 96K context 測試中,top token 一致率達 99.08%–99.65%,且 147K context 可在 RTX 3090 執行。
《華爾街日報》稱,Decart 軟體可協助開發者切換不同 AI 晶片;Anthropic 9 月曾放棄約 60 億美元收購案。
分析師估算 245 MW 設施每月可帶來約 13 億美元;消息人士稱 Anthropic 已與 IREN 達成雲端交易。
相關貼文轉述,AI 業者希望手機到 2028 年能持續運行 1,000 億參數模型;另一則討論認為專用 ASIC NPU 可能是實現途徑。