Andrej Karpathy 提出 LLM Wiki：以攝入時編譯降低高頻查詢成本，但無法取代傳統 RAG

據《AI 科技評論》報導，Andrej Karpathy 於 2026 年 4 月 4 日在 GitHub 發布 llm-wiki 技術 Gist，提出將原始文件預先編譯成結構化 Markdown 維基的架構。Cognition、Factory、LangChain 與投資人 Garry Tan 隨後分別推出同類方案，使 Agent Wiki 從個人構想發展為一種實作方向。 傳統 RAG 屬於「查詢時做功」架構：文件匯入時只切分文字、建立向量並存入向量資料庫，使用者提問後才進行檢索、排序、拼接與推理。同一問題重複查詢時，這套流程也會重複執行，Token 與算力成本隨查詢次數增加，系統也不會沉澱先前產生的結論。 LLM Wiki 則採用「攝入時編譯」：大模型在文件匯入階段通讀原始資料，提煉重點、分類主題，生成帶摘要與語義內鏈的 Markdown 維基頁面，後續查詢直接讀取整理好的頁面。其架構分為原始文件層、維基內容層與規則檔層；規則檔可使用 AGENTS.md 或 CLAUDE.md，定義分類、更新及矛盾處理方式。系統也可透過攝入、查詢與校驗三項操作持續更新頁面、沉澱問答結論，並找出過期、矛盾或孤立內容。 Karpathy 指出，若只靠頁面標題與內鏈導覽、不使用向量檢索，LLM Wiki 約適合 100 個資訊源、數百個頁面的中等規模；超過這個範圍後，則需補充 BM25 關鍵字檢索、向量檢索與 LLM 重排序。Cognition DeepWiki 將維基用於公開 GitHub 儲存庫，提供架構總覽、檔案索引、依賴圖譜與搜尋，作為 Devin 的程式碼檢索基礎設施；Factory AutoWiki 將結構掃描與語義掃描整合進 CI/CD，程式碼合併至主分支後自動重新生成維基；LangChain OpenWiki 是開源 CLI，提供面向程式碼庫的 Code Brain，以及可整合電子郵件、筆記、社群媒體與資訊訂閱的 Personal Brain；GBrain 則以 Git 儲存庫、Markdown 檔案與規則檔運作，不需向量資料庫或複雜後端服務。 四種方案共同採用「Markdown 加 Git 儲存、規則檔、攝入時編譯、面向大模型讀取」的架構，但更新機制不同：Factory 透過 CI 流程自動持續更新，其餘三種方案仍需人工執行指令刷新內容。 Mem0 的分析指出，LLM Wiki 有四項限制：超過約 100 個資訊源後，頁面關聯與更新成本會增加；預先摘要可能遺失原始文件的邊緣細節；未及時更新的結構化內容可能比沒有維基更危險；全面生成與校驗頁面會把成本從查詢端移到攝入端，若文件量大但查詢頻率低，總成本可能高於傳統 RAG。 報導並區分了文件知識與使用者記憶：LLM Wiki 適合沉澱按主題與文件組織的通用知識，但無法取代以 user_id 綁定、跨會話與跨應用保存的個人偏好、過往決策及臨時資訊。其結論是，文件穩定、查詢頻繁且重視速度的內容可用 Wiki 預先編譯；文件變動頻繁、查詢低頻或要求保留細節的內容，仍應由傳統 RAG 兜底，兩者更適合組成混合架構。