據報 OpenAI 僅靠 2 名工程師與 GPT-5.5 將核心儲存 Habitat 重寫為 Rust，記憶體效率提升 15 倍

據報導，OpenAI 於今年第二季僅由 2 名工程師借助 Codex 與 GPT-5.5，將其核心線上儲存平台 Habitat 從 Python 徹底重寫為 Rust。目前 Rust 版本已承擔 95% 的生產請求，預計未來幾週內完全下線 Python 版本。測試顯示，新系統的 CPU 效率達舊版的 6 倍、記憶體效率達 15 倍，平均與尾部延遲（tail latency）均顯著下降。 Habitat 是 OpenAI 幾乎所有產品背後的儲存平台，底層部分映射至 Azure Cosmos DB。該系統目前每秒處理超過 7000 萬次請求，服務每週逾 10 億名用戶，覆蓋近 40 個地理區域並承載超過 500PB 的資料。 報導指出，OpenAI 團隊在 2023 年推出 Habitat 時，明知 Python 在高吞吐量下會面臨全域直譯器鎖（GIL）與高昂的 CPU 及記憶體擴展成本，仍選擇「戰略性引入技術債」以維持高速迭代。團隊押注未來的 Codex 與 GPT 模型能力將足以大幅降低系統重寫的成本，此一決策在一年後獲得驗證。 在等待 AI 模型進化的這一年間，OpenAI 針對 Python 架構實施了多項極限最佳化：針對功能開關系統 Statsig 增加隨機抖動，避免同一 Pod 內的 worker 同時解析設定檔而卡住；將 Python aiohttp 的 TCP 連線池從後進先出（LIFO）改為先進先出（FIFO），打破負載過高伺服器因連線晚回池而持續獲得新請求的「亞穩態故障」；並導入 Envoy 將 HTTP/1 升級為 HTTP/2 多路復用，作為實施限流與熔斷器的中央節點。 在架構設計上，Habitat 採用受 Meta TAO 啟發的受限 NoSQL API，不允許任意深度的圖遍歷（graph traversal）以確保查詢計算量恆定。對於複雜的搜尋或分析需求，則透過變更資料擷取（CDC）將資料近乎即時同步至獨立的 Rockset 執行個體，將核心線上儲存與高讀取負載徹底隔離。