Gimlet Labs 獲 a16z 領投 3 億美元，以異質晶片配對拆分 AI 推論任務

據報導，AI 推論雲端新創 Gimlet Labs 宣布完成由 a16z 領投的 3 億美元融資，估值達 30 億美元。該公司創立於 2023 年，核心技術為透過軟體編排將 AI 推論流程拆分至最合適的硬體執行，例如將需要龐大算力的前置預填充（Prefill）交由 GPU 處理，解碼（Decode）任務則由具備高記憶體頻寬的 SRAM 導向晶片接手。 Gimlet Labs 採取「少量、可重複」的配對策略，將每座資料中心的晶片組合控制在 2 到 4 種。目前合作供應商包含 Nvidia、AMD、Intel、Arm、d-Matrix 與 Cerebras，涵蓋 GPU、CPU、SRAM 晶片及資料流加速器與 TPU 等四大類別。 在技術實作上，除了 Prefill 與 Decode 分離，還導入投機性解構（Speculative Disaggregation）與 Attention-FFN 拆分架構。為解決異質晶片協同運作的連線與液冷散熱挑戰，其技術布局已從純軟體延伸至資料中心硬體工程與網路架構設計。 公司表示，過去一年每月 Token 生成量已成長 6 倍，目前已簽署總值達數十億美元的雲端合約，預計 2027 年底前完成數百 MW 的容量部署，並朝 GW 級資料中心電力規劃邁進。