Mercor 基準覆蓋率研究：全美 90% 工作工時缺乏 AI 評測，1.8 萬項職業任務僅覆蓋 924 項

Mercor 發布「基準地圖」（Benchmark Map）研究指出，美國勞工 90% 的工作工時所對應的任務，在現有 AI 評測基準中幾乎沒有或完全缺乏覆蓋，難以藉此評估 AI 模型在真實經濟工作中的實際表現。 該研究採用美國勞工部 O*NET 體系，涵蓋 22 個職業大類、923 種職業及 18,797 項工作任務，並選取 29 款尚未飽和、具備經濟真實性且要求執行自主代理任務（Agentic Tasks）的公開評測（包含 Mercor APEX）。經 LLM 評判標記與專家校驗，將至少包含 5 道相關題目的任務定義為「已覆蓋」。統計顯示，全美 18,797 項任務中僅 924 項符合覆蓋標準，涉及 208 種職業，更有 6 個職業大類處於完全零覆蓋狀態。 研究指出，現有評測偏向特定大型勞動市場，例如大量覆蓋面臨 AI 衝擊的律師任務，卻幾乎未納入同樣受 AI 影響的法律秘書或法庭書記官任務，中等收入的長尾知識工作普遍遭到忽略。90% 工時的數據結合了 Hatgis-Kessell 等人對 O*NET 任務工時佔比的估算。Mercor 指出，為避免軟體工程等常見領域過度代表，研究限制了各職業類別納入的評測數量，加上僅選取未被頂尖模型飽和的評測，可能低估了模型易於完成的任務覆蓋率，整體結果仍屬初步估計。