Cloudflare 推出爬蟲信任評等機制：依 robots.txt 與 HTTP 429 配合度評分，未來供網站自訂門檻

據報導，Cloudflare 公布了爬蟲信任評估機制，針對已通過身分驗證的機器人（Verified Bots）持續觀察其長期行為並建立信任評等，目前已在內部運作。該評估主要涵蓋兩項行為指標：第一是檢驗爬蟲是否長期、重複存取 robots.txt 所限制的路徑，系統著重長期模式以避免單次設定錯誤或程式異常造成誤判；第二是觀察網站回傳 HTTP 429（要求降低請求頻率）狀態碼時，爬蟲是否確實減速或暫停請求。Cloudflare 過去曾於 2025 年將 Perplexity 爬蟲自已驗證名單中除名，當時指控該業者無視網站拒絕抓取的設定並試圖繞過封鎖。未來 Cloudflare 計畫在 Cloudflare Radar 公開爬蟲的信任評等區間與評估依據，並開放網站客戶自訂信任門檻，以控管並過濾爬蟲流量。