Cloudflare 9 月 15 日起預設封鎖 Google 混用型爬蟲，Google 證實正測試 AI 摘要獨立退出機制

據報導，Google 長期使用同一爬蟲（Googlebot）抓取網頁以建立傳統搜尋索引與 AI 摘要，網站若阻擋 AI 抓取將連帶失去搜尋流量。Cloudflare 執行長 Matthew Prince 指出，Google 爬蟲抓取的網頁量是 OpenAI 的 3.2 倍、微軟的 4.8 倍；Cloudflare 數據顯示 2026 年 AI 代理程式已佔據逾 57% 網路流量，超越人類活動。英國報業集團 Reach 亦表示來自 Google 的推薦流量已腰斬。 美國反托拉斯訴訟內部簡報揭露，Google 曾在 2024 年 4 月考慮提供 AI 摘要退出選項，但因商業變現考量而作罷。為反制此現象，Cloudflare 宣布自 9 月 15 日起，將預設替以廣告收入為主的客戶封鎖混用型爬蟲，此舉恐令 Google 失去數百萬個網站的存取權。 此外，英國競爭與市場管理局（CMA）已要求 Google 必須提供明確的 AI 拒絕選項，且不得藉調降排名報復。Google 發言人對此證實，正測試不影響搜尋排名的 AI 摘要退出設定，將於英國測試完成後推向全球，但目前爬蟲技術尚未實質拆分為傳統與 AI 兩種。