导语：2026 年 7 月 1 日，Cloudflare 发布新的 AI traffic options，把网站面对的 AI 自动化流量明确拆成 Search、Agent、Training 三类，并把“内容如何被保存和复用”也纳入信号表达。对 GEO 来说，这不是安全团队的小设置，而是品牌能否被答案引擎发现、被代理正确访问、同时避免训练级抓取失控的基础设施问题。
核心结论
- GEO 的爬虫策略要从“允许/禁止”升级为“按用途授权”：Search 影响可发现性，Agent 影响用户任务完成，Training 影响内容长期进入模型。
- 只看 robots.txt 已经不够。内容团队需要把 Cloudflare 的 Content Signals、BotBase 分类、服务器日志和 AI 答案引用监测串起来，才能解释可见度变化。
- 对品牌官网来说，默认全部屏蔽 AI 流量可能损伤 AI 搜索曝光；默认全部放行又会牺牲内容资产控制。更稳的策略是先建立清单，再分层放行。
一、发生了什么：AI 流量开始按“用途”拆开
Cloudflare 在 2026 年 7 月 1 日发布的“Your site, your rules”中提出，网站所有者不应再只问“这是 AI bot 吗”，而要追问它在站点上做什么、会存储什么、会如何复用内容。文章把三类和 GEO 最相关的用途定义为：Search，用于收集或索引内容以便之后回答问题；Agent，代表用户实时完成任务；Training，把内容拿去训练或微调模型。
这件事的行业意义在于：AI 搜索正在把传统搜索、答案生成和代理访问混在一起。如果同一个爬虫既负责搜索索引又负责训练，站长很难既保留发现机会又拒绝训练用途。Cloudflare 因此鼓励 bot 运营方拆分不同自动化流量，并开始用 BotBase 展示 verified bots 和 agents 的分类。
同时，Cloudflare 还提到从 2026 年 9 月 15 日起，新接入域名在含广告页面上会默认屏蔽 Training 与 Agent，Search 默认允许；多用途爬虫会按其所有用途叠加判断。这说明内容访问规则正在从“用户代理字符串”进入“用途声明 + 行为分类 + 页面商业模式”的阶段。
二、这对 GEO 的影响：可见度和授权会一起变化
过去的 SEO 把“能被爬到”视为基础前提；GEO 需要更细。AI 答案系统可能通过搜索索引、实时抓取、RAG 数据库、代理浏览器、第三方引用源等多条路径接触内容。每条路径带来的收益与风险不同：
| 用途 | GEO 价值 | 主要风险 | 建议动作 |
|---|---|---|---|
| Search | 进入答案候选信源、保留被引用机会 | 无点击或弱点击回流 | 优先允许可信搜索型爬虫，监测引用与转化 |
| Agent | 帮用户完成下单、比较、调研、表单填写 | 访问路径绕过页面体验和广告逻辑 | 允许关键产品页和帮助页，限制高成本接口 |
| Training | 让公开事实长期进入模型分布 | 内容被吸收后难以撤回或计费 | 对原创研究、付费内容、报价页谨慎授权 |
这张表也说明，品牌不能只把爬虫控制交给安全团队。市场、内容、SEO、法务和产品都要参与：哪些页面是品牌事实源，哪些页面是商业转化页，哪些页面是原创研究资产，答案不同，放行策略就不同。
三、品牌应该如何调整本地治理表
第一步是建立爬虫用途清单。把 server access log、Cloudflare BotBase、Search Console、AI 平台文档里出现的 bot 名称统一到一张表，字段至少包括：bot operator、user agent、用途、是否 verified、访问量、带宽、命中页面、引用/转化证据、当前动作。
第二步是按页面类型设置策略。品牌介绍、产品功能、公开案例、帮助中心通常应保留 Search 访问；报价、投放落地页、会员内容、原创数据报告则需要区分是否允许训练或全文复用。不要用一条全站规则解决所有页面。
第三步是把内容信号写进发布流程。Cloudflare 提到正在扩展 Content Signals，例如用 search=yes、ai-train=no、use=reference 表达“可用于搜索和链接引用，但不希望被训练或全文复用”的偏好。信号本身不是强制锁，但它会成为后续谈判、监测和争议处理的证据。
第四步是复测 AI 答案。每次调整爬虫策略后，至少跟踪 2-4 周同题查询：品牌是否仍被提及，答案是否引用官网，引用源是否转向第三方，竞品是否替代出现。GEO 的关键不是“规则是否已设置”，而是 AI 答案是否真的发生了可解释变化。
FAQ：相关问题
Search 爬虫是不是都应该允许？
不一定。Search 型爬虫通常对可发现性最重要，但仍要看它是否带来引用、链接、用户任务或商业回报。对可信主流搜索与答案平台可以优先放行；对身份不明、异常高频或不遵守规则的爬虫，应进入观察或限流。
Agent 访问和普通用户访问有什么区别？
Agent 往往代表一个用户实时完成任务，但它可能快速读很多页面、跳过视觉页面、直接调用接口或表单。对 GEO 来说，Agent 可能成为新的转化入口，但它也需要权限、风控和页面可机器理解的结构。
调整 robots 会不会立刻影响 AI 答案？
通常不会立刻。AI 答案可能来自缓存索引、第三方源、训练记忆或实时检索。调整后要用同题复测观察趋势，并记录抓取日志与答案引用变化，避免把一次答案波动误判为规则生效。
资料来源与口径
- 资料检索日期：2026-07-05。
- Cloudflare Blog, “Your site, your rules: new AI traffic options for all customers”, 2026-07-01：https://blog.cloudflare.com/content-independence-day-ai-options/
- Cloudflare Blog, “Unmasking the crawls with Attribution Business Insights”, 2026-07-01：https://blog.cloudflare.com/attribution-business-insights/
- OpenAI Developers, “Overview of OpenAI Crawlers”：https://developers.openai.com/api/docs/bots
本文把 Cloudflare 的用途分类解释为 GEO 运维建议，不代表所有平台已经采用同一标准。具体放行策略应结合站点业务模式、日志数据和平台文档复核。
