Google 的 Illyes：robots.txt 只管抓取，不控制 AI 训练用途
Google’s Illyes: Robots.txt Covers Crawling, Not AI Training via @sejournal, @MattGSouthern
Google 的 Gary Illyes 在 Search Central 视频 The Non-Canonical Cabinet 中说明，按 RFC 9309 定义 robots.txt 是访问偏好协议，只决定爬虫能否抓取 URL，不规定抓取后内容的用途；要屏蔽特定 AI 爬虫需在文件中显式针对其 user-agent token。
先看结论，再核验证据
Google 的 Gary Illyes 在 Search Central 视频 The Non-Canonical Cabinet 中说明，按 RFC 9309 定义 robots.txt 是访问偏好协议，只决定爬虫能否抓取 URL，不规定抓取后内容的用途；要屏蔽特定 AI 爬虫需在文件中显式针对其 user-agent token。
编辑摘要 · 查看逐条证据 →资料基于 Google Search Central 视频与 IETF 草案，说明 robots.txt 只控制抓取、控制 AI 训练需针对具体 user-agent token 或使用 Google-Extended，并给出非英文路径需 percent 编码的可操作建议。SEO 与内容团队可据此检查现有 robots.txt 设置；Content-Usage 标准化规则仍停留在 IETF Working Group Document 阶段，尚未提交 IESG 评审，属于待核验的演进方向。
The Happy 判断 · 尚未逐条核验 核对证据
仅展示摘要 · 来源数量待确认
最后更新 · 结论随新证据更新，请回看时效
规则追踪
- 发布主体
- Search Engine Journal
- 适用对象
- 发布时间
- 2026-10-22 18:58
仍未提供：原文要点、证据等级。缺失的信息不会由 The Happy 推定。
资料基于 Google Search Central 视频与 IETF 草案，说明 robots.txt 只控制抓取、控制 AI 训练需针对具体 user-agent token 或使用 Google-Extended，并给出非英文路径需 percent 编码的可操作建议。SEO 与内容团队可据此检查现有 robots.txt 设置；Content-Usage 标准化规则仍停留在 IETF Working Group Document 阶段，尚未提交 IESG 评审，属于待核验的演进方向。
证据墙
尚未核验发生了什么
Google 的 Gary Illyes 在 Search Central 视频 The Non-Canonical Cabinet 中说明，按 RFC 9309 定义 robots.txt 是访问偏好协议，只决定爬虫能否抓取 URL，不规定抓取后内容的用途；要屏蔽特定 AI 爬虫需在文件中显式针对其 user-agent token。
原文事实摘要 · Search Engine Journal为什么值得看
资料基于 Google Search Central 视频与 IETF 草案，说明 robots.txt 只控制抓取、控制 AI 训练需针对具体 user-agent token 或使用 Google-Extended，并给出非英文路径需 percent 编码的可操作建议。SEO 与内容团队可据此检查现有 robots.txt 设置；Content-Usage 标准化规则仍停留在 IETF Working Group Document 阶段，尚未提交 IESG 评审，属于待核验的演进方向。
The Happy 编辑判断 · 公开阅读排序参考 80下一步核对
当前公开页没有足够的可展示交叉证据，阅读时请回到原文确认。
当前只有摘要和原文入口，建议打开原文确认细节后再引用。
还有 6 项信息原文没写
这些信息还没核验过，判断时请以摘要和原文为准。
- 发布
- 发现
- 聚合 1 个公开入口
判断与证据的对应关系
事实记录、上下文和推断分别标记。来源数量不代表结论已经通过核验。
当前未公开逐条判断的来源关系，摘要与编辑解读仍需核验。
来源矩阵
- 原始发布
- 发现时间
- 证据等级
- 尚未核验
- 权利状态
- 仅摘要与原文链接 · 待审核
- 来源关系
- 相关报道，未绑定具体判断
- 信源状态
- 可用
未公开或未确认：市场范围（另有 2 项未提供）
打开原文 ↗来源：Search Engine Journal · searchenginejournal.com
相似案例
按内容相关度推荐 · 最多 6 条- 规则Search Engine Journal3 天前Meta 从 Commercial Terms 爬取条款中移除 training 用途，修订条款 10 月 30 日生效资料给出条款修订前后对照、生效日期（10月30日）和适用范围（包括不买广告但管理 Facebook Page 的企业），并记录法律专家对措辞仍宽泛的质疑；企业可在生效前检查 robots.txt 对各 Meta crawler 的设置，但条款与 robots.txt 的法律关系仍不确定，专家观点属分析而非已验证结论。
- 趋势Search Engine Journal2 天前个人 AI agent（Meta Muse 与 OpenAI dots）对 SEO 和网站结构的影响分析作者基于 Meta Muse 与 OpenAI dots 的官方文档和作者对 Shopify 商品页无障碍树的实测，梳理了个人 AI agent 访问网站的两层结构（connector 与云浏览器）、robots.txt 失效、页面结构影响 agent 完成购买、以及 analytics 归因缺口等可操作检查点。文中给出待核验数据：The Information 报道称超 300 万人每周使用 Muse（内部数据，未单独统计网站访问），OpenAI 未公布 dots 数据；无第三方公布 agent 订单量或 agent 排名商家机制。可迁移动作包括核查 Shopify 的 Agentic 默认设置、在 bot 防护评审中加入 SEO、以无障碍树审计关键页面。
- 事件ExchangeWire2 天前Apple 为 WebKit 屏蔽替代标识符辩护，YouTube 测试搜索结果中的 AI 回答，Meta 删除抓取商业网站条款措辞汇总三条广告与数据相关动态：Apple 在 WebKit 层面屏蔽替代标识符域名（涉及 The Trade Desk、LiveRamp、ID5、Permutive、Audigent），可能影响 iOS 用户触达、频控和测量，值得投放团队关注；YouTube 正在美国测试搜索结果中的 AI 概览，影响搜索场景的内容展示；Meta 修改商业条款措辞并声称仅限澄清广告与商业产品用途，待核验其抓取范围是否确实收窄。
- 信号AdExchanger9 天前Google或向AI抓取工具注入错误数据，影响SEO/AEO工具可靠性
- 事件TechCrunch AI5 天前Meta 删除商业条款中引发抓取与 AI 训练争议的措辞
- 规则AdExchanger3 天前Meta 更新商业条款将抓取范围扩展至平台链接的所有网站，10 月 30 日生效汇总新闻援引 Niemen Lab 等来源报道 Meta 自 10 月 30 起扩大抓取范围且商家无法单独退出，营销和站点运营方需核验自家链接内容是否受影响；同条还包含 The Independent 社交电商收入首超 SEO 电商的收入结构变化（未披露具体比例，待核验）及 Amazon、Walmart、Target 对 AI agent 的不同态度，可作为渠道策略参考。
沿着线索继续探索
按公开实体、动作和主题匹配，限定事件前后 90 天；共享市场与 30 天内的变化会优先出现。
案例 · 1 个公开来源
Buffer Insights 四个核心功能：Claude Connector、Weekly Pulse、Tags 与 Reports
相同主题 · 相同市场 · 30 天内
趋势 · 1 个公开来源
Brent Csutoras：Reddit 对话正成为媒体报道来源，品牌应将其纳入 PR 策略
相同主题 · 相同市场 · 30 天内
信号 · 1 个公开来源
Appdome 任命 Jamie Bertasi 为总裁，负责全球 GTM 与客户互动
相同主题 · 相同市场 · 30 天内
信号 · 1 个公开来源
LinkedIn B2B 受众现可通过 Google DV360 投放 CTV 广告
相同主题 · 相同市场 · 30 天内
趋势 · 1 个公开来源
亚马逊云科技Ozgur Tohumcu：拖慢物理AI规模化落地的往往不是技术本身
相同主题 · 相同市场 · 30 天内
信号 · 1 个公开来源
Publicis 任命 Scott Hagedorn 为 Marcel 首位 CEO，推进 AI 平台面向客户扩展
相同主题 · 相同市场 · 30 天内
把这条内容放进灵感板
按项目或客户分组，稍后再回来整理；只保存在这台设备上。