热点事件持续更新
Gary Illyes：robots.txt 管爬取，不管 AI 训练
1 篇报道1 个报道来源2 小时前更新
先了解这件事
事件综述
2026年10月22日，Search Engine Journal 报道，Google 的 Gary Illyes 在 Search Central 视频节目 The Non-Canonical Cabinet 中表示，按 RFC 9309 的定义，robots.txt 是访问偏好协议，只决定爬虫能否抓取某个 URL，并不规定抓取后内容被用于什么用途。他同时说明，若要屏蔽特定 AI 爬虫，需要在 robots.txt 中显式针对其 user-agent token 设置规则。截至现有资料，该表态仅见于这一篇报道，尚无其他来源的独立核实或后续回应。
根据公开报道整理 · 1 小时前更新
最新进展10月22日 18:58
Illyes 在 Search Central 视频中重申 robots.txt 仅管抓取，不管 AI 训练用途。报道时间线
沿着报道，了解事件的不同侧面。
10月22日
- Search Engine Journal公开报道精选Google 的 Illyes：robots.txt 只管抓取，不控制 AI 训练用途
Google 的 Gary Illyes 在 Search Central 视频 The Non-Canonical Cabinet 中说明，按 RFC 9309 定义 robots.txt 是访问偏好协议，只决定爬虫能否抓取 URL，不规定抓取后内容的用途；要屏蔽特定 AI 爬虫需在文件中显式针对其 user-agent token。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。