搜索发现爬虫
为AI搜索建立或改善可检索内容，例如OAI-SearchBot、Claude-SearchBot和PerplexityBot。
影响：AI搜索中的发现、摘要、链接和引用机会免费 AI 爬虫检测
AI爬虫检测crawler.scgcc.org.cn
全部工具查看相关专题指南↗你的内容，
检查 robots.txt 对 ChatGPT、Claude、Perplexity、Gemini 和 Google 的搜索、训练及用户请求爬虫分别如何配置。CRAWLER KNOWLEDGE
先分清搜索、训练与用户请求
“AI爬虫”不是一个统一身份。不同User-agent对应不同用途，允许搜索发现并不必然等于授权模型训练。模型训练控制
用于表达网站内容能否进入未来模型训练或相关模型改进流程，例如GPTBot、ClaudeBot和Google-Extended。
影响：训练与模型用途，不应和搜索爬虫混淆用户请求访问
用户要求AI打开网页或回答实时问题时触发，例如Claude-User与Perplexity-User。
影响：即时读取能力；不同平台对robots规则处理不同传统搜索基础
Googlebot、Bingbot等传统爬虫仍是部分AI搜索体验的重要发现与索引基础。
影响：传统搜索收录及其上层AI功能CONFIGURATION STRATEGY
配置robots.txt的正确顺序
先决定内容策略，再修改规则；修改后还要检查页面指令、WAF和日志。- 01
明确开放目标
分别决定是否允许搜索发现、模型训练和用户请求访问，不使用一句“全部允许/全部禁止”代替业务判断。
- 02
检查通用规则
User-agent: *可能已经禁止某些目录。专属爬虫组、最长路径匹配和Allow/Disallow冲突都需要一起核验。
- 03
同步页面指令
robots允许抓取但页面包含noindex时，内容仍可能无法进入索引；robots禁止抓取时，爬虫也无法读取页面中的noindex。
- 04
核验真实访问
使用官方IP或反向DNS验证方法检查日志，并排查CDN、WAF、验证码、限流和地域策略。
OFFICIAL REFERENCES
检测口径参考
FREQUENTLY ASKED QUESTIONS
AI爬虫检测常见问题
理解默认规则、不同爬虫用途和真实访问边界。01AI爬虫检测需要消耗Token吗？＋
不需要。工具只读取公开网页、robots.txt和响应指令，不调用任何大模型接口。
02robots.txt没有写某个AI爬虫，是允许还是禁止？＋
通常视为默认允许。如果存在User-agent: *通用组，则还要按照通用组中与当前路径匹配的Allow和Disallow规则判断。
03允许OAI-SearchBot是否等于允许GPTBot训练？＋
不等于。OAI-SearchBot用于ChatGPT搜索发现，GPTBot用于可能的模型训练控制，两者应分别设置。
04屏蔽GPTBot会影响ChatGPT搜索展示吗？＋
按照OpenAI公开说明，搜索发现主要由OAI-SearchBot控制。网站可以允许OAI-SearchBot，同时根据内容策略单独限制GPTBot。
05Google-Extended和Googlebot有什么区别？＋
Googlebot用于Google搜索抓取；Google-Extended是robots.txt中的独立控制令牌，用于管理内容是否可用于Gemini模型训练及部分搜索基础调用，不影响Google搜索收录。
06robots.txt显示允许，为什么AI爬虫仍然访问失败？＋
robots.txt只是第一层规则。WAF、CDN机器人防护、IP限制、验证码、登录、区域限制、超时和限流仍可能阻止请求。
07可以直接复制统一的AI爬虫配置吗？＋
不建议盲目复制。搜索发现、用户请求和模型训练的用途不同，应先确定内容开放策略，再分别配置具体爬虫。
08为什么Perplexity-User显示单独控制？＋
Perplexity公开说明该用户代理由用户操作触发，通常不会只依赖robots.txt规则。需要结合平台说明、WAF策略和实际日志理解。