<h2>为什么要检查</h2><p>很多网站的robots.txt为了防爬虫，把所有爬虫都屏蔽了。结果AI爬虫也被挡住了，你的内容根本不会被AI索引。</p><h2>第一步：查看你的robots.txt</h2><p>在浏览器输入你的网站域名+ /robots.txt，比如https://www.你的网站.com/robots.txt。就能看到当前的robots.txt内容。</p><h2>第二步：检查有没有屏蔽AI爬虫</h2><p>在robots.txt里搜索这些关键词：GPTBot、ClaudeBot、Google-Extended、PerplexityBot、Bytespider。<br>如果看到Disallow: /后面跟着这些爬虫名称，说明你把AI爬虫屏蔽了。</p><h2>第三步：修改成允许AI爬虫</h2><p>正确的robots.txt应该是这样的：<br>User-agent: *<br>Allow: /<br><br># 明确允许AI爬虫<br>User-agent: GPTBot<br>Allow: /<br>User-agent: ClaudeBot<br>Allow: /<br>User-agent: Google-Extended<br>Allow: /<br>User-agent: PerplexityBot<br>Allow: /</p><p>把这段内容放到你的robots.txt文件里，更新就好。</p><h2>验证</h2><p>修改后，过几天再去查服务器日志，看有没有AI爬虫来访问了。如果有，说明修改成功。</p><h2>注意</h2><p>不要为了防恶意爬虫就屏蔽所有AI爬虫。AI爬虫是好的，是你的内容的免费传播渠道。要屏蔽恶意爬虫，应该用防火墙或WAF，而不是在robots.txt里一刀切。</p>