<h2>AI爬虫是什么</h2><p>AI爬虫（AI Bot）是各大AI公司开发的程序，用来自动访问互联网上的网页，抓取内容用于AI训练和搜索索引。你在服务器日志里看到的GPTBot、ClaudeBot这些，就是它们。</p><p>没有这些爬虫抓取你的内容，AI就不知道你的网站存在，更不可能在回答中引用你。</p><h2>主要AI爬虫列表</h2><p><strong>1.GPTBot：</strong>OpenAI的官方爬虫，用于训练ChatGPT和ChatGPT搜索。<br><strong>2.OAI-SearchBot：</strong>OpenAI搜索专用爬虫，专门抓取用于搜索索引的内容。<br><strong>3.ClaudeBot：</strong>Anthropic的爬虫，用于训练Claude。<br><strong>4.Claude-SearchBot：</strong>Claude搜索专用爬虫。<br><strong>5.Google-Extended：</strong>Google用于AI训练和AI Overviews的爬虫。<br><strong>6.PerplexityBot：</strong>Perplexity AI搜索的爬虫。<br><strong>7.Bytespider：</strong>字节跳动的爬虫，豆包使用。<br><strong>8.baidu-spider：</strong>百度爬虫，文心一言也使用。</p><h2>怎么查看有没有被爬</h2><p>在服务器的Nginx或Apache访问日志里，搜索User-Agent字段包含上面这些爬虫名称的记录。你会发现，其实很多AI爬虫已经在访问你的网站了。</p><h2>GEO注意事项</h2><p><strong>1.不要屏蔽AI爬虫：</strong>robots.txt里不要屏蔽这些AI爬虫，否则你的内容不会被AI收录。<strong>2.内容要可抓取：</strong>确保你的内容不是纯JS渲染，AI爬虫要能直接看到内容。<strong>3.更新频率：</strong>内容更新越频繁，AI爬虫访问越频繁。</p>