<h2>1.robots.txt屏蔽了AI爬虫</h2><p>最常见的错误。很多人为了防爬虫，直接在robots.txt里Disallow: /，结果AI爬虫全被挡了。检查你的robots.txt，确保GPTBot、ClaudeBot、Google-Extended这些AI爬虫是允许访问的。</p><h2>2.网站没有HTTPS</h2><p>还是HTTP的网站，浏览器标记不安全，AI和搜索引擎都不信任。现在HTTPS是标配，没有HTTPS的网站权重会被降低。</p><h2>3.纯JS渲染内容</h2><p>网站内容靠JavaScript加载，HTML源码里看不到文字。AI爬虫很多不会执行JS，它看到的就是空白页面。确保核心内容在HTML里直接可见。</p><h2>4.没有sitemap</h2><p>没有sitemap文件，爬虫找不到你所有的页面。生成一个XML sitemap，提交给百度和Google，让爬虫知道你有哪些页面。</p><h2>5.网站打不开或者太慢</h2><p>服务器不稳定，经常502错误，或者加载要10秒以上。AI爬虫来的时候你网站打不开，它就走了，下次也可能不来了。</p><h2>6.重复内容</h2><p>多个URL指向相同的内容，或者采集别人的文章。AI会识别重复内容，只保留一份，重复的页面会被忽略。</p><h2>7.移动端不友好</h2><p>现在大部分用户是手机访问，AI爬虫也会模拟手机端。如果你的网站手机端排版混乱，也会影响评分。</p><h2>怎么检查</h2><p>花1小时把上面7项全部检查一遍。这些都是基础配置，改起来不难，但对GEO效果影响很大。很多企业做了很多内容效果不好，就是基础配置出了问题。</p>