引言

很多公司做GEO只盯着内容，忽略了技术层。但AI爬虫跟Google爬虫一样，需要你告诉它：哪些页面是高质量的、页面结构是什么、哪些页面可以读。技术配置是GEO的地基，地基没打，内容楼盖不起来。

这份清单是傲网做海外GEO技术审计时必查的7项配置。

七项技术配置

01 llms.txt：给AI爬虫的站点地图
在域名根目录放 /llms.txt 文件，告诉大模型爬虫：


  • 你是谁（一句话介绍）

  • 哪些页面是核心内容（产品页、FAQ、案例、白皮书）

  • 哪些页面不要爬（后台、隐私政策、法律条款）


这相当于给AI看的"robots.txt+精选目录"。Perplexity、Claude、GPTBot都会读这个文件。

02 Schema.org结构化数据：让AI理解页面
三类Schema必做：


  • Organization（公司实体信息：名称、地址、联系方式、社交媒体）

  • Article（博客文章：作者、发布日期、更新日期、摘要）

  • FAQPage（常见问题：问答对结构）


用JSON-LD格式写在HTML里，不要用微数据。AI爬虫读JSON-LD最稳定。

03 robots.txt放行AI爬虫
默认WordPress/建站工具的robots.txt可能屏蔽了GPTBot、ClaudeBot、PerplexityBot。必须显式放行：

User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

屏蔽了等于你直接跟AI说"不要读我"。

04 页面语义化HTML：不要全JS渲染
AI爬虫虽然能读JS，但纯客户端渲染（SPA）的内容索引速度慢、准确率低。核心内容（产品介绍、FAQ、案例）要用服务端渲染（SSR）或静态HTML，首屏源码里就有内容。

05 canonical与多语言标签
出海品牌常做多语言站（en/es/fr/de）。每篇文章用hreflang标签告诉Google这是哪个语言版本，避免AI把英文站和小语种站当成重复内容。

06 页面速度与Core Web Vitals
Google AI Overviews和Gemini都会把页面速度作为质量信号。LCP < 2.5s、CLS < 0.1、INP < 200ms，三项达标。慢页面即使内容好，AI也不会优先引用。

07 内容更新信号（Last-Modified）
每个核心页面的源码里显式标注最后更新日期。Perplexity和ChatGPT都会把"最近更新"作为强新鲜度信号。一个2023年没动过的页面，内容再老也不会被新AI引用。

工具与自检

08 技术自检工具


  • Google Rich Results Test：测Schema.org是否生效

  • robots.txt 测试：Google Search Console 的 robots 测试工具

  • llms.txt：直接访问 https://你的域名/llms.txt 看是否返回200

  • PageSpeed Insights：测Core Web Vitals

09 常见错误


  • Schema.org写了但和页面可见内容不一致（AI会认为是作弊）

  • robots.txt屏蔽了GPTBot但又想让ChatGPT收录

  • llms.txt里列了404页面（AI会降权整站）

  • 多语言站hreflang配错，小语种站被当成英文站

10 傲网技术审计交付
我们给客户做海外GEO技术审计，交付：完整的技术配置清单（每项现状+问题+修复建议）、llms.txt模板、Schema.org代码片段、robots.txt修正版。技术整改一般1-2周完成，之后再做内容分发，效率最高。