robots.txt 与 sitemap.xml 详解（附示例）

网站根目录下有两个普通的文件，能帮助搜索引擎更好地处理你的网站。robots.txt 告诉抓取工具网站的哪些部分可以抓取、哪些不可以。sitemap.xml 列出你希望它们找到的页面。两者配合得很好，但无论哪一个，都不能保证某个页面一定会被索引，或一定不会出现在搜索结果中；下面的大多数问题，正是源于对这一点的误解。

robots.txt 的作用

robots.txt 是一个纯文本文件，必须放在主机的根目录下，例如 https://example.com/robots.txt。它只对这个确切的协议和主机生效，所以 shop.example.com 需要有自己的文件。遵守机器人排除协议（Robots Exclusion Protocol）的抓取工具，包括 Googlebot 和 Bingbot，会在抓取之前读取它，并遵守其中的规则。

它只是一组请求，并不是安全功能。不守规矩的机器人可以无视它，而且这个文件本身是公开的，把某个“秘密”目录写进去，反而等于在替它做广告。私密内容要靠身份验证来保护。

一个简单的 robots.txt

• User-agent: *
• Disallow: /admin/
• Disallow: /cart
• Disallow: /search
• Sitemap: https://example.com/sitemap.xml

逐行来看：这些规则适用于所有抓取工具（*）；不要抓取 /admin/ 下的任何内容，也不要抓取以 /cart 或 /search 开头的任何网址；站点地图位于给出的地址。Sitemap 这一行必须是完整网址，而且无论它写在哪个 user-agent 分组里都会生效。

规则是怎样被解读的

• 规则匹配的是网址路径的开头部分，并且区分大小写：Disallow: /Admin 屏蔽不了 /admin。
• Google 支持两个通配符：* 表示任意字符序列，$ 表示网址结尾。Disallow: /*.pdf$ 会屏蔽以 .pdf 结尾的网址。
• 当 Allow 和 Disallow 规则冲突时，Google 会采用最具体（最长）的那条匹配规则；长度相同时以 Allow 为准。
• 抓取工具只遵守点名指向它的最具体的那个分组。如果你写了一个 User-agent: Googlebot 分组，Googlebot 就会完全忽略 User-agent: * 分组，所以共用的规则要在其中重复一遍。
• Disallow: / 会屏蔽整个网站。空的 Disallow: 则什么都不屏蔽。

禁止抓取不等于禁止索引

这是关于 robots.txt 最重要的一点。被禁止抓取的网址只要有其他页面链接到它，仍然可能出现在搜索结果中，通常不带描述：Google 知道这个网址存在，只是没有读过它的内容。要让页面不出现在搜索结果中，应当允许它被抓取，并添加 noindex 指令：要么在 HTML 中写入 <meta name="robots" content="noindex">，要么发送 X-Robots-Tag: noindex 响应头。如果 robots.txt 屏蔽了这个页面，Google 就永远看不到那个 noindex。

Google 会忽略的规则

Google 不支持在 robots.txt 里写 noindex（它从 2019 年起不再理会这条非官方规则），也会忽略 Crawl-delay。Bing 则会遵守 Crawl-delay。如果 Googlebot 给你的服务器造成了过大的负载，应当解决服务器容量问题，紧急情况下也可以暂时返回 503 或 429 响应。

sitemap.xml 的作用

XML 站点地图是一份网址清单，列出你希望搜索引擎抓取并索引的网址。它对以下几类情况最有价值：大型网站、外部链接还很少的新网站，以及难以通过内部链接到达的页面。一个最精简的站点地图是这样的：

• <?xml version="1.0" encoding="UTF-8"?>
• <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
• <url><loc>https://example.com/</loc><lastmod>2026-09-20</lastmod></url>
• <url><loc>https://example.com/pricing</loc><lastmod>2026-08-02</lastmod></url>
• </urlset>

• 大小限制：每个站点地图文件最多可包含 50,000 个网址，未压缩时最大 50 MB。更大的网站会把网址拆分到多个站点地图中，再用一个站点地图索引文件把它们列出来。
• lastmod：如果最后修改日期一贯准确，Google 就会采用它。只在页面内容发生实质性变化时更新，而不是每次部署都改。
• priority 和 changefreq：Google 两个都不看，所以没必要去调它们。
• 只列出你希望被索引的网址：规范的、可索引的、返回 200 的页面。重定向、错误页面、noindex 页面，以及带跟踪参数的重复网址都不要放进去。

创建并提交站点地图

一般用不着手写。WordPress 从 5.5 版起就会在 /wp-sitemap.xml 生成一份基础站点地图，SEO 插件则会用自己的版本取而代之；Shopify 和大多数托管式建站平台会自动创建 /sitemap.xml；在 Next.js 中，一个 app/sitemap.ts 文件就能生成站点地图。有了站点地图之后，通过两种方式告诉搜索引擎它在哪里：在 robots.txt 中加一行 Sitemap:，并在 Google Search Console 的站点地图报告（以及 Bing Webmaster Tools）中提交。随后，Search Console 会显示它能否被读取，以及其中有多少网址已被索引。

如何检查你的 robots.txt 和站点地图

先在浏览器中打开这两个文件：/robots.txt 和站点地图的网址。然后用 Rudra 的免费 SEO 检测工具检查你关心的页面。它会获取你的 robots.txt，报告它是否对通用的 * user-agent 屏蔽了被测页面，以及是否声明了站点地图。接着它会寻找站点地图（先看声明的位置，没有的话再看 /sitemap.xml 和 /sitemap_index.xml），检查它能否被解析为站点地图或站点地图索引，并报告其中的条目是否带有 lastmod 日期，以及被测网址是否列在其中。

想知道 Google 自己是怎么看的，可以使用 Search Console 中的 robots.txt 报告和网址检查工具，它们会显示某个具体网址是否被屏蔽、是否已被索引。

常见错误

• 带着预发布环境的 robots.txt 上线。开发阶段遗留的一行 Disallow: / 可能把整个线上网站都屏蔽掉。上线当天务必检查 robots.txt。
• 屏蔽了页面渲染所需的 CSS 和 JavaScript，导致 Google 看到的页面与访客看到的不一样。
• 用 robots.txt 把页面从 Google 中移除。应当使用 noindex（并允许页面被抓取）；情况紧急时，使用 Search Console 中的移除工具。
• 对同一个页面既用 robots.txt 屏蔽又加 noindex，结果 noindex 根本不会被看到。
• 在站点地图中列了不该列的网址：重定向、404、noindex 页面、http:// 版本，或者另一个域名。
• 每次构建都把所有 lastmod 日期设为当天，这会让这些日期对搜索引擎毫无用处。
• robots.txt 返回服务器错误。Google 会把不存在的 robots.txt (404) 视为“全部可以抓取”，但 5xx 错误可能让它停止抓取整个网站，直到该文件恢复可用。