如何找出网站上的孤立页面，以及为什么爬虫只能说“潜在”

孤立页面是指网站上没有任何其他页面链接到的页面。它可能依然存在，列在站点地图里，甚至还在某些词上有排名，但在网站里浏览的访客到不了那里，搜索引擎也只能靠站点地图才知道它的存在。同时，你自己的链接结构也没有向搜索引擎传递任何“这个页面很重要”的信号。

孤立页面很少是有意为之。它们往往是这样留下来的：改版时删掉了某个菜单项，活动落地页在活动结束后还留着，某个分类被移除，或者一篇博客文章从头到尾只在首页的某个位置被链接过，而那个位置早已换了内容。

孤立页面为什么值得重视

• 发现。搜索引擎主要靠顺着链接来找到页面。只能通过站点地图到达的页面，被发现和重新抓取都不那么可靠。
• 重要性。内部链接是搜索引擎判断你认为哪些页面重要的依据之一。一个内部链接都没有的页面，看起来就不重要。
• 访客。用户没法一路点击到达那里，有用的内容也就没人读到。
• 维护。被遗忘的页面会渐渐过时：旧的价格、失效的优惠、过时的建议。

孤立页面是怎么找出来的

要认定一个页面是孤立页面，需要两份清单：一份是所有存在的页面，另一份是所有被链接到的页面。在第一份里有、在第二份里没有的，就是孤立页面。难点在于第一份清单，因为按照定义，顺着链接是找不到孤立页面的。常见的来源有：

• 你的 XML 站点地图；
• 从 CMS 导出的内容列表；
• 分析工具中有访问量的页面；
• Search Console 的“效果”报告和“网页索引编制”报告中 Google 已知的页面；
• 服务器日志中出现过的 URL。

第二份清单来自一次抓取：从首页出发，顺着每一个内部链接走下去，并记录哪些页面被链接到了。

为什么爬虫说的是“潜在孤立页面”

爬虫只知道它实际访问过的页面上有哪些链接。如果抓取在 10 个或 100 个页面处停下，或者到某个点击深度为止，又或者跳过了被 robots.txt 屏蔽的页面，那么站点地图里某个看似无人链接的页面，也许正被一个爬虫从未到达的页面链接着。所以诚实的工具会把它们称为潜在孤立页面：意思是“本次抓取中没有发现指向该页面的内部链接”，而不是“没有任何页面链接到它”。

还有一些情况会让爬虫看不到真实存在的链接：只有在 JavaScript 运行之后才出现的链接（当爬虫读取的是原始 HTML 时）、藏在表单或搜索结果里的链接，以及来自子域名或其他主机的链接，后者不算内部链接。

Rudra 如何找出潜在孤立页面

Rudra 的全站扫描（需要免费账户；免费网站审计只针对单个页面）会在抓取过程中读取你的 XML 站点地图。抓取结束后，它会列出站点地图中那些返回 200、却没有从任何其他已抓取页面获得内部链接的页面。首页不计入其中，只有同一网站各页面之间的链接才算数，并且在比较 URL 之前会先对结尾斜杠、片段标识符以及 http/https 或 www 的不同写法做归一化处理。只有在找到站点地图且至少抓取了两个页面时，这项检查才会运行；检查结果中会注明本次抓取覆盖了多少个页面，方便你判断它的完整程度。

同一份报告还会把内部链接很少的页面（来自其他已抓取页面的链接只有一个或一个都没有）作为一条单独的、低置信度的提示列出来，同时列出距离首页四次点击及以上的页面。这两者都不是错误，只是提醒你复查一下链接结构。

确认是否真的是孤立页面

1. 在自己的网站里搜一搜。用 CMS 的搜索功能或数据库查询来查找该页面的 URL 和 slug，再用 site:yourdomain.com "page title" 搜索看看有没有提及。
2. 查看 Search Console。“链接”→“内部链接”会显示 Google 看到了多少个指向某个 URL 的内部链接。
3. 看看抓取停在了哪里。如果抓取达到了页面数量上限，扩大抓取范围也许就能找到那个链接。
4. 查看分析数据。有访问量却没有内部来源的页面，说明访客只是从搜索、邮件或广告过来的。

每个孤立页面该怎么处理

逐页判断它是否还值得保留：

• 有用且内容不过时：从相关的位置链接到它，比如分类页或专题聚合页、相关文章；如果它很重要，还可以放进导航或页脚，以及面包屑导航。使用描述性的链接文字，而不是“点击这里”。
• 有用但已过时：先更新，再链接到它。
• 已被更好的页面取代：用 301 把它重定向到替代页面，并从站点地图中移除。
• 已经作废且没有替代页面：把它删掉（返回 404 或 410 都可以），并从站点地图中移除。
• 有意不设链接（活动落地页、感谢页）：可以考虑加上 noindex 并从站点地图中移除，以免它与你的主要页面竞争。

顺便检查一下新加的链接是否确实有效，我们的指南如何修复失效链接讲的就是这件事；同时让站点地图保持同步，具体做法见如何诊断站点地图问题。