Webサイトの孤立ページを見つける方法 — クローラーが「可能性あり」としか言えない理由

孤立ページとは、サイト内のほかのどのページからもリンクされていないページのことです。ページ自体は存在し、サイトマップにも載っていて、何かの検索で上位に表示されていることさえあるかもしれません。しかし、サイト内を見て回る訪問者はそこにたどり着けず、検索エンジンにとっては、そのページの存在を知る手がかりがサイトマップしかありません。さらに、そのページが重要だというシグナルを、あなた自身のリンクから受け取ることもできません。

孤立ページが意図的に作られることはほとんどありません。リニューアルでメニュー項目が消えた、キャンペーン用のランディングページがキャンペーン終了後も残った、カテゴリが削除された、ブログ記事へのリンクがトップページの枠にしかなく、その枠がすでに別の内容に入れ替わった。そうした出来事のあとに取り残されたものです。

孤立ページが問題になる理由

• 発見。 検索エンジンは、ほとんどのページをリンクをたどって見つけます。サイトマップ経由でしかたどり着けないページは、発見も再クロールも不確実になります。
• 重要度。 内部リンクは、あなたがどのページを重要と考えているかを検索エンジンが判断する手がかりの1つです。1本もリンクのないページは、重要でないように見えます。
• 訪問者。 クリックをたどっていっても到達できないので、役に立つコンテンツが読まれないままになります。
• メンテナンス。 忘れられたページは、だんだん古くなっていきます。昔の価格、終了したキャンペーン、時代遅れのアドバイスなどです。

孤立ページはどうやって見つけるのか

あるページを孤立ページと呼ぶには、2つのリストが必要です。存在するすべてのページのリストと、どこかからリンクされているすべてのページのリストです。孤立ページは、1つ目のリストにあって2つ目にはないものです。難しいのは1つ目のリストのほうです。定義上、リンクをたどっても孤立ページは見つからないからです。通常は次のような情報源を使います。

• XMLサイトマップ
• CMSからエクスポートしたコンテンツ一覧
• アクセス解析で訪問が記録されているページ
• Search Consoleの「検索パフォーマンス」レポートと「ページのインデックス登録」レポートでGoogleが把握しているページ
• サーバーログに現れるURL

2つ目のリストは、クロールから得られます。トップページから始めてすべての内部リンクをたどり、どのページがリンクされていたかを記録します。

クローラーが「孤立の可能性」と言う理由

クローラーが把握できるのは、実際に訪れたページ上のリンクだけです。クロールが10ページや100ページで止まったり、一定のクリック階層で止まったり、robots.txtでブロックされたページを飛ばしたりした場合、リンクされていないように見えるサイトマップ上のページが、実はクロールの届かなかったページからリンクされているかもしれません。だからこそ、誠実なツールはこれを孤立の可能性があるページと呼びます。「このページにリンクしているものは何もない」ではなく、「今回のクロールでは、このページへの内部リンクが見つからなかった」という意味です。

実在するリンクがクローラーから見えなくなる原因は、ほかにもあります。JavaScriptの実行後に初めて現れるリンク(クローラーが生のHTMLを読んでいる場合)、フォームや検索結果の中にあるリンク、そしてサブドメインやほかのホストからのリンクです。最後のものは内部リンクとして数えられません。

Rudraが孤立の可能性のあるページを見つける仕組み

Rudraのサイトスキャン(無料アカウントで利用できます。無料のWebサイト監査は単一ページが対象です)は、クロール中にXMLサイトマップを読み取ります。クロールが終わると、サイトマップ上のページのうち、200を返し、かつクロールしたほかのどのページからも内部リンクを受けていなかったものを一覧表示します。トップページは対象外で、数えるのは同じサイトのページ間のリンクだけです。URLは、末尾のスラッシュ、フラグメント、http/https や www の違いを正規化したうえで比較します。このチェックが実行されるのは、サイトマップが見つかり、かつ2ページ以上がクロールされた場合だけです。検出結果にはクロールしたページ数が明記されるので、どの程度網羅できているかを判断できます。

同じレポートには、内部リンクが少ないページ、つまりクロールしたほかのページからのリンクが1本または0本のページが、信頼度の低い別枠の参考情報として表示されます。あわせて、トップページから4クリック以上離れたページも表示されます。どちらもエラーではなく、リンクの張り方を見直すきっかけです。

本当に孤立ページかを確認する

1. 自分のサイト内を検索する。 CMSの検索機能やデータベースのクエリで、そのページのURLとスラッグを探します。言及されている箇所を探すには、site:yourdomain.com "page title" で検索します。
2. Search Consoleを確認する。 「リンク」→「内部リンク」で、GoogleがそのURLへの内部リンクを何本把握しているかがわかります。
3. クロールがどこで止まったかを確認する。 クロールがページ数の上限に達していたなら、より大規模なクロールでリンクが見つかるかもしれません。
4. アクセス解析を見る。 訪問はあるのにサイト内からの流入がないページは、検索、メール、広告からしか到達されていません。

孤立ページごとの対処法

そのページを今後も残す価値があるかどうかを、1ページずつ判断します。

• 役に立ち、内容も最新: 関連する場所からリンクします。カテゴリページやハブページ、関連記事、重要なページであればナビゲーションやフッター、そしてパンくずリストです。リンクテキストは「こちらをクリック」ではなく、内容がわかるものにします。
• 役に立つが内容が古い: 更新してから、リンクします。
• より良いページに置き換えられている: 新しいページへ301リダイレクトし、サイトマップから削除します。
• 不要になり、代わりのページもない: 削除し(404でも410でもかまいません)、サイトマップからも外します。
• 意図的にリンクしていない(キャンペーン用のランディングページ、サンクスページなど): 主要なページと競合しないよう、noindex の指定とサイトマップからの削除を検討します。

この機会に、追加したリンクが実際に機能するかも確認しましょう。これについてはリンク切れを修正する方法のガイドで解説しています。あわせて、サイトマップの問題を診断する方法で説明しているとおり、サイトマップも実態に合わせて更新しておきます。