noindexとは?仕組み、使うべき場面、見つけ方

noindex は、検索エンジンに対する「このページにアクセスしてもよいが、検索結果には表示しないでほしい」という指示です。検索に何を表示させるかを制御する手段として最も役に立つものの1つですが、誤って残してしまうと、最も被害の大きいものの1つにもなります。訪問者から見て、ページには何の異常もないからです。

noindexを設定する2つの方法

robotsメタタグ

ページの <head> 内に <meta name="robots" content="noindex"> と記述します。robots という名前はすべての検索エンジンに適用されます。googlebot のように固有の名前を使えば、特定の検索エンジンだけを対象にできます。指示は組み合わせることもできます。noindex, nofollow は、ページ内のリンクをたどらないこともクローラーに求め、none は noindex, nofollow と同じ意味です。

X-Robots-Tagヘッダー

同じ指示を、HTTPレスポンスヘッダーとして送ることもできます: X-Robots-Tag: noindex。PDFのようなHTML以外のファイルでは、これが唯一の方法です。サーバーの設定でサイト全体に簡単に適用できますが、それが誤って残ってしまう理由でもあります。ページのソースには表示されないので、開発者ツールか curl -I でレスポンスヘッダーを確認してください。

noindexとrobots.txtによるブロックは別物

これが最もよくある誤解です。robots.txtの Disallow はクローラーがページを取得するのを止め、noindex はページをインデックスするのを止めます。クローラーが noindex を認識するには、ページを取得しなければなりません。つまり、robots.txtでURLをブロックすると、クローラーは noindex を目にすることがないのです。ほかのサイトからリンクされていれば、そのURLが説明文なしで検索結果に表示されることさえあります。

したがって、ページを検索に出したくないなら、クロールは許可したうえで noindex を使います。Googleは2019年に、robots.txt内の noindex ルールのサポートを終了しました。robots.txtが本来何のためのものかは、robots.txtとsitemap.xmlのガイドで解説しています。

noindexを使うのが適切な場面

• 検索上の価値がない、サンクスページ、確認ページ、アカウントページ。
• サイト内検索の結果ページ。
• 主要なページと競合させたくない、内容の薄いタグページ、アーカイブページ、絞り込みページ。
• ステージングサイトやプレビューサイト。noindex は人のアクセスを止めないので、できればパスワードでも保護してください。
• メインのコンテンツと重複するキャンペーン用のランディングページ。

1つのURLに統合したい重複ページには、noindexは適していません。その場合はcanonicalかリダイレクトを使います。詳しくはcanonicalの問題を修正する方法で説明しています。また、noindex と、別のページを指すcanonicalを組み合わせてはいけません。一方は「このページを除外してほしい」と言い、もう一方は「このページはあのページのコピーだ」と言っていることになるからです。

noindexが誤って残ってしまう経緯

• 公開時に、ステージングサイトの設定が本番環境にコピーされた。
• WordPressの「設定」→「表示設定」にある「検索エンジンがサイトをインデックスしないようにする」のチェックが入ったままになっている。
• SEOプラグインの初期設定で、商品やカテゴリといったコンテンツタイプ全体がnoindexになっている。
• ステージング用にサーバーやCDNの設定で追加した X-Robots-Tag ヘッダーが、すべての環境にデプロイされた。
• ある項目が空のときに noindex を追加するページテンプレートがある。

ページを確認する方法

ページをRudraの無料SEOチェッカーにかけてみてください。robotsメタタグと X-Robots-Tag ヘッダーに noindex や nofollow(または none)がないかを調べ、robots.txtがそのページをブロックしていないかを確認し、HTTPのリダイレクトやエラーステータスがあれば記録します。そのうえで、「インデックス可能」かどうかの判定を1つ、理由とともに表示します。また、canonicalが別の場所を指している noindex のページを競合として検出するほか、nosnippet のように、インデックスは妨げないものの検索結果の見え方を変えるスニペット制限の指示も知らせます。noindex があると、SEOスコアは30点減点されます。ページが検索から完全に消えてしまうからです。

サイト全体については、Rudraのサイトスキャンがインデックス可能なページと noindex のページを集計し、サイトマップに載っている noindex のページを指摘します。Google Search Consoleでは、「ページのインデックス登録」レポートに「noindex タグによって除外されました」としてページが一覧表示され、URL検査では特定のURLがインデックス可能かどうかを確認できます。

noindexを解除する

1. どこから出力されているかを突き止めます。ページのソース(metaタグ)、レスポンスヘッダー(X-Robots-Tag)、CMSの設定、SEOプラグインの設定、サーバーの設定のいずれかです。
2. 出力元で削除し、ページキャッシュやCDNのキャッシュをクリアします。
3. 公開中のページをもう一度確認し、タグとヘッダーの両方が消えていることを確かめます。
4. そのページがrobots.txtでブロックされておらず、サイトマップに載っていることを確認します。
5. Search ConsoleのURL検査を使い、重要なページについてはインデックス登録をリクエストします。それでも、再クロールには数日から数週間かかることがあります。