robots.txt・noindex・canonicalの違いと使い分け

設定の前に、ページの目的を決める

検索設定を整えるときは、各URLについて「取得させたいか」「検索に載せたいか」「どのURLを代表にしたいか」を先に決めます。見た目が似たページでも、サービス紹介、一覧の絞り込み、送信完了画面では目的が異なります。

社内だけの情報は、検索向けの設定だけで守ることはできません。認証やアクセス権限を別に設計し、公開範囲そのものを管理します。

3つの設定は、役割が異なる

canonicalはGoogleが正規URLを判断するためのシグナルです。指定先がそのまま採用されることを前提にせず、Search ConsoleでGoogleが選択したURLも確認します。

robots.txtとnoindexの組み合わせに注意する

Googleがnoindexを読むには、ページを取得できる必要があります。robots.txtでそのページを拒否すると、HTMLやHTTPヘッダーにあるnoindexを確認できなくなります。検索から外したいからといって、拒否設定を重ねればよいわけではありません。

Googleはrobots.txt内のnoindex指定をサポートしていません。HTMLのrobotsメタタグ、または対象リソースに適したHTTPのX-Robots-Tagを使い、実際の応答に指示があるかを調べます。

よくあるページを、目的から判断する

これは判断の例です。絞り込みURLでも、独自の内容があり検索で見つけてもらう価値があれば、重複ページと同じ扱いにはできません。URLの形だけで一律に設定せず、内容と役割を見ます。

canonical・内部リンク・サイトマップをそろえる

修正はまず少数の対象URLで確認し、テンプレート全体へ適用する範囲を決めます。設定の変更履歴を残すと、再取得後の変化を追いやすくなります。

• canonicalの指定先が取得でき、意図した内容を持つか確認する
• 代表URLにnoindexや不適切なリダイレクトがないか確認する
• 内部リンクとサイトマップで、異なる代表URLを示していないか調べる
• 開発環境のドメインや古いURLが残っていないか点検する
• URL検査で、設定した正規URLとGoogleが選んだ正規URLを比較する