本記事では、自分が管理しているWebサイトにおいて、GoogleやBingの検索エンジンの検索結果に意図せず特定のページやファイルが表示されている場合に、それらを検索エンジンの検索結果から削除、非表示にする方法について解説します。
GoogleやBingの検索結果から特定のページやファイルを削除、非表示にしたいケース
GoogleやBingの検索結果から特定のページやファイルを削除、非表示にしたいケースとして、例えば、以下の様なケースがあると思います。
非公開ページがGoogleやBingの検索結果に表示されている
Webサイト内に、どのページにもリンクが繋がっていないページを作成して、そのページのURLを特定のみに送り、そのURLのみを知っている人のみアクセス可能にしていたが、GoogleやBingの検索結果にそのページのURLが表示されており誰でもアクセス可能になっていた。
非公開ファイルがGoogleやBingの検索結果に表示されている
外部に公開されてはいけない資料(pptファイルやpdfファイルなど）がGoogleやBingの検索結果に表示されてしまっていた。
GoogleやBingの検索結果から特定のURLやファイルを削除、非表示にする手順
対策方法の流れとして、
- 非公開ページやファイルへの直接のアクセスを防ぐ
- Google(Search Console)やBing(Bing Webmaster Tools)で削除申請をする
- 非公開ページやファイルが検索エンジンの検索結果に表示されていた原因の調査
- 恒久的対策(再発防止策）の実施
となります。
上記の1、2については、単なる応急処置でしかありませんので、3、4も必ず実施しましょう。
【1】非公開ページやファイルへの直接のアクセスを防ぐ
重要度が高く、緊急性が高い場合は、まずはGoogleやBingの検索結果に表示されている非公開ページや非公開ファイルへの直接のアクセスを防ぎましょう。具体的には、非公開のページや非公開ファイルを削除もしくは、認証を設定して、直接アクセスできないようにしましょう。
【2】Google(Google Search Console)やBing(Bing Webmaster Tools)で削除申請をする
Googleの場合はSearch Console、Bingの場合はBing Webmaster Toolsで対象のページやファイルのURLを削除申請しましょう。
ただし、注意いただきたいのは、これはあくまで一時的なものです。
一定期間の後、クローラーがそのページやファイルにアクセスできる状態であれば、検索結果に表示されるようになります。
Googleの場合
Googleの検索結果から特定のページやファイルを非表示にしたい場合は、Goolgle Search Consoleから申請をすることができます。
管理画面内の
インデックス > 削除 > 新しいリクエスト
でGoogleの検索結果から非表示にしたいページやファイルを申請することができます(上述していますが、一時的な処置でしかありません）。
Bingの場合
Bingの検索結果から特定のページやファイルを非表示にしたい場合は、Bing Webmaster Toolsから申請をすることができます。
管理画面内の
構成 > URLのブロック >ブロックするURLを追加
でBingの検索結果から非表示にしたいページやファイルを申請することができます(上述していますが、一時的な処置でしかありません）。
【3】非公開のページやファイルが検索エンジンの検索結果に表示されていた原因の調査
GoogleやBingなどの検索エンジンに表示されるということは、それらのクローラーが、対象のページやファイルにアクセスできる状態になっていたということです。つまり、どうしてクローラーがそれらのページやファイルにアクセスできるようになっていたのかを、調査していく必要があります。
原因の一例として考えられるものをいくつかピックアップしてみました。参考にしていただければと思います。
非公開のページやファイルが意図せず別ページからリンクされていた
小規模なWebサイトの場合は、何がリンクされているのかを把握しやすいですが、大規模なWebサイトになるとそれらを把握するのが難しくなりがちです。そのため、意図せず非公開ページやファイルへのリンクが残ってしまうケースもあるかと考えられます。
サイトマップの運用が適切にされていなかった
サイトマップ(sitemap.xml)に記述されている内容が原因で、非公開ページやファイルが検索エンジンの検索結果に表示されることもあります。
例えば、以下のようなケースの場合です。
とあるWebサイトのあるページが、ページの改廃に伴い、そのページのURLを変えず、Webサイト内の各ページからそのページへのリンクを全て削除した。しかしながら、サイトマップ上はそのページのURLが残っていたというようなケースの場合です。
このようなケースでは、サイトマップをページの改廃時にサイトマップを適切に運用できていなかった場合に発生します。
サイトマップの中身を確認していなかった
CMSを導入しているWebサイトの場合は、ページの追加や削除などにより自動的にサイトマップが更新される機能があります。サイトマップの更新漏れがなくなりますので、非常に便利な機能です。
ただし、そのサイトマップに何か書かれているのかは必ず把握しておきましょう。そのサイトマップに、公開するつもりのないページやファイルが記載されていないことを確認する必要があります。
【4】恒久的対策(再発防止策）の実施
非公開ページやファイルが意図せず検索エンジンの検索結果に表示された原因が判明しましたら、今後同じようなことが生じないように恒久的な対策（再発防止策）を実施しましょう。