非公開サイトがインデックスされる原因

検索エンジンにテストサイトなどの非公開サイトがインデックスされてしまうことがあります。
SEOとは直接関係ないのですが、非公開サイトが検索エンジンに見つかってしまう原因について、簡単に解説しておきます。

実は、非公開サイトがインデックスされてしまう原因のほとんどは、Googleツールバーにあります。
Googleツールバーは、検索機能のユーザビリティ向上だけでなく、いろいろな機能を持っています。
そのひとつが、先日発表された「サイトパフォーマンスを検索結果のランキングアルゴリズムの1つの要素としている」ということに関係するもので、このサイトパフォーマンスは、実はGoogleツールバーによって測定されているのです。

つまり、Googleツールバーは、ユーザーがアクセスしているサイトの情報を随時Googleに送信する機能を持っているということです。

ユーザーが閲覧しているサイトの情報が送信されているということは、Google側が認識していない(すべきでない)テストサイトなどにアクセスした際に、そのURLはGoogle側に通知されています。

では、非公開サイトがインデックスされないようにするには、どうしたら良いでしょうか。
答えは簡単です。
非公開としたいサイトでは、robots.txtを使い検索エンジンのクローラーをブロックすることです。
また、.htaccessや、httpd.confを使い、指定IP以外からのアクセスをブロックするのも有効でしょう。

metaのrobotsにnoindex,nofollowを指定しても100%インデックスされない保証はないので、注意しましょう。