一生懸命運営しているサイトがサイト名で検索してもトップページが上位に出て来ません。また、Google で site:example.com のように検索してもトップページを見つけることができません。
あまりにもおかしいのでウェブマスターツールを見てみたら以下のようなエラーが出ていました。どうやら robots.txt にアクセスした時に奇跡的なタイミングでサーバーがエラーを出した様です。
このサーバーエラーが発生すると Google はなぜかトップページを削除してしまうようです。この件については下記のページが参考になりました。
robots.txtへのアクセスが500エラーを返しているとTOPページのインデックスが外される
ちなみに1日経ってから見たところ通常通り表示されていました。robots.txt の値は Google がキャッシュして保持しておくなど、もう少し利用者が困らない方法でやった方が良いのではないかなと Google に対して思いました。
しかしながら、インデックスされてはいけないページなどもあるかと思いますので、Google はその点に関してかなり慎重な対応をしてくださっているのかと思います。
コメント