SEO対策リサーチ　-　まだ誰も知らないSEO関連情報の発信

SEO対策を行っているとある日突然、検索順位が大幅に下落するという現象がよく見られます。
下落の要因はサイトによって様々ですが、多くの場合ではアルゴリズムの変更によって引き起こされています。ところが、アルゴリズムの変更にも関係なく突然ランキングが下落なんて事が起こっているサイトはありませんか？いろいろ調べてみたけれど、原因が良く分からないといった人に1つの事例を紹介させていただきます。

この調査対象サイトの現象は下記の通り。

ＳＥＯ対策をした後、GoogleでもYahoo!Japanでも検索順位は順調で、ビッグキーワード（単一キーワード）でも1位〜5位の間を保っていました。ところがある日、

1.Googleでの検索順位が大幅に下落
　 200位までさかのぼりましたが、見つかりません。

3.クローラーが巡回しなくなった。
　 インデックスされている全てのページにクローラーが巡回しなくなりました。

2.トップページがインデックスから削除された。
　 ついにトップページがインデックスから削除

そして、上記の現象を起こしている要因として、下記の4つが考えられました。

要因　1.Googleアルゴリズムの変更により、掲載順位が下落した。
要因　2.本サイトではなく、ミラーサイトが上位に表示されている。
要因　3.Googleのクローラが巡回できないような障害がサイトにある。
要因　4.Googleからスパムサイトとして認定された。

まず、最初に「要因　1」を疑いました。 検索順位が1つのサイトで下落する日は大抵、他の多くのサイトで検索順位の変動がみらます。しかし、他のサイトを調べてみても、変動がなかったため、
アルゴリズムの変更という可能性は低くなりました。

「要因　2」についても検証を行い、ミラーになっているサイトを発見。設定を変更をしたのですが、状況は全く変わりませんでした。

残すところ「要因　3」か「要因　4」のスパムという可能性が濃厚になってきました。状況だけで判断すると4の可能性が高く、もし、スパム認定されたのであれば、厄介です。「要因　4」が頭によぎりながらも、「要因　3」を検証し始めました。

まず、サーバの環境を調べていたところ、あることに気がつきました。すでに、存在していないページにアクセスするとトップページへリダイレクトされています。通常、ＵＲＬが見つからない場合は404エラーが返ってきます。ところが、対象サイトはそのエラーメッセージが返ってきません。

上記の状況をクライアントに確認したところ、キャンペーンページなど見つからない場合「404エラー」を訪問者に見せるよりはユーザビリティを考えてトップページにリダイレクトさせるほうが良いだろうということで設定を変更した」ということです。

そして、次にGoogleウェブマスターツールで調べたところ、タイムアウトエラーが全てのページで出ていました。タイムアウトエラーの詳細はGoogleでは下記の様に書かれています。

■ウェブマスターツールより
ページにアクセスしようとした際にタイムアウトが発生しました。 ページがアクセス可能であるか確認してください。

ページは確かに存在しているし、このタイムアウトはおかしい・・・ そして、Googleのヘルプを確認していたところ下記の表記が見つかりました。

■robots.txt タイムアウト
参照：https://www.google.com/support/webmasters/bin/answer.py?answer=35164&ctx=tltp&hl=ja
robots.txt ファイルにアクセスしようとした際に、サーバーがタイムアウトしました。 サイトのページをクロールをする前に、ロボットのアクセスがブロックされているページをクロールしないよう、robots.txt ファイルを確認しようとしましたが、 robots.txt ファイルにアクセスしようとした際にタイムアウトが発生しました。 このファイルにリストされているページをクロールしないよう、クロールを保留しています。 サイトのクロールは、robots.txt ファイルにアクセスできるようになってから再開されます。 これは、robots.txt ファイルが見つからない 404 エラーとは異なります。 404 エラーの場合は、robots.txt ファイルが存在しないものとしてクロールを続行します。

ここで、はっきり状況が飲み込めました。 まず、Googleのクローラが巡回する順序は、下記のとおり

1.robots.txt ファイル　　
※robots.txt ファイルとはクローラーにアクセス制限をかけるためのファイルです。
2.sitemap.xml ファイル

robots.txt ファイルが存在しなくて、404エラーメッセージが返ってくる場合はそのままサイトサイトマップからサイトををクロールし始めますが、robots.txt ファイルがなくて404エラーメッセージが返ってこない場合はサイトへのクロールを保留するため、新しいデータはキャッシュされません。

今回の調査対象サイトはアクセスを制限するようなページは存在していなかったため、このファイルを設置していませんでした。そして、通常ページが見つからない場合に表示される、404エラーメッセージは表示させずユーザビリティを考えて、トップページへリダイレクトしています。

robots.txt ファイルがないことと、404エラーメッセージが返ってこないという状況が重なり、キャッシュがされず、検索順位が下落という結果をまねいていました。その後、サーバの設定は変更は変えず、robots.txt ファイルをサーバに設置したところ、キャッシュされ、検索順位も復活。

Googleのインデックスから削除されたときには、スパムサイトとして扱われたのかと思っていましたが、スパム認定されたわけではないことに一安心しました。

今回の現象は、Googleのみにおきた現象で、Yahoo!Japanでは全く影響がありませんでした。
サーバの設定の変更は、ユーザビリティを考えての変更だったわけですが、こういったことは意外に多くのサイトで起こっているのではないでしょうか？

検索順位はサイトそのものだけではなく、サーバの環境も影響を与えています。サイトのソースコードを変更するだけがＳＥＯ対策ではありません。サイトの置かれている状況を分析し、対策を模索することもＳＥＯ対策といえます。サイトの検索順位が大幅に下落した場合、スパムだと答えを急ぐのではなく、上記の可能性を探ってみるのも良いのではないでしょうか？