【WEB制作者さんのためのレンタルサーバ選び】現役エンジニアがレンサバの基礎知識やトラブル対処法をお教えします

レンサバ救急隊

トラブルシューティング

【検索エンジンからインデックスが突然削除】その原因と対処法【体験談】

投稿日:

先日ハマジンが管理している独自ドメインのブログで、「検索エンジンから突然インデックスが削除される」という世にも恐ろしいことがありました。その時の対処法をまとめておきます。

突然インデックス数が減少

突然インデックス数が減少

冒頭に結論だけお伝えしておくと、現在インデックス数は復活しつつあり、PV数はインデックスが削除される以前よりも増加しています。増加の原因は、一部で上位表示されるページが入れ替わっており、CTR(クリックスルーレート)が高くなったためです。

ということで本題です。なぜインデックスが削除されて、どのようにして復活したのかを説明していきましょう。

気づいたきっかけ

通勤時間中にGoogleAnalyticsを使って、昨日のアクセス数を見るのが習慣になっています。その日もいつもの通り、通勤電車の中でGAを見ていました。

すると、「あれ?やたらとアクセスが少ない?」前々日と比べて、アクセス数が2分の1くらいになっていました。

ブログやサイトを運営している人であれば、ご存じだと思いますが、ウェブサイトのアクセス数は表示順位が大きく増減しない限り、それほど変わりません。「バレンタイン」や「ホワイトデー」など、季節に関連したキーワードであれば、増減することも考えられますが、そのブログはそれほど季節に影響を受けるような内容のものではありませんでした。

なんでかな?と思いつつ会社へ着いたので、帰宅後調べることにしました。

調べたこと

トラブルが起きたときに重要なのは、「慌てずに、現状を正確に把握する」ことです。ということで、現状を把握してみます。

どれくらいのアクセスが減ったのか

まず、GoogleAnalyticsで、アクセス数の減少がどれほどあるのかを確認してみます。

その結果、前日と比較して、約40%ほどPVが減っているようです。

減ったアクセスはどこからのものか?

減った原因は何か?このサイトの流入は検索エンジンが主なものでした。

前日には、

  • 90%が検索エンジンから
  • 10%がリファラーから

だったものが、

  • 60%が検索エンジンから
  • 40%がリファラーから

に変化していました。

どうやら、Googleの検索エンジンの機嫌を損ねてしまったようです。

GRCで検索順位をチェックしてみる

検索エンジンの問題っぽいということで、検索順位をチェックしてみます。

検索順位のチェックには「検索順位チェックツールGRC」を使っています。GRCは検索順位のチェックには必須のアイテムともいえるツールです。サイトと調べたいキーワードを登録して、チェックを実行すると、自動でYahoo、Google、bingの検索順位をチェックしてくれます。日別で検索順位の推移をみることができるので、順位変動を調べるのに非常に便利です。3サイト20キーワードまでは無料で利用できるので、多くの人はフリーソフトとして利用できます。

そんなGRCで検索順位を調べてみると、、、

1位から圏外へ行ったキーワードが・・・

1位から圏外へ行ったキーワードが・・・

前日まで1位だったキーワードが見事に圏外へ吹っ飛んでいます。あらためて、グラフを見てみると、YahooとGoogleはほぼ同時期に圏外へ飛び、bingだけは通常営業みたいですね。

検索順位で圏外へ飛んでしまったキーワードが多数あることが原因のようです。

「検索順位 圏外」で調べてみる

こまったときのGoogle頼み、ということで、「検索順位 圏外」などのキーワードで、情報収集をしてみます。検索順位が大きくかわる主な原因には、次のようなものがあることがわかりました。

1. 検索エンジンのアルゴリズム・アップデート
2. ホームページの大きな変更
3. 低品質なページが多い
4. 類似ページ、重複ページ
5. 不自然なリンク

出典:http://millionvalue.com/blog/seo/seo-outside-of-the-circle/

ひとつずつ調べていきます。

検索エンジンのアルゴリズム・アップデートを調べる

アルゴリズムのアップデートの調査には、namaz.jpというサイトが便利です。10位以上の変動が起きたときには、グラフが赤く表示されるのですが、真っ黄色。どうやらアップデートなどは起きていないようです。

検索順位の変動をチェック

検索順位の変動をチェック

念のためTwitterなどでも情報を集めてみましたが、特に何もない模様。。。

ホームページの大きな変更を振り返る

ホームページの大きな変更をかけたかを考えてみます。

あっ、そういえば、3日前くらいにテンプレート変更した上に、自分でかなりカスタマイズをかけた気が・・・

大きな変更を行うと、検索エンジンからの評価がかわるために、順位が落ちたり圏外になったりすることがあるそうです。

せっかくカスタマイズしたので、元に戻すのも・・原因はほかにあるはずだ!と思い直し、調査を進めます。

低品質なページや重複ページ、不自然なリンクなどのペナルティの可能性

Googleからペナルティを受けている可能性を確認します。まったく身に覚えはありませんが、チェックです。

まずは、サーチコンソール、通称サチコのメッセージを確認します。ペナルティなどが発生しているときは、何かしらのメッセージが届きます。そのメッセージを手掛かりに対処をすればペナルティが解除されます。

サーチコンソールのメッセージを確認

サーチコンソールのメッセージを確認

しかしながら、メッセージは何もありませんでした。

次に、セーフブラウジングを確認します。Google透明性レポートといい、サイトの危険性の有無を教えてくれます。次のURLを入力することで、チェックが可能です。

https://www.google.com/transparencyreport/safebrowsing/diagnostic/index.html#url=[調べたいサイトURL]

セーフブラウジング

セーフブラウジング

Googleで試してみると、当然ですが「危険ではない」の評価です。自身のサイトで確認してみると。

セーフブラウジングにデータがない・・・

セーフブラウジングにデータがない・・・

そもそも、データがないといわれました・・・そうですか、弱小サイトに興味はありませんか。。。何はともあれ、サイトに問題があるわけではなさそうです。

サーチコンソールでインデックス数を確認

突破口が見えない中、サーチコンソールで、インデックス数を確認してみました。すると、インデックスが減っています。検索順位が落ちたのではなく、インデックスが削除されているのです。

突然インデックス数が減少

突然インデックス数が減少

時期的に考えてみると、サイトをリニューアルしたタイミングとほぼ同時期です。どうみても、リニューアルが影響してそうです。

ためしに、Fetch as Googleをしておきます。robots.txtファイルで検索エンジンをブロックしているわけでもなさそうです。

様子を見ることに

色々サイトを見てみましたが、突然インデックスが削除された場合は、落ち着いて、「2~3週間ほど様子を見たほうがいい」という情報が多くあったので、様子を見ることにしました。

問題が発生しているのに、何もできないのはとてもつらいものです。ページビューと検索順位、インデックスをチェックしながら過ごす日々が続きます。日を追うごとに、状況は悪化していきます。ページビューは減少し、検索順位は圏外に飛び、インデックス数もどんどん減っていきます。

やっぱり、何かおかしい。でも、わからん。。。

アイデアの神様到来

突然、話はかわりますが、アイデア作りの本質を知っていますか?アイデアは次のような順序で生まれます。

  1. 資料を徹底的に集める
  2. 資料に手を加える
  3. いったんすべて忘れる
  4. アイデア到来♪

情報を集めて集めて、悩んであれこれ考えて、考え抜いて、いったん忘れるとよいアイデアが浮かんできます。

仕事でいろいろ悩んで答えが出ずに、お風呂でアイデアがひらめいた!なんて話は典型的なものです。

話を戻すと、休日ゆっくりしているときに、僕のところにもアイデアの神様が到来しました。

noindexをつけているのでは?

もしかして、noindexついているんじゃない?

noindexとは、検索エンジンのクローラー(BOT)に対して、「インデックスしなくていいですよ」と表明するためにhtmlへ記載するものです。

クローラーが巡回に来たタイミングで、noindexを見つけると、インデックスを更新するときに、インデックスから削除される可能性があります。自ら削除してください、とお願いしているので、当然といえば当然ですが、そのタイミングは検索エンジン次第です。

恐る恐る、トップページのソースを表示して、「index」で検索してみると、、、

meta name="robots" content="noindex, follow"

いました、noindex。しかも、トップページに。配下のページを調べてみても、すべてのページにnoindexが。。。そら、インデックスから削除されますよね・・・放っておいたら復活どころか、全ページインデックスから消えるところでした。

noindexをつけている犯人は、WordPressの設定だった

noindexの犯人探しをする必要があります。思い当たるのは、WordPressか使用しているテンプレートです。

テンプレートの投稿時にnoindexを選択することはできますが、デフォルト設定はindexです。投稿ページを確認してみても、index設定となっています。

となると、WordPressです。WordPressで検索エンジンに関係しそうな個所といえば、「設定->表示設定->検索エンジンでの表示」のチェックです。
「検索エンジンがサイトをインデックスしないようにする」にチェックを入れるとインデックスされなくなります。確認してみると・・・あった、あったよチェックが!

検索エンジンでの表示にチェックを入れると、noindexが付く

検索エンジンでの表示にチェックを入れると、noindexが付く

noindexの犯人は、「検索エンジンがサイトをインデックスしないようにする」のチェックでした。テンプレートをカスタマイズするときに、テスト用ドメインを使っていました。よく考えたら、重複ページにならないようにと思い、チェックを入れていました。

ここにチェックを入れると、robots.txtでクローラーの制限をかけるのかと思ってました。そうではなく、noindexを入れるんですね。。。

チェックを外してFetch as Googleで問題解消

原因がわかれば、対処するだけです。チェックを外して、ソースを確認してみます。すると、noindexの表示がなくなり、indexに変わりました。

Fetch as Googleで全体と念のために主要なページをクロールさせて様子を見ます。

ここにたどり着くまで1週間もかかってしまいました・・・

現在の様子

突然のインデックス削除から2週間ほど経ちました。現在の様子はというと、インデックスも徐々に回復してきています。まだすべてインデックスされていませんが、ページビューはなぜか増えています。どうやら上位表示されるページが変わったようで、良くクリックされるようになったみたいです。

現在のインデックス状況とページビュー

現在のインデックス状況とページビュー

このまま復活してくれるのを祈るのみです。

まとめ

いかがでしたか?

原因がわかってしまえば、そらそうだ、という内容です。しかし、そこにたどり着くまでに長い時間と労力を使いました。同じ状況に陥った人の参考になれば幸いです。

ということで、一時的にWordPressの「検索エンジンがサイトをインデックスしないようにする」にチェックを入れるときは、必ずもとに戻すようにしましょう。robots.txtではなく、noindexタグを出力するので、ひっそりとインデックスから削除されていきます。

-トラブルシューティング

Copyright© レンサバ救急隊 , 2018 All Rights Reserved.