グーグルサーチコンソールで、「クロール済み – インデックス未登録」が大量発生。原因は、noindexにしたことか

公開日 2020-01-04 最終更新日 2021-04-02

ブログ運営者の多くがお世話になっている、グーグルサーチコンソール（Google Search Console）。
記事の検索パフォーマンスを確認できる、便利ツールです。

この中に、「クロール済み – インデックス未登録」という項目があります。
その名の通り、クローラーが巡回しているのに、インデックスへ登録されていない状態です。

検索対象に入っていないため、いくら良い記事であろうと読まれる可能性は激減します。

ブロガーなら誰もが回避したい状態でしょうが、一時期、ブログ記事に大量の「クロール済み – インデックス未登録」が発生しました。

この記事では、ぼくが解消するために行なった対策と、原因について考察します。

先に結果を書くと、

対策　→　内部リンクを増やす
原因　→　100記事ほどを、一度に「noindex」にしたから？

といった感じです。

「クロール済み – インデックス未登録」が大量発生したときの、対策とその原因の考察

「クロール済み – インデックス未登録」の増加に気づいたのは、2019年10月中旬でした。

ふと、インデックスされている記事数を確認しようと、グーグル検索に「site:自分のサイトのurl（https://blue-de.com）」と入力してみたんです。

すると検索結果の総数は、500件ほどと表示されました。
500記事を書いて500件なら問題ないですが、その時点で記事総数は約1500。
つまりグーグルの検索上では、書いた記事の1/3しか存在していないことになっています。

これはさすがに焦りました。
いくら記事を書いたところで、スタート地点にも立てていないことになります。

「site:自分のサイトのurl」では誤差が出るかと思い、グーグルサーチコンソールを確認。
カバレッジの「クロール済み – インデックス未登録」を見てみたら、なんと約2000件が除外されているではないですか。

これはやばいと、早急に対策を考えました。

ページとして価値がないから、除外されたのか？

対策として浮かんだのは、除外記事を「URL検査」で登録し直すことです。

でも100記事程度ならいざ知らず（それでも大変ですが）、2000件の除外を手作業で登録するのは気が遠くなります。

そもそも「なぜ、除外されたのだろう」とネット検索すると、以下の理由が書いてありました。

グーグルが、「類似ページばかりで、インデックスするほど価値がない」と判断したから。

なるほど、確かにグーグルがそう思うなら、除外されるのもいたしかたない。
検索のアルゴリズムはグーグルが握っているのですから、従わざるを得ないです。

しかし自分の除外ページを見ると、北欧で立ち寄ったカフェや公共図書館の記事も入っています。
写真や場所、営業時間なども載せてあり、情報として無価値とは考えにくい。
自分のサイト内に、同じ内容のページもありません。

さて、どうしたものか。

サイト内リンクが足りていないのでは

その後、さらに検索で調べ、「ひょっとして、サイト内リンクが足りていないからじゃないか？」と仮設を立てました。

通常のブログは、1つの記事から別の記事へ巡回できるよう関連記事を設けます。
その理由は、閲覧者に色々な記事を見てもらいたいのと、クローラーにブログ内をくまなく巡回させるためです。

ぼくのブログではプラグインのJetpackで関連記事をつけていたものの、記事から記事へ数回クリックすると、最初に見た記事へ戻ってしまうパターンがほとんどでした。

つまり、クローラーがブログ内をスムーズに巡回できない設計になっていたのです。

2000記事をピークに減少していった

これが原因か確証ないものの、何かやってみないと心が落ち着きません。
といっても記事数が多いので、すべてに関連記事を付けるのは大変。

そのため、検索でよく読まれる記事を中心に、関連リンクを足していきました。
具体的には記事の最後に「関連記事」の項目を設け、手動で内部リンクを増やしたのです。

それが功を奏したのか、除外ページ数は2000をピークに減少していき、3ヶ月ほど経った今では、700ページ弱にまで減りました。

それが一般的な「クロール済み – インデックス未登録」の数なのかわかりませんが、今も減少傾向は続いています。
ひと安心です。

「noindex」の記事を一度に作ったのが原因かも

落ち着いた今になって思い返してみると、「クロール済み – インデックス未登録」が増えたころ、ひとつ行なったことがあります。

初期に書いた100本くらいの記事を下書きに戻し、検索に掛からないよう「noindex」にしたんですよね。

これは推測に過ぎませんが、一度に多くの記事を「noindex」にしたため、グーグルの評価が一時的に落ちたのかもしれません。

そして時間の経過とともに評価が元へ戻り、「クロール済み – インデックス未登録」が少なくなっていったのか。
まあ本当のところは、グーグルにしかわかりませんが。

一時的な増加の可能性があります

もし「クロール済み – インデックス未登録」が急増した場合、複数記事を「noindex」にしたなど、普段と違うことをしなかったか思い出してみてください。

心当たりがあるなら、時間とともに元に戻る可能性が高いです。