ブログ運営者の多くがお世話になっている、グーグルサーチコンソール（Google Search Console）。
記事の検索パフォーマンスを確認できる、便利ツールです。
この中に、「クロール済み – インデックス未登録」という項目があります。
その名の通り、クローラーが巡回しているのに、インデックスへ登録されていない状態です。
検索対象に入っていないため、いくら良い記事であろうと読まれる可能性は激減します。
ブロガーなら誰もが回避したい状態でしょうが、一時期、ブログ記事に大量の「クロール済み – インデックス未登録」が発生しました。
この記事では、ぼくが解消するために行なった対策と、原因について考察します。
先に結果を書くと、
対策 → 内部リンクを増やす
原因 → 100記事ほどを、一度に「noindex」にしたから？
といった感じです。
「クロール済み – インデックス未登録」が大量発生したときの、対策とその原因の考察
「クロール済み – インデックス未登録」の増加に気づいたのは、2019年10月中旬でした。
ふと、インデックスされている記事数を確認しようと、グーグル検索に「site:自分のサイトのurl（https://blue-de.com）」と入力してみたんです。
すると検索結果の総数は、500件ほどと表示されました。
500記事を書いて500件なら問題ないですが、その時点で記事総数は約1500。
つまりグーグルの検索上では、書いた記事の1/3しか存在していないことになっています。
これはさすがに焦りました。
いくら記事を書いたところで、スタート地点にも立てていないことになります。
「site:自分のサイトのurl」では誤差が出るかと思い、グーグルサーチコンソールを確認。
カバレッジの「クロール済み – インデックス未登録」を見てみたら、なんと約2000件が除外されているではないですか。
これはやばいと、早急に対策を考えました。
ページとして価値がないから、除外されたのか？
対策として浮かんだのは、除外記事を「URL検査」で登録し直すことです。
でも100記事程度ならいざ知らず（それでも大変ですが）、2000件の除外を手作業で登録するのは気が遠くなります。
そもそも「なぜ、除外されたのだろう」とネット検索すると、以下の理由が書いてありました。
グーグルが、「類似ページばかりで、インデックスするほど価値がない」と判断したから。
なるほど、確かにグーグルがそう思うなら、除外されるのもいたしかたない。
検索のアルゴリズムはグーグルが握っているのですから、従わざるを得ないです。
しかし自分の除外ページを見ると、北欧で立ち寄ったカフェや公共図書館の記事も入っています。
写真や場所、営業時間なども載せてあり、情報として無価値とは考えにくい。
自分のサイト内に、同じ内容のページもありません。
さて、どうしたものか。
サイト内リンクが足りていないのでは
その後、さらに検索で調べ、「ひょっとして、サイト内リンクが足りていないからじゃないか？」と仮設を立てました。
通常のブログは、1つの記事から別の記事へ巡回できるよう関連記事を設けます。
その理由は、閲覧者に色々な記事を見てもらいたいのと、クローラーにブログ内をくまなく巡回させるためです。
ぼくのブログではプラグインのJetpackで関連記事をつけていたものの、記事から記事へ数回クリックすると、最初に見た記事へ戻ってしまうパターンがほとんどでした。
つまり、クローラーがブログ内をスムーズに巡回できない設計になっていたのです。
2000記事をピークに減少していった
これが原因か確証ないものの、何かやってみないと心が落ち着きません。
といっても記事数が多いので、すべてに関連記事を付けるのは大変。
そのため、検索でよく読まれる記事を中心に、関連リンクを足していきました。
具体的には記事の最後に「関連記事」の項目を設け、手動で内部リンクを増やしたのです。
それが功を奏したのか、除外ページ数は2000をピークに減少していき、3ヶ月ほど経った今では、700ページ弱にまで減りました。
それが一般的な「クロール済み – インデックス未登録」の数なのかわかりませんが、今も減少傾向は続いています。
ひと安心です。
「noindex」の記事を一度に作ったのが原因かも
落ち着いた今になって思い返してみると、「クロール済み – インデックス未登録」が増えたころ、ひとつ行なったことがあります。
初期に書いた100本くらいの記事を下書きに戻し、検索に掛からないよう「noindex」にしたんですよね。
これは推測に過ぎませんが、一度に多くの記事を「noindex」にしたため、グーグルの評価が一時的に落ちたのかもしれません。
そして時間の経過とともに評価が元へ戻り、「クロール済み – インデックス未登録」が少なくなっていったのか。
まあ本当のところは、グーグルにしかわかりませんが。
一時的な増加の可能性があります
もし「クロール済み – インデックス未登録」が急増した場合、複数記事を「noindex」にしたなど、普段と違うことをしなかったか思い出してみてください。
心当たりがあるなら、時間とともに元に戻る可能性が高いです。