クローラー、インデックスとは？Googleの検索エンジンにページが認識されるまでの仕組みを理解しよう

SEO対策をいくら行なったとしても、その対策した結果を検索エンジンに認識してもらえなければその効果は出ません。

本記事ではサイトのページがどのようにして検索エンジンに認識されるのか、またその仕組みを深く理解するために知る必要がある「インデックス」「クローラー」についても解説していきます。

検索エンジンにページが認識されるまで

検索エンジンにページが認識されるためには、検索エンジンに「発見」され、検索エンジンのデータベースに「登録」される必要があります。
検索エンジンが「発見」することを「クロール」と言い、クロールを行うロボットのことを「クローラー」と呼びます。また検索エンジンがページをデータベースへ「登録」することを「インデックス」と呼びます。
「クロール」「インデックス」を理解し、対策していくことでSEO対策のための施策を迅速に反映させることができます。

クローラーとは

クローラーとは上述したように、検索エンジンがWEB上のページを発見するためのロボットです。
クローラーがWEB上を巡回し、テキスト・画像・動画などの情報を収集します。
クローラーに発見されなければ検索エンジンから評価をされないため、検索結果に反映されません。
そのため、クローラーにいかに早く発見してもらうかがSEO対策には必要不可欠となります。

クローラーの種類

クローラーは以下のようにいくつか存在します。
・Googlebot … Googleがクロールを行うためのクローラー
・Yahoo Slurp … 日本以外のYahooのクローラー
・Baiduspider … 中国の検索サイトBaiduのクローラー
・bingbot … Bingのクローラー
日本のYahooの検索エンジンはGoogleのものを使用しているため、日本の検索エンジンのシェアの9割はGoogleが占めています。
そのため、日本向けのサイトに関してはGooglebotさえ意識しておけばよいと言えます。

クローラービリティとは

クローラビリティとはクローラーが情報を収集しやすくなるように最適化することです。
クローラビリティを改善することでページが「発見」されやすくなるため、クローラビリティの改善はSEO対策の効果に直結してきます。

インデックスとは

インデックスとは上述したようにクローラーが発見したページを検索エンジンのデータベースへ「登録」することです。
検索エンジンはインデックスされた情報をもとにランキングづけを行うため、ページ自体を検索エンジンから見て読みやすいように整えておくことが重要になります。
同じ内容が書いてあったとしても適切に検索エンジンが理解できる形にすることでSEO的に適切に評価がされるようになります。
さらに詳しい内容に関しては以下の記事を参照してください。

クロール・インデックスされているか確認する方法

検索エンジンに評価されるためには、まずはクローラーに発見してもらうことが重要です。
実際に自社のページがクロールされているのかどうかを確認する方法をご説明します。

Google Search Consoleを使用する

Google Search Consoleの「URL検査」から直近でそのページがクロールされているかどうかを確認することができます。

①Google Search Console上部にクロールされているかを確認したいページのURLをいれ、「URL検査」をクリックします。

②「カバレッジ」をクリックします。

③「前回のクロール」という部分から直近でいつクロールされていたかを確認することができます。

site:検索を使用する

Google Search Consoleを使用しなくても確認することができます。
確認したいページのURLの前に「site:」を入れて検索すると、そのページがインデックスされているかどうかを確認することができます。きちんとインデックスされている場合は下図のように検索結果に表示されます。
インデックスされているということはクロールされているということです。
新規のページだけでなく、内容を変更したページに関してもきちんとインデックスされているかどうかを確認することができます。

インデックスされやすくなる方法

クローラビリティを改善し、ページを発見されやすくすることで、新規のページや更新したページをすぐに検索結果に反映させることができます。
ここからはクローラビリティを改善する方法をご紹介します。

ディレクトリ構造を見直す

Googleは、「ディレクトリ階層が浅いコンテンツほど重要なコンテンツとみなす」と公式に発言しています。
つまりディレクトリ構造が複雑で、ディレクトリ数が多くなってしまうと重要度が低いと認識されてしまいます。
クローラーは全てのページを巡回するわけではないので、重要度が低いとみなされているページはクロールの頻度が少なくなる傾向があります。
そのため、ディレクトリ構造がシンプルで階層を浅くしたほうがクローラーがそのページを発見しやすくなります。

内部リンクを見直す

クローラーはリンクを辿ってサイト内をクロールしていきます。
そのためコンテンツの内容に関連性が高い記事があれば、内部リンクを積極的に設置することで、クロールされる頻度が高まります。
一点注意しなければならないのは、Googleは関連性の高いリンクを評価するため、むやみやたらに内部リンクを設置するとSEO的に評価されなくなってしまいます。
適切な内部リンクを増やしていくようにしていくことが大事です。

パンくずリストを整理する

クローラビリティを改善するためにはパンくずリストも意識する必要があります。
クローラーはサイト内の内部リンクを辿ってページを読み取っていきます。
その際にパンくずリストを正しく設置しておくことによって、正確にサイト内にある情報を読み取ってくれます。

サイトマップを送信する

Google Search Consoleからサイトマップを送信することでクローラーにサイト内にどのようなコンテンツがあるのかを適切に伝えることができます。

クローラーにクロールを促す方法

新しく追加したページや、内容を更新したページをいち早く検索エンジンに認識させるためには、クロールをいち早くしてもらう必要があります。
以下の方法を使うことでクローラーにクロールを促すことができます。

URL検査(旧Fetch as Google)を使用する

Google Search Consoleの機能の一つであるURL検査を使うことで、Googleにクロールを促すことができます。旧バージョンのGoogle Search ConsoleではFetch as Googleと呼ばれていた機能の代わりになります。URL検査で対象のページのURLを指定し、「インデックス登録をリクエスト」からGoogleにクロールを促すことができます。

altタグを適切に使用する

ページに設置した画像にaltタグを使用することで、Googleにインデックスされやすくなります。

altタグは「alt属性」や「代替テキスト」と呼ばれることもあり、ページに設置した画像の意味を説明するテキストの役割を果たします。altタグを適切に使用すると、読者と検索エンジンに、画像やコンテンツの意味を正しく伝えることができるのです。

そのためaltタグに、画像やコンテンツとかけ離れた内容を記載してしまうと、本来の意味が伝わらなくなり、インデックスされにくくなってしまいます。altタグを設定する際は、画像に合った適切なキーワードを使用して、シンプルかつわかりやすい説明文を作成しましょう。

表示速度を最適化する

表示速度を最適化すれば、クローラーのクローリングも効率的に行えるため、インデックスされやすくなります。

ページの表示速度とは、URLにアクセスしてから実際にブラウザにサイトが表示されるまでの時間を意味しています。もしも表示速度が遅いままにしてしまうと、ユーザーの離脱につながる可能性があります。離脱の割合が多いと、SEOの評価に悪影響をあたえるおそれもあるのです。

Google検索セントラルを確認すると、「2018 年 7 月より、ページの読み込み速度をモバイル検索のランキング要素として使用することになりました。」との記載があります。
参考：ページの読み込み速度をモバイル検索のランキング要素に使用します  |  Google 検索セントラル ブログ  |  Google Developers

画像をリサイズしてからページに設置するようにしたりして、表示速度の最適化を行っていきましょう。

MFIに対応する

MFIとは、「Mobile First Index」の頭文字を取った略称で、2018年3月から導入されたランキングの仕組みです。MFI導入によって、それまでPCサイトの評価がランキングの要素でしたが、モバイルサイトの評価が基準に変化しました。

自分のサイトをMFIに対応させると、クローラーに見つけてもらいやすくなりインデックスされやすくなります。重要なコンテンツについてPCサイトとモバイルサイトで差異がないか確認したり、PCサイトに記載されたレシピやパンくずリストをモバイル版にも記述したりして、MFIに対応しましょう。

まとめ

新しく追加したページや内容を修正したページをきちんと検索エンジンに認識させることはSEO対策をする上で必須になってきます。
クローラビリティを改善し、検索エンジンにクロールされやすいサイトにしていきましょう。