クローラーとは？ SEOと検索エンジンの仕組みについて

検索エンジンはユーザーが入力したキーワードに対して適したWebページを表示します。そしてWebページの表示は独自のアルゴリズムで決めた順位付けがなされます。ユーザーにとって有益なWebページから順番に表示するように検索エンジンは努めています。

しかし、Webページの情報を検索エンジンは保有していなければ検索結果を提供できません。そこで検索エンジン各社は独自にWebページの情報収集をしています。この情報収集の役割を担うのがクローラーです。クローラーは検索エンジンが提供しているWebページ収集用のプログラムです。つまりクローラーにWebページの情報を収集されない限り、検索されても該当ページが表示されません。

検索エンジンの仕組み

では検索エンジンはどのようになっているのか？ 先に進む前に検索エンジンの仕組みについて理解してください。Googleが提供しているSearch Console ヘルプに「Google 検索の仕組み」があります。
https://support.google.com/webmasters/answer/70897

文字ばかりなのでちょっとわかりづらいかもしれません。こちらにも検索エンジンの仕組みについて有益なページがあります。
http://web-tan.forum.impressrd.jp/e/2009/03/27/4952

これは2009年3月27日公開のページです。
「古い！ 今は違うだろう」と思うかもしれませんが、仕組み自体は変わりません。リアルタイムにインデックスされたりとか改善はありますが、仕組みは一緒です。「検索エンジン 仕組み」で検索しても未だに1ページ目に表示されます。そして他のページを見ても内容はほぼ変わらないことからも、仕組みが変わっていないことがご理解いただけるはずです。

1. クローラー：HTTPプロトコルでコンテンツを取得する
2. インデクサ：取得したコンテンツを解析し保存する
3. クエリサーバー：ユーザからの検索クエリ（キーワード）の結果ページを返す

このように「クローラーが収集」したWebページを「インデクサが解析」しデータベースに登録した情報を元に、ユーザーが入力したキーワードに対して「クエリーサーバーから受け取った検索結果」を表示しています。

Googleの変化

Googleはクローラーが収集した情報を解析しやすくするためにWebマスターに色々と要望をしています。
例えば構造化データ。構造化データでマークアップをすると検索結果で追加要素を表示できます。
https://support.google.com/webmasters/answer/2650907

その拡張版としてAMP（Accelerated Mobile Pages）を推奨しています。
https://support.google.com/webmasters/answer/6340290

また、ページのパフォーマンスを測定するPage Speed Insightsを提供しています。対象URLの読み込み速度を計測し0～100のスコアを表示します。スコアが悪いとGoogleからダメを出されている気がしてしまいますね。
https://developers.google.com/speed/pagespeed/insights/

▼Page Speed Insightsについて
https://developers.google.com/speed/docs/insights/about

以前はGoogleは「何もしないことが一番」と言っていたのですが、近年Webマスターへの注文が多くなりました。当然検索結果の向上に繋がる可能性はありますが、Google側の事情もあるのだろうなあと推測します。

また、こんなお願いもあったことも書いておきます。
▼Googleからのお願い、「CSS・JavascriptをGooglebotがクロールするのをブロックしないで」
https://www.suzukikenichi.com/blog/dont-block-googlebot-from-crawling-javascript-and-css/