解析対象外のクローラーは来訪してこない？

Googleのクローラーのリストは公式サイトで公開されています。

▼Google クローラ
https://support.google.com/webmasters/answer/1061943

自社サイトへクロールするものは主にウェブ検索用のGooglebotが中心です。加えてGoogle スマートフォンのGooglebotが来訪します。そして、サイト内に画像があれば画像用 Googlebotも来ます。動画も同様です。

しかし、Googleニュースの配信対象となっていないとニュース用 Googlebotは来ません。逆の言い方をすると、ニュース用 GooglebotがクロールしないのでGoogleニュースには掲載されません。ということは当たり前と感じるでしょう。

さて、弊社が解析している範囲内ではGoogle スマートフォンのGooglebotはスマホ対応していないサイトにはクロールしていないようです。そして最近スマホ対応をしてみたところ、Google スマートフォンのGooglebotがクロールしました。でもまだクロール頻度が極端に少ない状況です。

ちょっと興味があることはGoogleがモバイル ファースト インデックスを導入した時にクローラーの動きにも変化があるのか、ということです。ランキングの評価をモバイル中心となるということは、Google スマートフォンのGooglebotの解析結果がランキング対象となるのか？ ちなみに弊社が確認したところ、AMPページへのクロールはGoogle スマートフォンのGooglebotのみでした。

▼Googleがモバイル ファースト インデックスを導入予定、影響は？対応は？
https://www.suzukikenichi.com/blog/google-will-shift-to-mobile-first-index-soon/