スマートフォン用のGooglebotはrobots.txtを見ているのか？

2016年最後の投稿です。今年気になったことはタイトル通りのことです。ウェブ検索用のGooglebotしかrobots.txtを見ていないのではないか、と考えています。まだきちんとした確証はないのですが、クローラーのアクセスを解析していると、どうもスマートフォン用のGooglebotがrobots.txtにアクセスした形跡がないのです。最初は「たまたまなのかなあ〜」と思っていたのですが、ず〜っと動きを見ていても全くアクセスがありません。

現状GoogleはSEOのコンテンツ評価基準においてデスクトップ版をプライマリーに、モバイル版はセカンダリに見ています。Googlebotはウェブ検索とスマートフォン、それぞれ独立しています。普通に考えるとそれぞれがrobots.txtを見て、その指示に従うのでしょう。しかし、スマートフォン用のGooglebotがrobots.txtを見ていないとするならば、ウェブ検索Googlebotが見た指示をスマートフォン用のGooglebotも従うことになります。効率良くクロールするという考えならば理にかなったことでしょう。robots.txt自体は単なるテキストファイルなので、デスクトップ版もモバイル版もありません。どちらか片方が見にいけばいいことです。

何故スマートフォン用のGooglebotがrobots.txtにアクセスしていないことを気にしているのかというと、そのルールが永続的なことなのかが気になっているからです。それがデスクトップファーストインデックスだからということならば、モバイルファーストインデックスになると逆にスマートフォン用のGooglebotしかrobots.txtにアクセスしないことになります。ここに相関関係があるのかどうかが気になっています。だから改めて動きをテストしています。その結果は2017年に記そうと思っています。

スマートフォン用のGooglebotはrobots.txtを見ないのか？

上記を踏まえてちょっとしたテストをしました。Search ConsoleのFetch as Googleを使い、スマートフォン用のGooglebotを強制的にrobots.txtへクロールさせてみました。テスト前にrobots.txtを少し工夫してクローラーのアクセスをGoogle Analyticsへ計測できるようにしています。

Fetch as Googleでスマートフォン用のGooglebotをrobots.txtへリクエストします。

このようにアクセスが計測できました。と、いうようにスマートフォン用のGooglebotもrobots.txtを当然クロールはできます。しかし、現状は何もないとrobots.txtをクロールしていないように見えます。だから検証数を増やして実際にどうなのかをテストします。