Googlebot・検索エンジンクローラーのアクセス状況［2016年12月25日〜31日／当サイトのみ］

2016年は大晦日が日曜日なので、計測の区切れとしてはちょうど良かったです。人間と違いクローラーは日々動き続けています。通常は季節要因や場合によっては天候の影響を受けますが、クローラー解析はそういう不確定な要素の影響はあり得ません。ある程度一定の法則があります。2016年最終週は612セッション27種類のクローラーのアクセスがありました。

Googlebotは前週比約14.89％の増加です。ウェブ検索・スマートフォンどちらも増えました。前週までクロールがあったGooglebot-Mobileのアクセスは先週は0でした。ついにフィーチャーフォンのクローラーは活動を休止のかもしれません。

その他検索エンジンのクローラーです。アクセスは概ね増加傾向にあります。傾向から外れるのはYandexが減少したことと、DuckDuckGoは相変わらず少ないことです。

そして、360spiderのアクセスが増えました。360spiderというと中国の検索エンジンHaosouのクローラーの名称のようです。HaosouのクローラーのUseAgentはこちらです。以下のアクセスがあった場合はHaosouとしてログを計測しています。

mozilla/5.0 (compatible; msie 9.0; windows nt 6.1; trident/5.0); 360spider(compatible; haosouspider; http://www.haosou.com/help/help_3_2.html)

上記とは別に以下のUserAgentの360spiderもあります。以下クローラーのアクセスは360spiderとして計測しています。先週はこちらのアクセスが増加しました。

mozilla/5.0 (compatible; msie 9.0; windows nt 6.1; trident/5.0); 360spider

最近は以下UserAgentの360spiderのアクセスもありました。

mozilla/5.0 (windows nt 6.2) applewebkit/537.36 (khtml, like gecko) chrome/31.0.1650.63 safari/537.36 qihu 360se; 360spider

その他クローラーは特筆すべき状況がありませんので割愛します。