クローキングとは？ スパム行為を防ぐために

SEOではご法度と言われるクローキング。スパムな行為なのでやってはいけないとされていますが、クローキングとはどのようなものなのか今一度確認しておきませんか。

クローキングとは

クローキングとは、人間のユーザーと検索エンジンに対しそれぞれ異なるコンテンツまたは URL を表示することです。クローキングは、Google のユーザーが予想した結果と異なる結果をユーザーに提供するものであるため、Google のウェブマスター向けガイドライン（品質に関するガイドライン）への違反と見なされます。

▼クローキング（Search Console ヘルプ）
https://support.google.com/webmasters/answer/66355

人間と検索エンジンでコンテンツを変える方法としてUA（ユーザーエージェント）で判断しページを振り分けることが一般的です。例え悪意がなかったとしても、間違ってしまったとしても、クローキングに該当してしまうと検索エンジンの評価を下げることになるのできちんと把握しておきましょう。

UA（ユーザーエージェント）によるページの振り分け方

上記Search Console ヘルプページにもある例は非常にわかりやすいのですが、人間には画像やJavaScriptを多用したリッチなページを表示し、検索エンジンにはテキストのみのページを表示するというようなケースです。このページの振り分けはUAを利用することが一般的でしょう。UAは利用しているブラウザの情報や検索エンジンの場合はその情報が記載されています。例えば自分のメインブラウザであるGoogle ChromeのUAはこちら。

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.71 Safari/537.36

対して、Googleのウェブ検索用のクローラーのUAはこちら。

Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

Googleスマートフォン用のクローラーのUAはこちら。

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

▼Google クローラー（Search Console ヘルプ）
https://support.google.com/webmasters/answer/1061943

PHP・JavaScriptでこのUAを判断し表示ページを振り分けることができます。当然クローキングになりますね。しかし、UAでページを振り分ける行為自体は問題ありません。例えばデスクトップとモバイルで動的にページを切り替えるということは一般的な行為です。検索エンジンのクローラーだけに特定のページを表示することがクローキングになります。