Googleクローラーはやっぱりリンクを辿っていない

人間の感覚からすると、クローラーはHTMLを解析しリンクを取得します。そのリンクを辿ってくれるとわかりやすいですよね。実際にはリンクを辿らず（少なくともGoogle クローラーの場合）、作成されたURLリストに従ってクロールします。

▼Google 検索の仕組み
https://support.google.com/webmasters/answer/70897

「クロールを開始する際は、前回のクロールで生成され、ウェブマスターから提供されたサイトマップによって補強された、ウェブページの URL リストを使用します。Googlebot はこれらのウェブサイトすべてにアクセスし、各ページのリンクを検出してクロール対象ページのリストに追加します。」

このように明記されています。なので、当然疑う余地はありません。

しかし、本当なのかなあと自分は気になってしまいます。ということで調べてみました。いつものように弊社のサンプルデータです。

上記は弊社のページ情報ですが、おそらくこれを見てもわからないかもしれません。弊社のことなので自分はわかりますが、1ページ目と2ページ目のURLを見ると確かに内部リンクが存在していません。1ページ目から内部リンクがないページが2ページ目として現れています。確かにURL リストに従ってクロールしていることがわかります。

ちなみに某SEOツールのクローラーもGoogleクローラーと同様の動きをしています。しかし、サイトによってはSEOツールのクロール量が多過ぎるのでちょっと困ります。サーバーにアクセス障害が出るようでしたら、こういうツール系をブロックした方が良いかもしれないですね。