Googlebotは本当にrobots.txtの命令に従っているのか？

最近新規で構築したサイトがあります。まだ会社概要くらいのボリュームで本格的な運用はこれからです。Search ConsoleからFetch as Googleを使用したくらいなので、クローラーの解析結果は非常に綺麗な状態です。

長年Webサイトを運用していくとSEOツールを始めいろんなbotが巡回してきます。なので、今の真っ新なクリーンな状況を見てうっとりしています。

特にまだ運用が始まっていないので、担当の方のご好意で公開させていただいています。当然数字的に目を見張るような状況でありませんが、robots.txtへのアクセスが多いことがわかります。まだ設置していなかったので早速アップロードしました。Googlebotはrobots.txtの命令に従ってクロールするので当然きちんとアクセスしてますね。