不正アクセスを防止するためにはクローラー情報の収集から

弊社が提供するクローラー解析ツールは日々クローラー情報をアップデートしています。見知らぬクローラーによるアクセスは日常茶飯事で、世界中にはいろんなサービスがあるものだと驚きの毎日です。

先日「aihitbot」という新しいクローラーのアクセスがありました。日本ではあまり著名ではないサービスのようで、aihitbotの情報はありませんでした。なので備忘録代わりに調べてみました。

aiHit

アメリカの企業情報データベースサービス。企業情報の検索はアカウント登録なしででき、無料アカウントに登録することで企業データのダウンロードも可能。

企業データは最新のものだけでなく、過去の情報も収集しています。企業情報の変化も見れます。Aboutページにも次のように記されています。もちろん英語での記述となるのでGoogle翻訳を使いました。

ほとんどの企業情報データベースでは、会社のCEOの名前がわかります。 CEOの変更時にaiHitdataがあなたに伝え、結果として得られる取引、日付および変更の詳細を表示します。
ほとんどのクエリエンジンと会社のデータベースは、会社が現在そのウェブサイトで何を言っているかを伝えるだけです。 aiHitdataは時間の経過とともにどのように変化したかを示します。
ほとんどの企業データベースはすぐに古くなってしまいます。 aiHitdataは常に更新されています。
これにより、企業に何が起こっているのかを理解したり、クエリを実行したりすることができます。
過去9ヶ月間にCTOを変更したカリフォルニアのエンジニアリング会社をすべて紹介します。

aiHitのクローラーのUserAgentは以下です。

mozilla/5.0 (compatible; aihitbot/2.9; +https://www.aihitdata.com/about)

▼aiHit
https://www.aihitdata.com

クローラーの情報収集を許容するか否か

aiHitは企業情報を収集するためにクローラーを巡回させています。そして更新情報も収集しているので、常にアクセスがある訳です。ウェブ上の記載内容は公開情報なのですが、更新履歴が第三者にアーカイブされていることを許容するかどうかは考え方次第と言えます。クローラー解析をすることで、自社にとって不要なアクセスを対処することが可能となります。

▼クローラー解析ツールについて
https://www.web-ma.co.jp/analytics/