クローラーとは

インターネット簡単活用方法




 

クローラーとは

クローラー(crawler)とは、ロボット型の検索エンジンがWEB上のファイル(HTML、画像、PDF、ExcelやWordなどで作成した文書ファイルなどのメディア全般)を自動で収集するためのプログラムです。

 

ユーザーに最適な情報を提供するために、WEB上のあらゆる情報を収集してインデックス化(わかりやすく整理する的な意味)しています。

 

 

Googleのクローラーについて

検索エンジンのシェア1位で全体の約67パーセントも利用されているGoogleの検索エンジン(デジタル分析会社comScoreのレポート調べ)にも、このロボット型の検索エンジンが搭載されています。

 

Googleの場合、その用途に合わせて複数のクローラーが存在しています。

 

例えば、通常のWEB検索では「Googlebot」が、モバイル検索では「Googlebot-Mobile」が、画像検索では「Googlebot-Image」が使われています。

 

用途によってクローラーを使い分けることによって、どのデバイスから検索したとしても最適な情報を素早くユーザーに届ける工夫がされている様です。

 

 

 

クローラーとの関わり方

クローラーはウェブ上のページを全て巡回できたり、公開したページをすぐに発見してくれるとも限りません。

 

SEO対策としては、クローラーにWEBページを見つけてもらい効率良く巡回できるように工夫しておくと良いでしょう。

 

また、機密性の高いファイルはアクセス権を制限するなど、事前に対策をしておく必要があります。

 

コンテンツをクロールしないようにrobots.txtなどを用いて制御したり、WEBサーバーの公開ディレクトリ最上階に検索ロボットの挙動を指定したりすることで、検索ロボットの巡回を制限する方法があります。

 

検索エンジンクローラーの巡回しやすさを総称して「クローラビリティ」と呼び、コンテンツ量が増えてくるほどクローラビリティの改善の重要度は高くなります。

 

 




よく読まれている記事

インターネット簡単活用方法

2 件のコメント

  • コメントを残す

    メールアドレスが公開されることはありません。 * が付いている欄は必須項目です