HOME -> SEO用語解説 > インデックスクローラー

SEO用語解説 - I

インデックスクローラー

インターネット上のあらゆるWebサイトの情報を取得して、検索用データベース・インデックスを作成する自動巡回プログラムのこと。Webサイトを這う(クロールする)ことからこのような名称が付けられました。クローラでは、WebサイトのHTMLに記載されているリンクをたどり、そのWebサイトがどのような内容なのか、どのような構造になっているのかなどを判断し、データベース化していき、クローラがアクセスできるファイル・情報はすべてデータベース化され、誰もが検索できるようになってしまうので、機密文書などに関してはアクセス権を設定するなどの注意が必要です。

近年では検索結果の上位に表示させるためのSEO(Search Engine Optimization 検索エンジン最適化)として、有名検索Webサイトのクローラの動きを特に意識したWebサイト構築が主流になってきています。インデックスクローラーは、サイトのHTMLファイルの「HREF」によって指定されたURLのリンクをたどり、データベースにページを登録しています。

GoogleグーグルがWebページの情報を取り込むプログラムのこともこう呼びます。「インデックス」とは「索引」のことで、人が「インデックスする」というときは「索引を作る」という意味ですがインデックスクローラーは次の2つをきっかけにして、あなたのページを見にきて、情報を収集し立ち去って行きます。

(1)検索エンジン登録画面で登録申請をする
(2)第三者のサイトにあなたのページへのリンクが張ってあれば、そのリンクをたどってあなたのページにやってきて勝手にあなたのページを検索エンジンに登録する。

2の場合、あなたのサイトで言えば、通常第三者はトップページにリンクを張り商品ページにいきなりリンクをしたり、会社概要のページにリンクしたりする人は少ないはずです。このため、インデックスクローラーがあなたのサイトにやってくる場合、そのほとんどがトップページからやってくるという傾向になります。

PAGE TOP