Googleはどうやってサイトの情報を収集しているのか？

Webサイトを運営している方の中には、Googleがどのようにサイトの情報を収集し、評価しているのか気になっている方もいるのではないでしょうか？

そこで今回は、Googleの情報収集のやり方や集めたデータのインデックス方法について解説していきます。

GoogleはクローラーロボットでWebページの情報を収集している

まず、結論から言うと、Googleはクローラーロボットを使ってWebページの情報を収集しています。

それでは、このクローラーロボットというのは何なのでしょうか？

クローラーとは？

クローラーは、SEOを学ぶ上で非常に重要な言葉です。なぜなら、普段の会話の中で、「クローラー」という言葉が頻繁に使われるからです。

例えばお客様との会話においても、「鈴木さん、最近うちのサイトにはGoogleのクローラーが来ないんですよ」、「新しいページを作ったんですが、クローラーが来ないせいか検索にかからないんですよ」というように、クローラーという言葉は日常的に使われています。

ではクローラーとはどういう意味かというと、「情報を収集するロボット」のことです。

クローラーはどうやって情報収集をするのか？

「情報を収集するロボット」であるクローラーは、どのように情報収集をするのでしょうか？

クローラーロボットは、Webページと Webページの間に張られたリンクを辿ることによって、Webサイトを自動的に検出し、スキャンします。

※スキャン＝画像を読み込むこと

つまり、リンクを辿って自分のサイトに見に来るのです。

そのため、自分のサイトが、なるべくたくさんの人たちのサイトからリンクされているほうが、そうでない場合よりも、Googleに見に来てもらいやすくなるのです。

Googleに見に来てもらいやすくする方法

Googleに見に来てもらうために大事なことのひとつは、なるべく多くの人気サイトにリンクをしてもらうことです。

人気のあるサイトはGoogleのクローラーロボットも見ないわけにはいかないため、頻繁に見に行きます。

そこで「あっ！こんなところにリンクしている」と気付くことで、初めて自身のサイトを見に来てくれることに繋がるのです。

一方、ほとんどリンクされていないサイトは、何週間も、悪くすると何年間もクローラーロボットからなおざりにされてしまう可能性があります。

その場合はもちろん検索順位は上がりにくく、順位も低くなります。

また、クローラーに関して、もうひとつ重要なポイントがあります。それは人のサイトからリンクされるだけでなく、「自分が作ったサイトにいろいろとリンクを張ること」です。

具体例を見てみよう

下の図は、私が最近作ったページです。

これは私が管理している全日本SEO協会のセミナーサイトですが、「YouTubeで新規客を増やす！動画SEO徹底対策セミナー」というテーマのセミナーで、私の久しぶりの新作です。

そのため、私の気持ちとしては、少しでも早くGoogleの検索結果に表示されたいし、できれば上位表示してほしいです。

「SEO YouTube」や「動画　SEO」など、色々なクエリ＝キーワードからの上位表示を望んでいます。

※クエリ＝問い（検索キーワード）

しかし、私がこのページを作っただけでは、Googleはこのページの存在に気付いてくれません。見に来てもらうためには、何らかの手掛かりが必要なのです。

それが先ほど書いた、WebページとWebページの間に張られたリンクです。

このページが誰からもリンクされないとしても、私は自分が運営しているページのトップページからリンクをしています。

それによって、もしトップページにGoogleが見に来てくれているならば、そこから新しいページにリンクをすることによって、そのページを発見してくれることに繋がり、評価し順位を上げてくれる可能性が出てきます。

ただ、 1 回しかリンクをしなかった場合、重要であると認識されない可能性もあるため、「これから始めるSEO」というまったく関係ないセミナーのページにもリンクを張っています。

上図のYouTube SEOで新規客を増やすという部分をクリックすると、下の新しいページに飛ぶようになっています。

この新しく作ったWebページのリンクを張ることによって、より早くGoogleがこのページの存在に気付いてくれるようになり、その後のSEOが有利になるのです。

クローラーロボットが見に来てくれるための大事なポイントは、他人のサイトからリンクしてもらう。または、別のドメインネーム、例えば suzuki.comやsatou.comなど別のドメインのサイトからリンクしてもらう。 もしくは、自分が作ってきたサイト内の他のページからもリンクをすることです。これらを実行することによって、クローラーが見に来てくれ、評価が高まりやすくなります。ぜひ取り入れてください。

リンクを張ってもらってページランクを高めよう

ページランクは、Webページの人気度を示す指標で0～10点の11段階で評価します。

「ページランク」と検索すると、温度計のようなものが出てきます（上図参照）

この温度計のような緑色のゲージが目盛りがまんぱいであれば10点で人気度が高く、緑がまったく表示されていなければ0点で、ページランクが0ということになります。このような人気度による偏差値のような指標をGoogleは持っているのです。

新しく作ったページも少しのページからしかリンクされていなければ、 ページランクが上がりにくくなります。

逆に、ある程度ページランクが付いているページから多くリンクされれば、新しく作ったページのページランクも高くなるので、Googleに評価され、順位が上がりやすくなるのです。

こうした意味でも、リンクは大事なのです。

新しいページを見つけたクローラーがすることは？

ここまで、クローラーにWebページを見つけてもらう方法について解説してきましたが、ここからはクローラーが「リンクを辿って新しいページを発見した後どうするか？」について解説していきます。

まず、クローラーロボットがリンクをたどって情報を収集します。しかしメモリーの容量には限界があるため、収集した情報をメモリーにずっと置いておくわけにはいきません。

そこで、それらの情報をファイルに長期保存する必要があります。

それが「レポジトリ」というファイルで、情報はここに記憶しておきます。恐らくハードディスクだと思います。

そして、今度はそこからクエリ＝キーワードごとにインデックスデータベースを作るのです。

Googleのインデックス方法は？

クエリごとにインデックスデータベースを作っているGoogleですが、クエリにはどんなものがあるのでしょうか？

「インプラント 大阪」というものや「インプラント」というもの。あとは「インプラント 費用」や「矯正歯科 横浜」、「交通事故 群馬」など、これらがクエリ（検索キーワード）といわれるものです。

そして、こうしたクエリごとにインデックスデータベースを作っているのです。 そのため、数え切れないくらいの数があります。

さらに、その各インデックスデータベースには、Googleがクローラーを使って発見してきたWeb ページの情報が載っています。

どのように載っているかは公開されていませんが、私の推測では質が高いサイトや人気が高いサイトが上の方に載っていると考えられます。

または、100 点満点中 99 点のように、点数が高くなっているかもしれません。

評価が低いと思われるページは、評価が0点だったり、インデックスデータベースでも最下位に近いところに載っていると思われます。

SEOとは何か？

「SEOとは何か？」と考えたとき、究極のSEOの目的のひとつは「検索順位を上げること」です。

そのためにはこのインデックスデータベース内で、高い評価点をつけてもらうことが必要です。

Googleはあらかじめ評価点をつけて、序列を決めています。

検索ユーザーが検索したら、あらかじめ用意していたものが引き出されて、検索結果に表示されるという流れです。

Googleは24年かけてこの壮大なシステムを構築することに成功して、世界No.1の検索エンジンになったのです。

しかもGoogleはWebサイトだけでなく、動画の検索エンジン、画像の検索エンジン、本の検索エンジン、特許の検索エンジン等いろいろな検索エンジンを作っています。

Googleが掲げる究極の目標は、世界中の情報を整理するということです。整理するとは、誰でもすぐに情報を引き出せるようにすることで、 そこには必ず順位というものが存在します。

その順位を改善するのが、SEOの目的のひとつなのです。

まとめ：クローラーに見つけてもらうためにリンクを活用しよう

今回は、Googleの情報収集方法やインデックス方法について解説してきました。

併せて、情報を集めるクローラーに見てもらうためには、リンクが重要になることもわかって頂けたと思います。

ぜひこのブログを読んでくださった方は、クローラーに見つけてもらうためにリンクを有効活用し、Googleのインデックスデータベースの上位を目指してください。