検索エンジンの仕組み｜SEO対策の必須知識と順位上昇のためのポイント

検索エンジンの2つの種類

検索エンジンは2つの種類に分けられます。まずはそれぞれの形式について、見ていきましょう。

ロボット型検索エンジン

ロボット型検索エンジンは「クローラー」というロボットを用いる仕組みです。クローラーがWebサイトの情報を自動的に収集し、データベース化します。ユーザーが入力した検索キーワードをもとに、データベースにあるWebページに順位をつけ、検索結果として表示します。
ロボット型検索エンジンは検索エンジンの主流で、Google、Bing、Yahoo!などが採用しています。

ディレクトリ型検索エンジン

ディレクトリ型検索エンジンは、情報を属性ごとに分類・階層化し、ユーザーの目的に合ったWebサイトを一覧で表示します。
ディレクトリ型は情報収集を人の手によって行います。そのため、Webサイトの数の急激な増加やSNSの普及などにより、情報収集が困難な状況になりました。結果、ディレクトリ型を採用していたYahoo!カテゴリーは、2018年3月をもってサービスを終了することを発表しています。

検索エンジンの仕組み

検索エンジンはロボット型が主流です。どのような流れで検索結果を表示するのか、3つのステップに分けてご紹介します。

Webサイトの情報収集をするクローラー

クローラーはWebサイトとWebサイトのリンクを辿って巡回し、ページの情報収集を行います。
検索エンジン、または収集するデータによって、ロボットが異なります。

＜例＞
・Googlebot：Googleがサイト評価に使用するメインのクローラー
・AdsBot-Google：ページ内に設置されている広告の質を確認する
・Googlenot-Image：Googleの画像検索用のクローラー

クローラーにサイト内を巡回し、情報収集をしてもらうことが、検索結果に表示されるための最初のステップになります。

インデックスが検索結果に表示されるための鍵

クローラーによって収集された情報は、インデクサーと呼ばれるプログラムによって解析され、データベースに保存されます。この過程がインデックスです。
ユーザーがキーワードを検索しても、インデックスされていないページは検索結果に表示されません。インデックスされていないということは、検索結果に表示される候補にもなっていないからです。
インデックスは検索結果に表示されるための重要な仕組みと言えるでしょう。

検索結果の順位を決めるランキング

検索結果が表示されるための最後の仕組みはランキングです。インデックス後、ランキングされると検索結果に表示されるようになります。
ランキングは検索されたキーワードと関連するWebページなどに、順位付けを行う仕組みです。サイトの構造やコンテンツの内容などによって独自のアルゴリズムがWebページにスコアを付けます。このスコアによって検索順位に影響が出ます。スコアが高いほど検索結果で上位に表示され、スコアが低いほど下位に表示されるようになります。

クローラビリティの改善方法と確認の仕方

クローラーに巡回してもらいやすくするには、クローラビリティの改善が必須です。クローラビリティとはクローラーがデータ収集をしやすいサイトの構造にすることを指します。

クローラビリティを高める

クローラビリティを高める方法はいくつかあります。ここでは2つの方法をご紹介します。

良質なコンテンツを作る

クローラーはページ内のリンクを辿り、ページとページを巡回しています。良質なコンテンツを作成すれば、多くのページでリンクを設置してもらえるようになります。被リンクが増えれば、それだけクローラーがページに辿りつく可能性を上げることができます。

サイトの内部構造を整理する

サイト内部の構造を整理するには、パンくずリストを用います。パンくずリストとは、階層順にリンクを並べたリストのことです。クローラーにサイトの階層構造やリンク構造を伝えることができるようになります。

クローラーがWebサイトに来ているかを確認する

クローラビリティを改善した後は、実際にクローラーが巡回しているかを確認し、効果を検証する必要があります。
今回は、Google Search Consoleで確認する方法をご紹介します。
Google Search ConsoleはGoogleの検索結果におけるサイトのパフォーマンスを監視したり、管理したりできる無料のツールです。Googleからどう認識されているのかがわかります。
確認する際は、「クロールの統計情報」という機能を利用します。クローラーが1日に巡回したページ数やダウンロードしたデータ量、ページのダウンロード時間の3つが表示されます。

上記は実際のSearch Consoleの画面です（株式会社CINCのもの）。1日あたりのクロールされたページ数がグラフと数値で表示されます。

 インデックスされやすくする方法と確認の仕方

クローラーが情報を収集したとしても、ページがインデックスされなければ、ランキングされません。検索結果に表示されるためには、インデックスされるような工夫が必要です。

インデックスされやすくするには

GoogleにXMLサイトマップを送信する

GoogleにXMLサイトマップを送信することによって、クローラーによるURLの発見を助け、巡回を促進します。
WebサイトのURLや最終更新日、ページの更新頻度、サイト内のページURL同士の優先度が記載されたファイルのことをXMLサイトマップと言います。

XMLサイトマップを送信すると、サイトの情報をクローラーが把握できるようになります。すると、クローラーはあらかじめサイトの情報を理解した上でリンクを辿るため、効率的に巡回できるようになります。
そのため、更新ページがインデックスされる可能性が高くなります。特に公開したてのWebサイトや規模の大きなWebサイトなどで有効です。

Fetch as Googleを使う

Fetch as GoogleはSearch Consoleの機能の一つです。新規サイトの立ち上げ時やWebページの更新時など、すぐにインデックスしてもらいたい場合にURLを送信して使用
します。
Fetch as Googleは便利な機能ですが、回数制限があるので注意が必要です。対象ページのURLのみであれば、1日10件まで、対象ページとリンクページであれば1日2件まで使用できます（2018年3月時点）。

インデックスされているかを確認する

インデックスステータスを利用する

「インデックスステータス」はSearch Consoleの機能の一つです。確認したい対象のサイトを検索窓に打ち込みます。
基本ビューではインデックスされたURLの総数がグラフで確認できます。さらに詳細ビューではインデックスされたページの総数や、ロボットにより登録されたURL、削除されたURLの3つが確認できます。

「site:」を利用する

「site:」のコマンドを用いると、インデックスされているページの概算が確認できます。
検索窓の先頭に、「site:」コマンドを付けた対象URLを打ち込むと、検索結果画面の上部にインデックスされたページ件数が表示されます。それがサイト内でインデックスされたページの概算です。Search Consoleが使えない場合に利用します。

「info:」を使用する

「info:」のコマンドはインデックスされているかどうか、単一ページのみを確認する場合に用います。検索窓に「info:」のコマンドを付けた対象URLを打ち込みます。検索結果に表示されれば、対象ページはインデックスされていることになります。

インデックス数はむやみに増やせば良いわけではない

インデックス数を増やすことが、検索結果に必ずしも良い影響をもたらすわけではありません。インデックスされたサイトの内容が薄かったり、関係のないページばかりであったりすると、むしろ悪影響をもたらすでしょう。やはり、良質なコンテンツ作りを心がけることが大切です。

検索エンジンの仕組みを理解し、自社サイトの改善を

自社のサイトを検索結果の上位に表示させるためには、「クローラー」「インデックス」「ランキング」の3つの仕組みを理解し、Googleに評価してもらえるサイトにする必要があります。
まずは自社サイトのコンテンツの質を改善し、クローラーが巡回に来ているか、インデックスされているかを確認し、より良いサイトを目指していきましょう。