採用サイトを検索結果に表示させたい！クローラーに登録されるところから始めよう

せっかく作った求人サイトやお店の予約サイト、できるだけ多くの人に見てもらいたいですよね。

そのためには検索結果に表示されることが第一。結果に出なければいいサイトも埋もれていってしまいます。

実は検索結果に表示されるために、クローラーと呼ばれるロボットがWebサイトを巡回していることをご存じですか？

今回はクローラーについてご紹介します。

目次

1. クローラーとは？
2. クローラーの種類
   　2-1.Googleのクローラー
   　2-2.Google以外のクローラー
   
3. 検索結果に表示されるまで
   
4. クローリングされるために
   　4-1.クローリングされるファイル
   　4-2.クローラビリティの向上
   　4-2.クローリングされたかの確認
5. まとめ
   

クローラーとは？

クローラーとは、クローリングをするプログラムを指します。その特性からスパイダーといった呼ばれ方もしています。

クローリングとは、リンクをたどってWebサイトを巡回して、検索エンジンのデータベースに登録するために、情報収集し複製や保存をすることです。

「サイトを巡回して複製や保存」と聞くとなにやらいいイメージが持てないかもしれません。しかし、クローリングは検索エンジンでの検索結果に表示されるためには必須です。

クローラーにサイトを登録してもらって初めて検索で引っかかるようになります。

クローラーの種類

Googleのクローラー

おそらくもっとも有名と言えるのがGoogleのクローラー「Googlebot(グーグルボット)」です。サーバーに負荷をかけないように1度のクローリングで多数の情報を集めています。

Yahoo検索とGoogle検索は同様のアルゴリズムが使われていて、この2つの利用率は非常に高いので、まずはGooglebotにクローリングしてもらうようにするのが良いでしょう。

Google以外のクローラー

・Microsoft社の検索エンジン「Bing(ビング)」のクローラー「Bingbot(ビングボット)」
・中国の検索エンジン「百度(バイドゥ)」のクローラー「Baiduspider(バイドゥスパイダー)」
・韓国の検索エンジン「NEVER(ネイバー)」のクローラー「Yetibot(イエティボット)」

などがあります。

また、そのほかにも求人サイトのIndeedもクローラーを保有しています。こちらのクローラーも情報の収集や登録を目的として稼働しています。

検索結果に表示されるまで

各種検索エンジンで検索した際に、結果に表示される仕組みは主に以下の通りです。

①クローラーがサイトの情報収集
②クローリングしたサイトをデータベースに登録
③検索アルゴリズムに基づき、データベース内のサイト情報を確認・順位付けをして表示

そのため、サイト管理者や運営はクローラビリティの向上を意識するとともに、検索エンジンに評価されるようなSEO対策を行うことが必要です。

※クローラビリティ…クローラーが情報収集しやすいようにすること。

クローリングされるために

求人サイトやお店の予約サイトは、応募や予約といった結果につなげてこそ意味があります。

そのためには検索結果に表示されて、多くの人の目に留まる必要があります。

そのための第一歩としてクローリングされたいわけですが、クローリングされるためにはどうすればよいのか紹介します。

クローリングされるファイル

クローリングするファイルは主に以下のようなものがあります。

・HTML
・PDF
・テキストファイル
・JavaScriptファイル
・CSSファイル

基本的には文字列を収集するようですが、画像検索や動画検索もあるように、GIF(ジフ)やJPEG(ジェイペグ)などの画像ファイル、MP4などの動画ファイルもクローリングしているようです。

クローラビリティの向上

クローラーに訪問してもらい登録されるために心がけたいことを紹介します。

①Googleへクローリングの申請をする
Googleが提供している分析ツール「Google Search Console(グーグルサーチコンソール)」から「URL検査機能」を使って申請します。Google Search Consoleは無料で利用できるので、サイトを更新した際や新規作成した場合には、早めに申請することをおすすめします。

②ページ内になるべくリンクを貼る
クローラーはリンクをたどってページを巡回しているためです。できる限りすべてのページにリンクが貼られているように心がけてください。

③パンくずリストの作成
パンくずリストとは現在表示しているページがサイトのどこにあるかを書いたリストです。
例えば「ホーム＞会社紹介＞事業内容」といった感じです。

そして、クローラーは基本的に浅い階層のページを優先して情報収集していくので、理想を言えばサイトの階層は3段階までが良いといえます。
あまりにもトップページから遠い場所にあると、クローラーが到達できない可能性があります。

④XMLサイトマップを作る
XMLサイトマップとは、サイトのURLや更新日時、更新頻度などが記載されているXML形式のファイルです。一般的には、ファイルがある一番上の階層(index.htmlと同じ場所)に、sitemap.xmlを置いておきます。

クローラーはXMLサイトマップを参考にサイトを巡回するので、XMLサイトマップを作って置いておくことで、効率的に情報収集してもらえます。

また、XMLサイトマップは検索エンジンにサイトの状態を知らせる役割もあるので、ページを追加した場合やページを更新した場合などは、特に有効となるファイルです。

クローリングされたかの確認

サーバーのログを確認できれば詳しくわかりますが、知識が必要なのであまり万人向けとは言えません。そこで、クローリングの申請をする際にも登場した「Google Search Console」を利用しましょう。

Google Search Consoleにログインし、「ガバレッジ」選択するとレポート情報が閲覧できます。

ガバレッジレポートでは、データベースに登録できたページやエラーとなったページなどが確認可能です。

エラーとなっている場合は、エラーを改善しないと登録されないので注意してください。

まとめ

クローラーとは、スパイダーとも呼ばれサイトをめぐって情報収集をしているプログラムのことです。

検索結果に表示されるためには、クローラーに登録してもらうことが必須です。

各種検索エンジンはGooglebot(グーグルボット)、Bingbot(ビングボット)、Baiduspider(バイドゥスパイダー)、Yetibot(イエティボット)といったクローラーを保有しており、求人サイトのIndeedもクローラーを有しています。

検索結果に表示されるメカニズムは、情報収集→登録→表示の流れです。

そのためクローラビリティの向上や検索エンジンに評価されるようなSEO対策が大切となります。

クローラーは主に以下のファイルから情報収集しています。

・HTML
・PDF
・テキストファイル
・JavaScriptファイル
・CSSファイル

クローラーに訪れてもらうためには、Googleへクローリングの依頼をするのが最も確実です。新規作成や更新した場合には無料の「Google Search Console(グーグルサーチコンソール)」から申請してみてください。

その他のコツとして、

・ページ内になるべくリンクを貼る
・パンくずリストの作成
・XMLサイトマップを作る

といったことをするのが望ましいです。

そしてサイトがクローリングされたか確認するためには、「Google Search Console」の「ガバレッジ」からレポートを確認します。

多くの方に見てもらうためにも、クローラーに巡回させたうえで、検索結果の上位に表示されるようにSEO対策も行ってみてください。

採用サイト制作 をお考えなら、ウェブサイにお任せください
株式会社WWG　ウェブサイ
愛知県名古屋市中村区名駅5-16-17　花車ビル南館5F

※お問い合わせ、お電話、ご連絡はコチラから

ライター：彦坂