クローラー対策 | SEO内部対策のタメになる話

クローラーとは、WEBサイトを蜘蛛が張り巡らせた糸を移動するように巡って、検索ランキングを決定するもとになる情報を集めるロボットプログラムのことです。

検索ランキングを決定するもとになる情報を集めているという点で、サイト運営において対策することは重要です。仕組みを知っていると有効な対策を講じることができます。

クローラーの仕組み

WEBサイトを巡って情報を集めてキーワード別にデータベース化します。ユーザーが検索したワードに対して、適切だと思われるページを検索結果に反映させます。クローラーの工程には3つの段階があります。

クロールの基本的動作はクローリングとパーシングです。まずクローリングでクローラーがWEBサイトを巡って、ページにたどり着くと解析を始めます。これがパーシングと呼ばれる解析機能です。

収集したデータをアルゴリズムが認識しやすいように変換し、検索エンジンのデータベースに登録します。この登録作業がインデックスです。

クローラーがスムーズに巡回できるかをを表す、クローラビリティをあげる対策として、URLをシンプルなものにする、XMLサイトマップを作る、内部リンクを最適に配置するということがあります。

wwwがあるURLとwwwがないURLどちらも有しているサイトがよくあります。不要なクロールを避けるため、URLを統一します。わかりにくいURLもクローラビリティを下げてしまう原因になるので、わかりやすいシンプルなものにします。

XMLサイトマップとは、サイト内の構造をクローラーに素早く認識させるためのものです。XMLサイトマップはユーザー向けではなく、クローラー対策でクローラーがスムーズに巡回するために作ります。

クローラーはリンクからリンクへとサイト内を移動するため、内部リンクが最適に配置されていれば、クローラーが多くのページ移動することができます。クローリングがスムーズにおこなわれ、サイト内の構造を理解しインデックス作業も効率よくおこなわれます。