|
 検索ロボットとは
|
 |
|
|
検索エンジンを主としているWebサイトが、「検索データベース」と呼ばれるインターネット上に存在するWebページのURLを収録したものを作成するために、インターネット上の様々なWebページを自動で巡回し、回収・収集するプログラムのことを指します。
検索ロボットは「クローラ」とも呼ばれるソフトウェアで、Webページの内容をデータベースに保存し、Webサイトで検索された際の検索結果ページにキーワードに適したWebページを表示されるようにします。
検索ロボットは、Webサイトで登録申請があったWebページやデータベース上に存在するWebページのリンクを辿り、一定周期で自動で巡回・収集して新しいWebページを発見・収集をしたり、Webページが更新されている場合には更新された内容を収集し、その情報をデータベースに反映します。
|
|
|
|
