À quoi correspond le Crawler ou Robot ?
Également connu sous le nom de robot ou spider, le crawler est un robot d’indexation. L’objectif de cet outil est très simple, parcourir le web, visiter l’ensemble des pages disponibles et les analyser. Suite à cette étude de contenu, le crawler a pour mission de stocker et d’organiser les pages visitées dans ce qu’on appelle un index. Le passage du robot de crawl permet de détecter et d’indexer les contenus nouveaux ou ceux mis à jour en tenant compte de leur qualité. La mission de ces robots de crawl consiste donc à aider les moteurs de recherche à trier les pages disponibles sur le web afin de réaliser un classement le plus pertinent possible selon une requête donnée. De nombreux paramètres sont analysés par les spiders au cours de leur exploration dans le but d’offrir les meilleurs contenus possibles aux utilisateurs sur les pages de résultats de recherche. Les crawlers des moteurs de recherche sont totalement autonomes et naviguent sur le web de manière automatique à la recherche de nouveautés. Chaque moteur de recherche a son propre robot d’indexation, le plus connu étant celui de Google dénommé Google Bot. Les paramètres pris en compte par ces crawlers sont définis à l’avance et varient d’un moteur de recherche à l’autre.