Qu’est-ce qu’un robot d’indexation (crawler) ?
Le robot d’indexation occupe une place centrale dans le fonctionnement des moteurs de recherche. Également appelé crawler, robot de crawler ou spider, le robot d’indexation est un outil dont la mission est simple : parcourir le web de manière autonome à la recherche de nouvelles pages, de nouveaux sites ou de contenus actualisés sur les pages déjà indexées. Le robot d’indexation explore les pages qu’il rencontre, les analyses et les stock dans l’index du moteur de recherche. Une fois indexées, ces pages pourront être affichées dans les résultats de recherche pour une requête donnée. Le travail de robot d’indexation consiste à détecter et à indexer les pages qu’il rencontre, mais il participe également à la définition du classement des résultats de recherche. En effet, lors de son exploration, le crawler analyse les critères de qualités de pages web afin d’aider le moteur de recherche à organiser ses résultats par ordre de pertinence par rapport à la requête d’un internaute. Un grand nombre de facteurs sont étudiés par les robots de crawl et ces critères varient d’un moteur de recherche à l’autre. Le robot d’indexation le plus célèbre est celui de Google, nommé Googlebot. Pour apparaître sur les résultats de recherche et espérer obtenir un bon positionnement, il est important de maîtriser les différents paramètres pris en compte par les robots de crawl.