Skip links

Robot d’indexation (crawler) : définition

Tout savoir sur le vocabulaire d’une agence web SEO et webmarketing

En SEO, les termes techniques sont nombreux et leur compréhension est essentielle au bon déroulement d’une stratégie de référencement naturel. Pour définir vos objectifs et parvenir à les atteindre, il est important de comprendre le sens et le rôle des différents leviers disponibles, mais également le fonctionnement de l'univers du SEO. Les robots d’indexation constituent une part centrale dans la logique du référencement naturel. Retrouvez la définition de ce terme du lexique agence web SEO & Webmarketing à connaître absolument dans le cadre d’une stratégie SEO.

Définition Robot d'indexation

Qu’est-ce qu’un robot d’indexation (crawler) ?

Le robot d’indexation occupe une place centrale dans le fonctionnement des moteurs de recherche. Également appelé crawler, robot de crawler ou spider, le robot d’indexation est un outil dont la mission est simple : parcourir le web de manière autonome à la recherche de nouvelles pages, de nouveaux sites ou de contenus actualisés sur les pages déjà indexées. Le robot d’indexation explore les pages qu’il rencontre, les analyses et les stock dans l’index du moteur de recherche. Une fois indexées, ces pages pourront être affichées dans les résultats de recherche pour une requête donnée. Le travail de robot d’indexation consiste à détecter et à indexer les pages qu’il rencontre, mais il participe également à la définition du classement des résultats de recherche. En effet, lors de son exploration, le crawler analyse les critères de qualités de pages web afin d’aider le moteur de recherche à organiser ses résultats par ordre de pertinence par rapport à la requête d’un internaute. Un grand nombre de facteurs sont étudiés par les robots de crawl et ces critères varient d’un moteur de recherche à l’autre. Le robot d’indexation le plus célèbre est celui de Google, nommé Googlebot. Pour apparaître sur les résultats de recherche et espérer obtenir un bon positionnement, il est important de maîtriser les différents paramètres pris en compte par les robots de crawl.