Zoom sur la définition du Google bot
Google Bot est le nom du robot d’indexation du moteur de recherche Google. L’équivalent chez Bing est Bingbot. Ce robot, également appelé crawler ou spider, a pour mission de parcourir le web à la recherche de nouvelles pages et de nouveaux sites web mais également de contenus mis à jour sur des pages qui ont déjà été indexées. En explorant la toile de manière autonome et automatique, Google Bot permet de maintenir l’index du moteur de recherche à jour et l’aide dans les classements des pages sur les résultats de recherche. En effet, durant ses visites, Googlebot analyse tout un tas de critères qui permettent de définir la qualité des pages pour une requête donnée afin de proposer les résultats de recherche les plus pertinents pour les internautes. Les critères pris en compte par le robot d’indexation de Google lui sont spécifiques. Il faut savoir que chaque moteur de recherche possède son propre crawler et ses propres règles. Le chemin suivi par le crawler est défini par les indications données par le fichier robots.txt du site web. Seules les URLs listées sur ce document seront crawlées par Googlebot. Bien connaître la signification du terme crawler ou encore Google Bot est donc indispensable en référencement naturel.