Le budget crawl est le nombre de pages que Google va crawler sur votre site pendant une journée ou une période donnée. Ce nombre varie légèrement d’un jour à l’autre, mais est globalement relativement stable.
Google n’a pas un temps et des ressources illimités pour indexer chaque page sur le Web tout le temps. En effet, toutes ne seront pas indexées. L’optimisation de votre budget crawl peut être la clé de la croissance de votre site Web.
Quand on parle de référencement naturel, le premier réflexe est de parler d’optimisation de contenu, de sémantique, de netlinking. Ce qui est le plus souvent négligé, c’est le fonctionnement du budget crawl.
Quel est le budget crawl ?
Avant d’aborder le budget crawl et son optimisation, commençons par définir ce qu’est le crawl.
Définition du crawl
Afin d’indexer et de classer un site dans les pages de résultats des moteurs de recherche, un moteur de recherche tel que Google envoie des robots explorateurs (crawlers) sur différentes pages de ce site. Les robots se déplacent de page en page en utilisant des liens dans le menu, le pied de page ou le contenu. C’est cette activité de navigation sur le Web qui s’appelle l’indexation ou le crawl.
En termes simples, lorsque les robots d’exploration de Google explorent votre site, dans le domaine du référencement, nous disons que Googlebot explore votre site. Cette exploration permet aux moteurs de recherche d’indexer la dernière version d’un site internet. Cela a pour but de proposer des sites à jour aux internautes qui effectuent leurs recherches.
Définition du budget crawl
Le budget crawl représente le nombre maximum de pages que Googlebot va crawler sur votre site. Le concept d’un budget crawl est que les robots des moteurs de recherche n’explorent pas toutes les pages de votre site à chaque fois qu’ils le visitent. Ces robots devront effectuer plusieurs visites pour enquêter sur toutes les pages du domaine.
Lors d’une exploration multiple, ils tiennent compte de plusieurs critères qui déterminent la limite du nombre de pages explorées, et donc du temps passé sur le site :
- Performances du site et du serveur
Plus votre site est lent, plus l’exploration sera lente et moins de pages seront visitées lors de l’indexation.
- Profondeur
Plus il y a de clics qui mènent à la page, moins elle sera explorée car difficile d’accès.
- Fréquence de mise à jour
Les robots visiteront moins fréquemment un site statique qu’un site qui met régulièrement à jour son contenu. En effet, il n’est pas nécessaire de le visiter régulièrement pour proposer la dernière version.
- Qualité du contenu
Si le moteur de recherche détermine que votre contenu est de haute qualité, il reviendra plus souvent visiter vos pages.
Comment optimiser son budget crawl ?
Il existe des moyens très simples qui permettent d’améliorer la phase d’indexation.
Améliorer la vitesse de chargement des pages
Pour que les pages de votre site Web se chargent rapidement, vous devez d’abord choisir un bon hébergeur. Évidemment, plus vous demandez une solution d’hébergement performante, plus le coût est élevé.
Pour cela, il est conseillé de choisir la meilleure solution d’hébergement en fonction de vos objectifs marketing et de la taille de votre site web. Par exemple, si vous avez un simple site vitrine avec plusieurs pages, un service d’hébergement mutualisé peut offrir les performances réseau sur lesquelles vous comptez. Cependant, pour un site e-commerce de plusieurs centaines de pages, l’idéal serait de vous orienter vers un serveur dédié ou VPS pour profiter des meilleures performances d’affichage.
En plus de souscrire à une solution d’hébergement efficace, il faudra également effectuer une optimisation technique du site internet afin de réduire son temps de chargement. Ce travail technique consiste à améliorer la capacité d’affichage de la plateforme en utilisant :
- La mise en cache
- La compression multimédia
- L’optimisation du code CSS, HTML et JavaScript
- Un réseau de diffusion de contenu ou CDN (Content Delivery Network)
Publier du contenu de qualité régulièrement mis à jour
Pour que les robots d’exploration de Google augmentent la fréquence du trafic sur votre site, vous devez publier régulièrement du contenu de haute qualité. C’est l’un des points les plus importants pour augmenter votre budget crawl. Chaque fois que vous publiez un nouveau document, Googlebot trouve de nouvelles informations à indexer au fur et à mesure. Ainsi, plus vos nouvelles publications seront fréquentes, plus le spider sera obligé de revenir régulièrement sur votre site.
Éviter le contenu dupliqué
Pour réussir en ligne, avoir un budget crawl optimal est une chose, mais savoir comment utiliser cette ressource en est une autre. En proposant plusieurs pages dupliquées sur votre site, votre budget crawl peut être gaspillé. Le spider de Google passera du temps à rechercher le même contenu encore et encore. De plus, cela peut entraîner la rétrogradation de votre site Web dans les SERP.
Éviter les erreurs 404 sur les pages
En SEO, une page 404 s’affiche lorsqu’un utilisateur tente d’accéder à un document qui n’existe plus, mais dont l’URL est toujours disponible. Il s’agit donc d’une page inexistante. Lorsque les spiders de Google tentent d’explorer ces types de pages, ils se retrouvent généralement avec une erreur d’exploration. En effet, les liens en question ne mènent à aucun contenu. Pour éviter une utilisation inutile de votre budget crawl sur ces liens sans ressources adéquates, vous devez les corriger. Pour cela, vous pouvez analyser vos URL à l’aide de Google Search Console. S’il existe des URL 404, vous pouvez les corriger en créant des redirections vers des pages équivalentes ou similaires.
Mettre en place des backlinks de haute qualité
La popularité et le netlinking sont également importants pour augmenter votre budget d’indexation. En effet, les sites avec des backlinks populaires et efficaces sont plus susceptibles d’être indexés par les crawlers de Google. Ainsi, lorsque vous avez des liens entrants pertinents et de qualité, vous pouvez bénéficier d’une vitesse de crawl plus élevée.