Si vous souhaitez que votre site internet figure dans les résultats de recherche de Google, il faut d’abord passer par l’indexation. En effet, le passage du robot de Google lui permet d’enregistrer et d’archiver le contenu de votre site. Par la suite, ce dernier sera classé suivant sa pertinence vis-à-vis d’une requête tapée par l’internaute. Découvrez alors comment se déroule l’indexation sur Google.
Ce qu’est réellement l’indexation
On entend par « indexation » l’action menée par le robot d’un moteur de recherche lorsqu’il scanne un site internet et enregistre son contenu dans l’index. Le robot parcourt donc le site pour analyser et copier son contenu. Ainsi, quand il « indexe » un site, il stocke les informations et les contenus sur les serveurs du moteur de recherche.
L’indexation passe alors par deux phases :
- La phase d’exploration lorsque le Googlebot (robot d’indexation de Google) passe par le web pour crawler (parcourir) tous les sites mis en ligne.
- La phase de stockage quand le robot enregistre les pages dans la data center de Google.
Le Googlebot a été conçu pour explorer de manière régulière la toile pour voir s’il y a de nouvelles informations à indexer et à archiver. C’est ainsi que la base de données de Google est mise à jour.
L’index de Google
L’index est constitué par la base de données du moteur de recherche. Il renferme tous les contenus et informations sur les différents sites web. Il faut noter que le nombre d’URL se trouvant dans la base de données de Google compte plus de 130 000 milliards.
Cependant, ce nombre approximatif ne comprend pas tout l’univers du web. Ce dernier est encore plus vaste. Mais Google enregistre juste les pages dites « indexables ». Ce qui laisse entendre qu’il existe des pages inaccessibles au robot de Google.
Il existe deux types d’index au niveau de Google, créé depuis 2003, à savoir :
- L’index principal renfermant les pages les plus pertinentes.
- L’index secondaire comprenant les pages de « second choix ». Il s’agit des pages qui présentent moins de qualité. Le principal souci, pour ces pages, réside dans le duplicate content.
À noter que les pages dont les contenus sont similaires sont ignorées par Google. La pénalisation ? C’est simple : elles n’apparaîtront pas dans les SERP à une exception près. Si l’internaute clique sur la phrase en bas de la page de recherche « Relancer la recherche en incluant les pages ignorées », il y a de fortes chances que ces pages de second choix apparaissent sous la mention « Résultat complémentaire ».
Ainsi, les sites internet ne sont pas placés sur un même pied d’égalité aux yeux de Google. D’où la nécessité pour tout propriétaire de site web de produire des contenus de qualité pour pouvoir être positionné dans l’index principal de Google.
Mise à jour de l’index
Google a effectué un changement technique en 2010. Cette mise à jour est appelée « Caffeine ». Elle a eu comme impact l’accélération de la constitution de la base de données ainsi que l’amélioration du mode d’indexation pour que le contenu de l’index soit toujours frais.
Une page parcourue et indexée est donc directement visible dans les résultats de recherche, qu’il s’agisse d’une page principale à un site ou d’une page d’actualités. Pour certaines de ces dernières, l’indexation peut se faire en quelques minutes après la publication. Le travail du Googlebot se fait maintenant de manière continue, et ce, partout dans le monde entier.
La possibilité de demander à Google d’indexer un site
Sachez qu’il vous est possible d’envoyer une requête à Google en ce qui concerne l’indexation d’un site internet. Il y a un formulaire de soumission à partir duquel vous pouvez envoyer votre demande.
Sinon, l’utilisation des backlinks peut aussi s’avérer efficace. Vous pouvez donc demander la publication sur un site extérieur d’un lien entrant qui pointe sur votre site. Lorsque le Googlebot repassera sur le site extérieur, il verra le lien vers votre site et viendra alors le visiter et l’indexer.
Par ailleurs, il est aussi possible de « forcer l’indexation » via un outil utilisé par les développeurs (Google Webmaster Tools). L’indexation peut alors se faire rapidement (sous 24h), mais sans une réelle garantie. Et sachez qu’il y a un quota à respecter. Choisissez alors les bonnes pages à indexer via cet outil.
Demander la suppression d’un site de l’index de Google
Si votre site est supprimé de l’index, sachez qu’il sera définitivement retiré de la base de données de Google. Toutefois, il est possible de retirer uniquement certaines pages de votre site. Ces dernières ne seront alors plus prises en compte par le robot d’exploration de Google. Pour ce faire, vous avez deux solutions :
- La suppression en urgence en mettant à jour le sitemap et en utilisant la balise « expires » pour les URL à supprimer.
- À partir de l’outil Google Webmaster Tools, vous pouvez vous rendre dans « Index Google » et choisir la section « URL à supprimer ».
Comment savoir si votre site a été indexé ?
Il y a ce que l’on appelle la « version en cache ». Celle-ci représente la dernière version de votre site enregistrée par le robot de Google lors de sa dernière exploration. Pour la voir, vous devez rechercher votre site sur Google. Une fois qu’il apparaît dans les résultats de recherche, cliquez sur le triangle près de l’URL. Vous aurez alors la mention « En cache » que vous pouvez activer pour voir la version enregistrée à telle date et à telle heure.
Pour voir également si l’indexation de votre site a été faite, vous pouvez entrer sur Google la mention « site:www.exemple.com ». Toutes les pages indexées apparaîtront alors.