Tout savoir sur le budget crawl et son optimisation SEO

Pour qu’une page puisse apparaitre dans les résultats de recherche Google et génère du trafic vers votre site, Google doit d’abord l’explorer.

Cependant, comme Google ne dispose pas de temps ni de ressources illimités pour explorer chaque page web, toutes les pages ne seront pas explorées. C’est ce que l’on appelle “budget crawl” ou “budget d’exploration”, et son optimisation peut être la clé du succès de votre stratégie SEO.

Qu’est-ce que le budget crawl ? (Définition)

Le Crawl Budget (budget d’exploration en français), est le nombre maximal de pages de votre site que GoogleBot (le robot de Google) peut explorer dans un délai donné.

Google détermine le crawl budget d’un site en fonction de nombreux critères (liste non exhaustive) : la vitesse de chargement du site, sa taille, sa “santé”, la qualité des contenus et la fréquence de leur mise à jour.

Différence entre crawl rate limit et budget crawl

La limite de crawl “Crawl rate limit” est un aspect différent, mais essentiel du budget de crawl et qui permet de définir un nombre de connexions simultanées que GoogleBot utilise pour crawler un site internet ainsi que le temps d’attente entre chaque page explorée.

La notion “Crawl rate limit” a été introduite pour éviter que Google n’explore trop rapidement un trop grand nombre de pages de votre site Web. Elle permet donc d’empêcher les robots Google d’effectuer trop de requêtes, car cela pourrait surcharger votre serveur et par conséquent ralentir la vitesse de chargement de votre site.

Vous pouvez définir la limite du taux d’exploration dans la Google Search Console. Cependant, le fait de fixer une limite élevée ne garantit pas un taux d’exploration élevé.

Pourquoi optimiser le budget crawl ?

Lorsque vous ajoutez de nouvelles pages et mettez à jour des pages existantes, vous souhaiteriez que ces dernières soient détectées et indexées le plus rapidement possible.

Si vous gaspillez votre budget d’exploration, les robots Google ne pourront pas explorer ces dernières de manière efficace. Ils passeront du temps sur des pages qui sont sans importance, au détriment des pages stratégiques de votre site.

Le gaspillage du budget de crawl peut donc nuire à vos performances SEO.

Comment vérifier le budget d’exploration de mon site ?

Budget crawl dans la Google Search Console

Si votre site est lié à la Google Search Console, vous pouvez avoir un aperçu du budget crawl de votre site Web pour Google.

Suivez les étapes suivantes :

1. Connectez-vous à Google Search Console et choisissez un site Web.
2. Allez dans Paramètres > Statistiques sur l’exploration. En ouvrant le rapport, vous verrez une page de résumé qui comprend un graphique des tendances de crawl, des détails sur le statut de l’hôte et une répartition des demandes d’exploration (par réponse, par type de fichier, par objectif et par type de Googlebot).

Budget crawl dans les logs de vos serveurs

Il est très intéressant de vérifier les journaux de votre serveur pour voir à quelle fréquence les crawlers de Google passent (hit) sur les pages de votre site. Il est intéressant de comparer ces statistiques à celles qui sont indiquées dans Google Search Console. Il est toujours préférable de s’appuyer sur plusieurs sources afin d’être le plus précis possible.

Comment optimiser le budget crawl et éviter son gaspillage ?

Vous trouverez ci-dessous les éléments les plus importants à prendre en compte afin d’optimiser votre budget crawl (budget d’exploration) :

• Utiliser le fichier robots.txt correctement : en bloquant certains répertoires inutiles ou bien certains paramètres d’url qui peuvent générer un grand nombre de pages inutiles et donc gaspiller le budget crawl.
• Optimiser la vitesse de chargement de votre page : en optant pour un bon hébergeur et un serveur performant, mais aussi, en optimisant les ressources appelées sur une page lors de son chargement (HTML, JS, CSS et images).
• Avoir une arborescence optimisée (profondeur du site) : en privilégiant une arborescence qui limiterait les pages trop profondes (accessibles depuis la page d’accueil en 3 clics ou plus) et qui permettrait d’éviter les problèmes de cannibalisation et de duplication.
• Optimiser les liens internes : en vérifiant que les liens pointent vers les pages les plus pertinentes et que ces dernières répondent bien en 200.
• Réduire le nombre de pages d’erreur soft 404 : en utilisant certains outils (ex. Google Search Console) afin de les identifier puis les corriger.
• Réduire le nombre de pages orphelines : en identifiant ces pages qui ne sont pas liées au reste du site (aucun lien interne vers ces pages).
• Limiter la duplication de contenus : en identifiant les pages avec le même contenu, mais accessibles via des urls différentes, ou bien les pages dont les contenus sont similaires et qui risquent de se cannibaliser (risque de soft 404).
• Mettre régulièrement à jour votre site avec du contenu de qualité : en monitorant la performance de vos pages et en veillant à ce qu’elles répondent à l’intention de recherche grâce à un contenu unique et de qualité.
• Limitez le nombre de redirections (évitez surtout les boucles de redirections) : un trop grand nombre de redirections et/ou des boucles de redirections peuvent affecter les robots Googlebot et par conséquent votre budget d’exploration.
• Autre éléments indirects à optimiser : sitemap.xml, structure des pages SEO, données structurées SEO.

Bien suivre son budget crawl : quels KPI suivre ?

Voici les indicateurs clés pour la gestion et l’optimisation de votre budget d’exploration :

• Le nombre de pages dans la structure
• Le nombre de pages indexées
• La profondeur moyenne de vos pages
• Le taux de duplication de contenus
• Le taux de crawl des pages importantes
• La vitesse moyenne de chargement (Core Web Vitals / Signaux Web essentiels)

Étude de cas : quelle est l’influence du crawl sur les performances SEO d’un site web ?

Nous voyons ici que le budget de crawl moyen en septembre-octobre était de 6000 pages / jour.

Après mise en place d’optimisations SEO début octobre (la plus importante étant la désindexation d’un grand nombre de pages dupliquées sur le site), nous avons observé une hausse du nombre de pages explorées par jour (8000 pages / jour), cela n’est pas négligeable lorsque l’on voit l’impact que cela peut avoir sur les performances SEO de vos pages.

Le graphique correspond à l’évolution du nombre de clics sur 3 mois, nous pouvons observer qu’après un peu plus d’un mois de la désindexation des pages dupliquées, le nombre de clics a commencé à augmenter (en corrélation avec la hausse du nombre de pages explorées par Google – voir graphique plus haut)

Conclusion :

La maîtrise et l’optimisation de votre budget de crawl sont le secret de votre réussite. Lorsque vous parlez du budget d’exploration Google, vous devez toujours penser à l’optimisation de vos pages web (structure des liens internes, rédaction de contenus SEO de qualité, pagination, vitesse de chargement, etc). Aussi, lorsque votre site a un meilleur budget crawl qui lui est alloué par Google, il y aura (dans la majorité des cas) une amélioration de vos performances SEO (positionnement dans les résultats de recherche, trafic organique et donc potentiellement votre CA).