Budget de crawl (crawlbudget)

Le budget de crawl est le nombre de pages que Google récupère et traite sur votre site web dans une période donnée. Il est déterminé par la vitesse de réponse de votre serveur et par la valeur que Google voit dans votre site. Pour les petits sites, ce n’est que rarement un problème, mais pour les grands sites, il détermine en partie quelles pages entrent à temps dans l’index.

De quoi dépend votre budget de crawl?

Google répartit son attention sur des milliards de pages, il choisit donc où il investit du temps. Deux facteurs pèsent: ce que votre serveur peut supporter (crawl rate) et à quel point votre contenu est demandé (crawl demand). Un site lent ou beaucoup d’URL sans valeur gaspillent un budget qui aurait pu aller vers vos pages importantes.

• Des réponses serveur rapides et sans erreur
• Du contenu frais, régulièrement mis à jour
• Peu de duplicate content et d’URL de paramètres vides

Comment l’ajuster?

Vous ne gaspillez pas de budget sur des pages qui ne comptent pas. Bloquez les URL inutiles via robots.txt, gardez votre sitemap propre et à jour, et assurez une crawlability logique afin que les bots trouvent vite votre contenu précieux. Une crawl-depth plate aide Google à atteindre plus vite vos pages les plus profondes et à les indexer.

Pourquoi cela compte pour le résultat

Chez Customer Impact, nous nous concentrons sur les pages qui génèrent des leads et du chiffre d’affaires, pas sur un index à jour comme but en soi. Pour la plupart des sites B2B, le budget de crawl n’est pas un problème aigu, mais il l’est pour de vastes catalogues ou beaucoup de combinaisons de filtres. En orientant votre budget vers vos pages commerciales, vous faites en sorte que Google voie ce qui compte, au lieu de se perdre dans du bruit technique.