Crawl budget expliqué : quand cela compte et quand l'ignorer

Le crawl budget correspond au nombre de pages qu’un moteur de recherche comme Google explore sur votre site pendant une période donnée. La réponse courte à la question de savoir s’il faut s’en préoccuper : pour la plupart des sites B2B, non. Le crawl budget ne devient un facteur que lorsque votre site est si grand, si lent ou si désordonné que Google n’arrive plus à traiter toutes vos pages importantes. Dans cet article, vous découvrirez ce qu’est précisément le crawl budget, où se situe le seuil et quand il vaut mieux concentrer votre attention ailleurs.

Qu’est-ce que le crawl budget exactement ?

Avant qu’une page puisse se positionner, Google doit d’abord la récupérer (l’explorer, ou crawler) puis l’intégrer à son index. Le crawl budget concerne cette première étape. Ce n’est pas un chiffre fixe que Google vous attribue, mais le résultat de deux éléments qui se conjuguent.

Le premier est votre capacité de crawl : le nombre de requêtes que votre serveur supporte sans devenir lent ni renvoyer d’erreurs. Si votre site répond rapidement, Google ose récupérer davantage de pages par visite. Si votre serveur peine, Google se retire pour ne pas surcharger votre site.

Le second est la demande de crawl : la valeur que Google accorde à votre contenu pour le récupérer. Les pages populaires, celles qui changent souvent et celles qui reçoivent beaucoup de liens sont visitées plus fréquemment. Une page statique qui ne change jamais et vers laquelle rien ne pointe descend au bas de la file d’attente.

Ensemble, ces deux facteurs déterminent la part de votre site que Google examine réellement. Le crawl budget fait partie du SEO technique et s’inscrit dans le tableau plus large du SEO, mais c’est un sujet qui, en B2B, reçoit souvent plus d’attention qu’il n’en mérite.

Pour qui le crawl budget n’est-il pas une préoccupation ?

Commençons honnêtement, cela vous évitera beaucoup de temps perdu. Si votre site compte quelques dizaines à quelques centaines de pages, le crawl budget n’est quasiment jamais votre problème. Google explore intégralement et sans effort les sites de cette taille. Ce serait de l’énergie gaspillée que de bricoler le crawl budget alors que votre contenu, vos liens internes ou votre vitesse de chargement sont les véritables leviers.

La plupart des prestataires de services B2B, des entreprises de produits et des acteurs locaux entrent dans cette catégorie. Un site avec une page d’accueil, une poignée de pages de services, une page « à propos », une page de contact et une base de connaissances de quelques centaines d’articles n’approchera jamais d’une limite de crawl. Si vos pages ne figurent pas dans Google, la cause est presque toujours ailleurs : une balise noindex oubliée, une page sans aucun lien interne, ou un contenu tout simplement trop mince pour être intégré.

Autrement dit : si quelqu’un vous affirme que le crawl budget est la raison pour laquelle votre site de cinquante pages ne se positionne pas, vous avez le droit d’être sceptique. Ce diagnostic est presque toujours faux.

À partir de quel seuil devient-il un facteur ?

Le crawl budget devient pertinent lorsque l’échelle ou la qualité de votre site commence à gêner Google. Il n’existe pas de chiffre exact au-dessus duquel un interrupteur bascule, mais quelques signaux vous aident à évaluer si vous êtes dans la zone à risque.

Le premier est la taille pure. À partir de plusieurs milliers voire dizaines de milliers d’URL, l’ordre et la fréquence auxquels Google récupère vos pages commencent à compter. Pensez aux grandes boutiques en ligne, aux vastes bases de connaissances, aux portails ou aux sites qui génèrent automatiquement beaucoup de pages. À partir de ce point, il peut arriver que les pages nouvelles ou modifiées soient prises en compte plus lentement, parce que Google doit répartir son attention.

Le second signal n’a rien à voir avec la taille, mais avec le désordre. Un site plus petit peut malgré tout se mettre en difficulté en produisant d’énormes quantités d’URL à faible valeur. Les coupables les plus fréquents :

• Les URL de filtres et de tri qui génèrent d’interminables combinaisons de paramètres. La manière de les traiter spécifiquement est expliquée dans notre article sur la navigation à facettes et le SEO.
• Les pages de résultats de recherche interne qui restent explorables.
• Les identifiants de session ou paramètres de suivi qui affichent la même page sous des dizaines d’URL.
• La pagination sans fin ou les pages de calendrier qui s’étendent des années à l’avance.

Dans ces cas, Google gaspille son attention sur des pages qui n’ont pas d’importance, ce qui fait que vos vraies pages passent moins souvent au premier plan. Le troisième signal est la vitesse : un serveur lent ou beaucoup d’erreurs serveur réduisent votre capacité de crawl, quelle que soit la taille de votre site.

Comment savoir si votre site est concerné ?

Vous n’avez pas à deviner. Le rapport sur les statistiques d’exploration de Google Search Console montre comment Google a exploré votre site sur la période écoulée : combien de requêtes par jour, comment votre serveur a réagi et quels temps de réponse Google a rencontrés. Deux questions vous donnent le plus de repères.

La première : Google atteint-il vos pages commerciales les plus importantes et les récupère-t-il régulièrement ? Si oui, il y a peu de raisons de s’inquiéter, indépendamment de la taille du chiffre total. La seconde : voyez-vous beaucoup d’erreurs serveur ou de temps de réponse lents ? Ce sont là les véritables signaux d’alarme, car ils freinent Google indépendamment de votre taille.

Une deuxième vérification pratique est le rapport entre le nombre d’URL que votre site génère et le nombre de pages que vous voulez réellement voir indexées. Si l’écart est important, par exemple parce que des filtres et des paramètres produisent des milliers de variantes de quelques centaines de vraies pages, alors vous avez un problème de désordre qui se présente comme un problème de crawl budget. La solution ne réside pas dans plus de capacité de crawl, mais dans le nettoyage de ce que Google voit.

Que faire lorsque cela compte vraiment ?

Supposons que votre site soit assez grand ou produise assez de désordre pour faire du crawl budget un facteur réel. L’approche repose alors sur un principe simple : faites en sorte que Google consacre son attention à ce qui compte, et non à ce qui ne compte pas. Quelques pistes concrètes :

• Nettoyez les URL à faible valeur. Bloquez les combinaisons de filtres explorables, les résultats de recherche interne et les variantes de paramètres qui n’ont pas de valeur unique, par exemple via votre robots.txt ou en ne les liant pas en interne.
• Utilisez les balises canonical de façon cohérente. Lorsque le même contenu existe sous plusieurs URL, désignez avec une balise canonical la version qui compte. Vous évitez ainsi que Google perde du temps sur des doublons.
• Gardez votre sitemap propre. Ne mettez dans votre sitemap XML que les pages que vous voulez réellement voir indexées, afin de donner à Google une liste de priorités claire.
• Améliorez la vitesse de votre serveur. Des temps de réponse plus rapides augmentent votre capacité de crawl, car Google ose récupérer davantage sans surcharger votre site.
• Renforcez vos liens internes. Les pages importantes qui reçoivent beaucoup de liens sont explorées plus souvent. Les pages profondément enfouies s’effacent.

Si vous ne pouvez pas mettre en œuvre rapidement ces interventions techniques via votre CMS, alors l’edge SEO offre un moyen de déployer redirections, canonicals et directives au niveau du CDN sans attendre votre équipe de développement. Et si vous voulez rendre les ajustements de titres et de métadonnées démontrables plutôt que basés sur l’intuition, penchez-vous sur le test A/B en SEO.

Notez que la plupart de ces mesures améliorent de toute façon votre site, indépendamment du crawl budget. C’est précisément le bon état d’esprit : vous résolvez un problème de qualité sous-jacent, et une meilleure exploration en est la conséquence, pas un but en soi.

Questions fréquentes sur le crawl budget

Mon petit site B2B a-t-il un problème de crawl budget ?

Presque certainement pas. Les sites de quelques centaines de pages ou moins sont explorés intégralement et sans effort par Google. Si vos pages ne figurent pas dans l’index, la cause est presque toujours ailleurs, comme une balise noindex, des liens internes manquants ou un contenu trop mince.

À partir de combien de pages le crawl budget devient-il important ?

Il n’y a pas de limite stricte, mais comme règle empirique, il commence à jouer à partir de plusieurs milliers voire dizaines de milliers d’URL, ou plus tôt lorsque votre site produit beaucoup d’URL parasites et des temps de réponse lents. Taille et qualité pèsent ensemble.

Publier plus souvent augmente-t-il mon crawl budget ?

Indirectement, cela peut aider, car un site actif suscite de la demande de crawl. Mais vous n’imposez pas pour autant un budget plus élevé. Un serveur plus rapide, une structure d’URL propre et des liens internes solides ont généralement plus d’effet que la seule fréquence de publication.

Le crawl budget est-il la même chose que l’indexation ?

Non. Explorer, c’est récupérer une page ; indexer, c’est l’intégrer aux résultats de recherche. Google peut explorer une page et décider ensuite de ne pas l’indexer, par exemple parce qu’elle apporte trop peu de valeur.

Concentrez votre attention sur le bon levier

Le crawl budget est un mécanisme réel, mais pour la grande majorité des sites B2B, ce n’est pas un problème qui mérite votre temps. Il ne devient un facteur qu’en cas d’échelle importante, de nombreuses URL parasites ou de serveurs lents. L’art consiste à établir d’abord honnêtement s’il s’applique à vous, plutôt que de construire une solution pour un problème que vous n’avez pas.

Nous sommes une petite équipe qui avance vite et dit honnêtement ce qui rapporte et ce qui ne rapporte pas. Nous pilotons sur le pipeline et le chiffre d’affaires, pas sur des chiffres de vanité, et nous veillons à ce que vous ne vous positionniez pas seulement dans Google mais que vous soyez aussi cité par les moteurs de recherche IA comme ChatGPT et Perplexity. Si vous voulez savoir où votre site laisse réellement de la marge, notre spécialiste SEO le cartographie pour vous. Commencez par un regard sur les fondamentaux avec notre pilier consacré au SEO.

Envie de savoir où votre croissance se bloque ? Planifiez votre entretien gratuit