Qu'est-ce que le crawl delay ? La règle robots.txt expliquée honnêtement

Le crawl delay est une règle de votre fichier robots.txt qui demande aux moteurs de recherche d’attendre un certain nombre de secondes entre deux visites de pages successives. Elle vise à éviter qu’un robot d’exploration surcharge votre serveur en réclamant des pages trop rapidement les unes après les autres. La nuance honnête, tout de suite : Google ignore totalement le crawl delay, alors que Bing et Yandex suivent bien la règle. Dans cet article, vous découvrez ce que fait précisément le crawl delay, quels moteurs de recherche en tiennent compte et quand il a du sens pour votre site B2B (spoiler : presque jamais).

Qu’est-ce que le crawl delay exactement ?

Le crawl delay est une directive que vous placez dans votre robots.txt, le fichier texte avec lequel vous donnez des instructions aux robots d’exploration. La syntaxe est simple :

User-agent: *
Crawl-delay: 10

Cette règle demande à chaque robot qui la respecte d’attendre au moins dix secondes avant de réclamer la page suivante. L’idée sous-jacente : un bot agressif qui récupère des dizaines de pages par seconde peut mettre à genoux un serveur fragile pendant un moment. Avec le crawl delay, vous bridez ce rythme.

Important à savoir : le crawl delay n’est jamais devenu un standard officiel du web. C’est une convention que certains moteurs de recherche suivent et d’autres non. C’est pourquoi la même règle produit des effets très différents d’un bot à l’autre.

Quels moteurs de recherche respectent le crawl delay ?

C’est là que le bât blesse, et c’est précisément pour cela que le crawl delay est si souvent mal configuré.

• Google ignore le crawl delay. Google confirme dans sa documentation robots.txt qu’il ne prend pas la règle en charge. Googlebot détermine lui-même son rythme d’exploration, automatiquement, en fonction de la rapidité et de la fiabilité des réponses de votre serveur. Si votre serveur répond lentement, Google réduit de lui-même la cadence pour ne pas surcharger votre site.
• Bing respecte le crawl delay. Bingbot interprète la valeur comme des fenêtres de temps : avec Crawl-delay: 10, Bing récupère au maximum une page par fenêtre de dix secondes.
• Yandex respecte le crawl delay. Yandex attend au minimum le nombre de secondes indiqué entre deux requêtes.

La conclusion pratique : si vous posez un crawl delay pour freiner Google, il ne se passe rien. Google ne lit tout simplement pas la règle. Si vous voulez piloter Googlebot, vous le faites via la réponse de votre serveur et non via robots.txt.

Pourquoi Google choisit son propre rythme

Google part du principe qu’il est plus intelligent d’adapter le rythme d’exploration de façon dynamique que de s’en tenir à un chiffre fixe. La logique : si votre serveur répond vite et sainement, Google peut sans problème récupérer un peu plus de pages par visite. Si Googlebot constate que votre serveur ralentit ou renvoie des codes d’erreur, il ralentit de lui-même. Google protège ainsi votre serveur sans que vous ayez à régler le moindre chiffre.

Cela rejoint le fonctionnement du budget d’exploration : plus votre serveur répond vite, plus Google peut récupérer et indexer de pages dans le même laps de temps. Un crawl delay irait précisément à contre-courant. Vous forceriez Google (s’il lisait la règle) à explorer plus lentement, ce qui ferait arriver le contenu nouveau ou modifié plus tard dans l’index. Pour un site qui vit du trafic de recherche, c’est l’inverse de ce que vous voulez.

Quand le crawl delay compte (ou non) en B2B

Nous préférons le dire honnêtement d’emblée : pour la grande majorité des sites B2B belges, le crawl delay est superflu. Vous avez généralement quelques dizaines à quelques centaines de pages, pas des millions. Un volume d’exploration suffisant pour faire céder votre serveur, cela n’arrive tout simplement pas sur un site vitrine ou une base de connaissances classique.

Le crawl delay peut être utile dans quelques cas limites :

• Un très grand site sur un hébergement mutualisé fragile, où des bots moins respectueux (pensez à certains outils SEO ou scrapers) chargent sensiblement votre serveur.
• Un pic de charge serveur dont on peut démontrer qu’il provient du trafic d’exploration de Bing ou de Yandex.

Mais même dans ce cas, le crawl delay reste le plus souvent un cautère sur une jambe de bois. Le vrai problème est alors la puissance de votre serveur, pas les robots. Vous le résolvez structurellement bien mieux avec du caching, un environnement d’hébergement plus rapide et l’élimination des requêtes lourdes. Comment cela fonctionne, vous le lisez dans notre explication sur améliorer le temps de réponse serveur. Vous augmentez ainsi votre visibilité au lieu de la freiner.

Si vous voulez vraiment limiter des bots agressifs ou indésirables, vous travaillez de manière plus ciblée avec des blocages au niveau du serveur ou des règles de pare-feu qu’avec un crawl delay qui n’est lu que par les robots bien intentionnés. Notre approche SEO ne part donc jamais d’un crawl delay, mais de la question de savoir si votre serveur sert vos pages les plus importantes assez vite, tant aux visiteurs qu’aux robots.

Comment contrôler votre comportement d’exploration ?

Plutôt que de poser un crawl delay à l’aveugle, commencez par regarder ce qui se passe réellement. Les statistiques d’exploration dans Google Search Console montrent combien de pages Google récupère par jour et comment votre serveur y réagit. Si le temps de réponse moyen augmente, c’est un signal pour vous occuper de votre serveur, pas pour freiner Google. Dans vos logs serveur, vous voyez en plus quels bots font combien de requêtes, de sorte que vous savez précisément si un robot pose problème ou non.

Questions fréquentes sur le crawl delay

Le crawl delay fonctionne-t-il pour Google ? Non. Google ignore totalement la règle crawl delay dans robots.txt et détermine son rythme d’exploration automatiquement selon la réponse de votre serveur. Si vous voulez piloter Googlebot, vous le faites via les performances de votre serveur, pas via le crawl delay.

Quels moteurs de recherche respectent bien le crawl delay ? Surtout Bing et Yandex. Bing traite la valeur comme des fenêtres de temps, Yandex comme un temps d’attente minimal entre les requêtes. D’autres robots, plus petits, s’y tiennent parfois et parfois pas.

Ai-je besoin d’un crawl delay pour mon site B2B ? Presque jamais. La plupart des sites B2B ont trop peu de pages pour surcharger un serveur. Vous risquez surtout que vos pages importantes soient reprises plus lentement. Investissez plutôt dans un serveur rapide.

Comment régler le crawl delay si je le veux malgré tout ? Vous ajoutez dans votre robots.txt, sous le bon user-agent, une règle du type Crawl-delay: 10. Testez ensuite dans vos logs serveur si l’effet souhaité se produit, et gardez à l’esprit que Google passe simplement la règle sous silence.

Vous doutez de la justesse de votre robots.txt ?

Le crawl delay est un petit détail souvent utilisé à tort pour résoudre un problème qui se situe ailleurs. Nous regardons l’ensemble : votre serveur répond-il assez vite, vos pages commerciales sont-elles explorées sans accroc et cela génère-t-il des leads plutôt que du bruit ? Nous sommes une petite équipe qui bouge vite et qui vous dit honnêtement quand un réglage n’apporte rien. Planifiez votre intake gratuit