Robots.txt

Le robots.txt est un simple fichier texte placé à la racine de votre domaine qui indique aux robots d’exploration des moteurs de recherche quelles parties de votre site ils peuvent visiter ou non.

Que fait robots.txt ?

Lorsqu’un robot d’exploration visite votre site, il lit d’abord votresite.be/robots.txt pour voir quelles règles s’appliquent. Avec Disallow, vous tenez les bots à l’écart de dossiers ou de pages, par exemple les résultats de recherche internes, les environnements admin ou les pages de filtre en double. Vous protégez ainsi votre budget de crawl et évitez que Google ne gaspille du temps sur des URL sans importance. Vous pouvez aussi y mentionner votre sitemap, pour que les robots trouvent plus vite vos pages importantes.

Un malentendu important

Robots.txt bloque le crawl, pas l’indexation. Une page bloquée via robots.txt peut malgré tout apparaître dans Google si des liens pointent vers elle, seulement sans que Google en voie le contenu. Si vous voulez vraiment garder une page hors des résultats de recherche, utilisez alors une balise meta robots avec noindex sur une page qui, elle, est crawlable. Confondre les deux est l’une des erreurs les plus fréquentes et peut sans crier gare saboter votre indexation.

Robots.txt selon Customer Impact

Une règle mal placée dans robots.txt peut faire disparaître tout un site de Google, c’est pourquoi nous traitons ce fichier avec soin. Pour les clients B2B, nous l’utilisons de façon ciblée pour orienter les robots vers les pages qui génèrent des leads et du chiffre d’affaires, et loin du bruit qui n’apporte rien. Pas de vanité, juste une base propre et réfléchie sur laquelle le reste de votre SEO peut se construire.