Le X-Robots-Tag expliqué | Customer Impact

Le X-Robots-Tag est une instruction d’indexation que vous ne placez pas dans le HTML d’une page, mais que vous transmettez via l’en-tête HTTP de la réponse du serveur. Vous pouvez ainsi indiquer aux moteurs de recherche qu’ils ne doivent pas indexer un fichier, même lorsque ce fichier n’est pas une page web. Dans cet article, vous découvrez ce qu’est précisément le X-Robots-Tag, en quoi il diffère de la balise meta robots classique et quand vous en avez besoin.

Qu’est-ce que le X-Robots-Tag exactement ?

Chaque fois que votre serveur livre un fichier, il envoie avec lui un petit ensemble de données invisibles : l’en-tête HTTP. Le X-Robots-Tag est une ligne que vous ajoutez à cet en-tête, par exemple X-Robots-Tag: noindex. Le visiteur n’en voit rien, mais un crawler, lui, lit bien l’instruction.

Toute la force tient dans ce mot : « en-tête ». Une balise meta robots classique se trouve dans le HTML d’une page. Mais que faire si votre fichier n’a pas de HTML, comme un PDF, une image ou une vidéo ? Il n’y a alors aucun <head> où insérer une balise. Le X-Robots-Tag résout ce problème : il se situe au niveau de l’en-tête et fonctionne donc pour tout type de fichier que votre serveur livre.

Google prend en charge pour le X-Robots-Tag exactement les mêmes valeurs que pour la balise meta robots. Google le confirme dans sa documentation sur les balises meta robots et le X-Robots-Tag.

Quelles valeurs le X-Robots-Tag prend-il en charge ?

Comme les valeurs sont identiques à celles de la balise meta robots, vous les reconnaissez immédiatement :

noindex. N’incluez pas ce fichier dans les résultats de recherche.
nofollow. Ne suivez pas les liens présents dans ce fichier.
noarchive, nosnippet. Ne pas afficher de copie en cache ni d’extrait de texte.
max-snippet, max-image-preview, max-video-preview. Limitez la taille de l’aperçu affiché.

Vous pouvez combiner plusieurs valeurs dans une liste séparée par des virgules. En cas de règles contradictoires, c’est la plus restrictive qui l’emporte selon Google. Si max-snippet:50 et nosnippet cohabitent, par exemple, c’est nosnippet qui s’applique.

Quand utiliser le X-Robots-Tag ?

Pour des pages web classiques, la balise meta robots suffit largement. Le X-Robots-Tag entre en jeu lorsqu’une balise dans le HTML n’est pas envisageable :

Les fichiers PDF que vous ne voulez pas voir dans les résultats de recherche : devis, livres blancs derrière un formulaire ou documents internes.
Les images et les fichiers vidéo que vous voulez garder hors des résultats visuels.
De grands ensembles de fichiers à la fois, puisque vous définissez la règle de façon centralisée dans la configuration de votre serveur au lieu de le faire fichier par fichier.

Vous configurez le X-Robots-Tag dans les réglages de votre serveur web, par exemple dans un fichier .htaccess avec Apache ou dans les blocs serveur avec Nginx. Cela le rend puissant à grande échelle, mais aussi plus technique qu’une simple balise meta.

Le piège : ne bloquez pas le fichier dans le robots.txt

Comme pour la balise meta robots, une règle cruciale s’applique ici. Le X-Robots-Tag n’est lu qu’au moment où le crawler récupère le fichier. Si vous bloquez ce même fichier dans votre robots.txt, Google ne le visitera jamais, ne verra jamais le noindex, et le fichier pourra malgré tout se retrouver dans l’index.

Si vous voulez vraiment sortir un fichier des résultats de recherche, laissez-le explorable et appliquez-lui un X-Robots-Tag avec noindex. Robots.txt, noindex et canonical se ressemblent, mais chacun résout un problème différent. Lequel utiliser et quand, et pourquoi les combinaisons intuitives échouent, nous l’expliquons dans noindex, canonical ou robots.txt.

Qu’est-ce que cela signifie pour le B2B ?

Pour une entreprise B2B, le X-Robots-Tag est rarement votre plus grande préoccupation, mais il reste utile dans quelques situations concrètes. Pensez à un livre blanc ou à une liste de prix que vous ne voulez proposer que derrière un formulaire : vous ne voulez pas que le PDF brut apparaisse tout simplement dans Google et contourne votre formulaire de leads. C’est là que le X-Robots-Tag est l’outil adéquat.

Notre avis honnête : n’en faites pas trop. Pour la plupart des sites, vous assurez votre visibilité avec des pages solides et une indexation propre, et vous n’avez besoin du X-Robots-Tag que pour les quelques fichiers non HTML que vous voulez délibérément protéger. Si vous voulez mettre toute votre stratégie d’indexation au carré dans le cadre de votre approche SEO, nous examinons avec vous quels fichiers et quelles pages renforcent votre autorité et lesquels ne sont que du bruit.

Questions fréquentes

Quelle est la différence entre le X-Robots-Tag et la balise meta robots ? La balise meta robots se trouve dans le HTML et ne fonctionne que pour les pages web. Le X-Robots-Tag se situe dans l’en-tête HTTP et fonctionne aussi pour les fichiers sans HTML, comme les PDF et les images. Les valeurs prises en charge sont identiques.

Puis-je garder un PDF hors de Google avec le X-Robots-Tag ? Oui. C’est l’une de ses applications les plus connues. Appliquez X-Robots-Tag: noindex au fichier PDF via la configuration de votre serveur et veillez à ce que le fichier ne soit pas bloqué dans le robots.txt.

Où configurer le X-Robots-Tag ? Dans la configuration de votre serveur web, par exemple un fichier .htaccess avec Apache ou les blocs serveur avec Nginx. C’est donc une intervention plus technique qu’une balise meta dans votre HTML.

Le X-Robots-Tag fonctionne-t-il si le fichier est bloqué dans le robots.txt ? Non. Google doit pouvoir explorer le fichier pour lire l’en-tête. S’il est bloqué, l’instruction est ignorée et le fichier peut malgré tout être indexé.

Des doutes sur votre indexation ?

Des fichiers apparaissent dans Google alors qu’ils n’ont rien à y faire, ou vous voulez la certitude que vos documents protégés le sont vraiment ? Racontez-nous votre situation.

Nous sommes une petite équipe qui avance vite et qui vous dit honnêtement où se trouvent vos plus grandes opportunités, dans Google comme dans les réponses des IA. Planifiez votre entretien gratuit.

Qu'est-ce que le X-Robots-Tag ? Piloter l'indexation via l'en-tête HTTP