Robots.txt WordPress : Comment Créer et Optimiser ce Fichier sur Votre Site Web

Votre site doit occuper une place de choix dans les Pages de résultats des moteurs de recherche (SERP). Pour cela, vous devrez faciliter l’exploration des pages les plus importantes par les « robots » des moteurs de recherche. Avoir un fichier robots.txt bien structuré en place aidera à diriger ces bots vers les pages que vous voulez qu’ils indexent, et évidemment éviter le reste qui n’est pas pertinent.

Dans cet article, nous allons couvrir :

1. Ce qu’est un fichier robots.txt, et pourquoi c’est important

2. Où se trouve le fichier robots.txt sur WordPress.

3. Comment créer un fichier robots.txt.

4. Quelles règles sont à inclure dans votre fichier robots.txt WordPress.

5. Comment tester le fichier robots.txt, et le soumettre dans la  Google Search Console ?

À la fin de notre article, vous aurez tout ce dont vous avez besoin pour configurer un fichier robots.txt parfait pour votre site WordPress. Allons-y !

Qu’est-ce qu’un fichier robots.txt WordPress (et pourquoi vous en avez besoin) ?

Quand vous créez un nouveau site internet, les moteurs de recherche enverront leurs crawlers (ou robots) pour le parcourir et faire un inventaire de toutes les pages qu’il contient. De cette façon, ils sauront quelles pages vont être affichées dans les résultats lorsqu’un internaute recherche des mots clés connexes. À un niveau de base, c’est assez simple à comprendre.

Le problème naît du fait que les sites web modernes contiennent beaucoup plus d’éléments que de simples pages. En effet, WordPress vous permet d’installer des plugins, par exemple, qui viennent souvent avec leurs propres répertoires. Cependant, vous ne voulez certainement pas que ces derniers apparaissent dans vos résultats de moteur de recherche. C’est tout à fait normal, car ils ne représentent pas du contenu pertinent. 

Dans la pratique, le fichier robots.txt va fournir un ensemble d’instructions à suivre pour les robots qui vont réaliser une exploration de votre site. Le fichier robots.txt leur dit : « Vous pouvez regarder ici, mais n’allez pas dans ces pièces-là!» Ce fichier peut être aussi précis et détaillé que vous le souhaitez. En outre, il est plutôt facile à créer, même si vous n’êtes pas un expert en la matière.

Les moteurs de recherche vont toujours analyser votre site internet même si vous n’avez pas un fichier robots.txt mis en place. Cependant, ne pas en créer un  peut s’avérer néfaste pour votre positionnement sur les moteurs de recherche (SEO). Sans ce fichier, vous vous en remettez aux robots pour indexer tout votre contenu. Attention, ils sont si minutieux qu’ils pourraient finir par montrer des parties de votre site WordPress auxquelles vous ne voulez pas que d’autres personnes aient accès.

Plus important encore, sans un fichier robots.txt, vous aurez beaucoup de robots sur tout votre site web. Cela peut avoir un impact négatif sur les performances de celui-ci. Même si l’effet est plutôt négligeable, la vitesse de la page est quelque chose qui devrait toujours être en haut de votre liste de priorités. Plus un site WordPress est rapide, et plus les robots pourront explorer votre site rapidement et ainsi repérer les pages essentielles. 

Où se trouve le fichier robots.txt sur WordPress ?

Lorsque vous créez un site WordPress, il installe automatiquement un fichier robots.txt situé dans le dossier principal de votre serveur. Par exemple, si votre site WordPress se trouve sur le site yourfakewebsite.com, vous devriez pouvoir visiter l’adresse de votre site yourfakewebsite.com/robots.txt, et voir un fichier comme celui-ci apparaître :

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

Voici un exemple de fichier robots.txt très basique. La partie se trouvant juste après User-agent déclare à quels bots les règles ci-dessous s’appliquent. Un astérisque signifie que les règles sont universelles et sont valables pour tous les bots. Dans ce cas, le fichier indique à ces bots qu’ils ne peuvent pas aller dans vos répertoires wp-admin et wp-includes. Cela revêt un certain sens puisque ces deux dossiers contiennent beaucoup de fichiers sensibles que vous ne voulez pas voir sur les moteurs de recherche. C’est une porte ouverte à tous les hackeurs.

Cependant, vous pouvez vouloir ajouter des règles à votre propre fichier. Avant de pouvoir le faire, vous devez comprendre qu’il s’agit d’un fichier robots.txt virtuel. Habituellement, l’emplacement WordPress du fichier robots.txt est dans votre répertoire racine. Le plus souvent, il est appelé public_html ou www (ou est nommé d’après votre site web).

Cependant, le fichier robots.txt mis en place par défaut sur WordPress présente une anomalie. Il n’est pas accessible du tout à partir de n’importe quel répertoire. Il fonctionne, mais si vous voulez y apporter des modifications, vous devrez créer votre propre fichier et le téléverser dans votre dossier racine en remplacement.

Nous allons couvrir plusieurs façons de créer un nouveau fichier robots.txt pour WordPress en une minute. Pour l’instant, voyons comment déterminer les règles que vous devriez inclure.

Quelles règles à inclure dans votre fichier robots.txt pour WordPress

Dans la dernière section, vous avez vu un exemple de fichier robots.txt généré par WordPress. Il ne comprenait que deux règles courtes, mais la plupart des sites Web mis en place en contiennent plus que cela. Regardons deux fichiers robots.txt différents, et parlons de ce qu’ils font chacun différemment.

Voici notre premier exemple WordPress du fichier robots.txt :

User-agent: *
Allow: /
# Disallowed sous répertoirs
Disallow: /checkout/
Disallow: /images/
Disallow: /forum/

Il s’agit d’un fichier robots.txt générique pour un site web avec un forum.  Les moteurs de recherche indexent souvent chaque fil dans un forum. Selon les caractéristiques de votre forum, il se peut que vous ayez envie de vouloir le refuser. De cette façon, Google ne va pas indexer des centaines de fils d’utilisateurs faisant de petits messages. Vous pourriez aussi mettre en place des règles indiquant des sous-forums spécifiques à éviter, et laisser les moteurs de recherche parcourir le reste entre eux.

Vous remarquerez également une ligne qui indique allow: / en haut du fichier. Elle fait savoir aux robots qu’ils peuvent parcourir toutes les pages de votre site web, à part les exceptions que vous allez définir ci-dessous. De même, vous noterez que nous définissons ces règles comme étant universelles (avec un astérisque), tout comme le fichier robots.txt sur WordPress.

Maintenant, voyons un autre exemple sur WordPress d’un fichier robots.txt:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
User-agent: Bingbot
Disallow: /

Dans ce fichier, nous mettons en place les mêmes règles par défaut que WordPress. Cependant, nous avons également ajouté un nouvel ensemble de règles qui empêchent le robot de recherche de Bing de se déplacer sur notre site web. Bingbot, comme vous pouvez l’imaginer, est le nom de ce robot.

La mauvaise nouvelle est qu’ils ne suivent pas toujours les instructions de votre fichier robots.txt. Cependant, il vaut la peine de garder à l’esprit que la majorité des robots vont suivre les instructions que vous fournissez dans ce fichier robots.txt. Mais vous ne les forcez pas à le faire. Vous ne faites que demander gentiment.

Si vous vous renseignez sur le sujet, vous trouverez beaucoup de suggestions sur ce qui est à autoriser et ce qui est à bloquer sur votre site internet WordPress. Cependant et selon notre propre expérience, le moins de règles est la plupart du temps le mieux. Voici un exemple de ce que nous vous recommandons. Votre premier fichier robots.txt devrait ressembler à ce qui suit.

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins

Traditionnellement, WordPress aime bloquer l’accès aux répertoires wp-admin et wp-includes. Cependant, ce n’est plus considéré comme une bonne pratique. De plus, si vous ajoutez des métadonnées à vos images à des fins d’optimisation des moteurs de recherche (SEO), il n’est pas logique d’interdire aux robots de parcourir cette information. Au lieu de cela, les deux règles ci-dessus couvrent ce que la plupart des sites WordPress de base exigent.

Ce que vous incluez dans votre fichier robots.txt dépendra de la spécificité de votre site et de vos besoins. N’hésitez donc pas à faire plus de recherches par vous-même !

Comment créer un fichier robots.txt sur WordPress (3 méthodes)

Une fois que vous avez décidé ce qui ira dans votre fichier robots.txt, tout ce qui reste à faire est d’en créer un. Vous pouvez modifier le fichier robots.txt dans WordPress soit en utilisant un plugin ou manuellement. Dans cette section, nous allons vous apprendre à utiliser deux plugins populaires pour faire le travail et discuter de la façon de créer et de télécharger le fichier vous-même. Allez, on y va !

1. Utiliser Yoast SEO

Yoast SEO n’a guère besoin d’une présentation. C’est le plugin SEO le plus populaire pour WordPress. Il vous permet d’optimiser vos contenus et pages pour mieux utiliser vos mots clés. En dehors de cela, il vous fournit également de l’aide quand vous aurez à augmenter la lisibilité de votre contenu. Cela signifie que plus de gens pourront voir votre contenu via des résultats sur les moteurs de recherche. 

Personnellement, nous sommes fans de Yoast SEO en raison de sa facilité d’utilisation. Cet avantage s’applique aussi à la création d’un fichier robots.txt. Une fois que vous installez et activez le plugin, naviguez vers l’onglet Tools (Outils) dans votre Tableau de bord, et recherchez l’option qui dit (File editor) Editeur de fichiers.

En cliquant sur ce lien, vous accéderez à une nouvelle page où vous pourrez modifier votre fichier       .htaccess sans quitter votre Tableau de bord. Vous trouverez également un bouton assez pratique dénommé create robots.txt file. Il fait exactement ce dont vous attendez.

Une fois que vous cliquez sur ce bouton, l’onglet affiche un nouvel éditeur où vous pouvez modifier votre fichier robots.txt directement. Gardez à l’esprit que Yoast SEO définit ses propres règles par défaut qui remplacent votre fichier robots.txt existant.

Chaque fois que vous ajoutez ou supprimez des règles, n’oubliez pas de les enregistrer en cliquant sur le bouton Save changes to robots.txt pour qu’elles persistent.

C’est assez facile ! Voyons maintenant comment un autre plugin populaire fait la même chose.

2. Le plugin All in One SEO Pack

All in One SEO Pack  qui est un plugin “tout en un” regroupant les meilleures fonctionnalités SEO est l’autre grand nom quand il s’agit d’évoquer WordPress et SEO. Il englobe la plupart des fonctionnalités que propose Yoast SEO. Toutefois, certaines personnes le préfèrent parce que c’est un plugin plus léger. En ce qui concerne le fichier robots.txt, la création du fichier avec ce plugin est également tout aussi simple.

Une fois le plugin configuré, accédez à la Page All in One SEO > Feature Manager dans votre Tableau de bord. À l’intérieur, vous trouverez une option appelée Robots.txt, avec un bouton Activate bien en vue juste en dessous. Allez-y et cliquez dessus.

Maintenant, un nouvel onglet Robots.txt apparaîtra sous votre menu All in One SEO. Si vous cliquez dessus, vous verrez des options pour pouvoir ajouter de nouvelles règles à votre fichier, enregistrer les modifications que vous faites, ou le supprimer complètement.

Notez que vous ne pouvez pas modifier votre fichier robots.txt directement en utilisant ce plugin. Le fichier lui-même est grisé, contrairement à Yoast SEO, qui vous permet d’écrire ce que vous voulez.

Dans tous les cas, l’ajout de nouvelles règles est simple. Alors, ne laissez pas ce petit inconvénient vous décourager. Encore plus important, All in One SEO Pack comprend également une fonctionnalité qui peut vous aider à bloquer les « mauvais » robots, auxquels vous pouvez accéder à partir de votre onglet All in One SEO.

C’est tout ce que vous devez faire si vous choisissez d’utiliser cette méthode. Cependant, parlons de la façon de créer un fichier robots.txt manuellement, si vous ne voulez pas configurer un plugin supplémentaire juste pour prendre soin de cette tâche.

3. Créer et télécharger votre fichier robots.txt vers WordPress via FTP

Créer un fichier txt ne pourrait pas être plus simple. Tout ce que vous avez à faire est d’ouvrir votre éditeur de texte préféré (comme Notepad ou TextEdit), et de taper quelques lignes. Ensuite, vous pouvez enregistrer le fichier txt, en utilisant le nom que vous voulez et le type de fichier txt. Cela prend littéralement quelques secondes pour le faire. C’est normal que vous puissiez le faire si vous avez l’intention de modifier un fichier robots.txt dans WordPress sans utiliser un plugin.

Voici un exemple rapide d’un tel fichier :

Pour les besoins de ce tutoriel sur la création d’un fichier robots.txt, nous avons enregistré ce fichier robots.txt directement sur notre ordinateur. Une fois votre propre fichier robots.txt créé et enregistré, vous devrez vous connecter à votre site web via FTP. Si vous ne savez pas comment faire, nous avons un guide sur comment utiliser le client FileZilla pour débutants.

Une fois que vous êtes connecté à votre site, accédez au dossier public_html. Ensuite, tout ce que vous avez à faire est de télécharger le fichier robots.txt de votre ordinateur sur votre serveur. Vous pouvez le faire en cliquant avec le bouton droit de la souris sur le fichier à l’aide du navigateur local de votre client FTP, ou simplement en le faisant glisser et en le déposant.

Il ne devrait prendre que quelques secondes pour que le fichier puisse être téléchargé. Comme vous pouvez le voir, cette méthode est presque aussi simple que l’utilisation d’un plugin.

Comment tester votre fichier robots.txt et le soumettre à Google Search Console

Une fois que votre fichier robots.txt est créé et téléchargé à WordPress, vous pouvez utiliser Google Search Console pour tester les erreurs. La console est un ensemble d’outils que Google offre pour vous aider à surveiller la façon dont votre contenu apparaît dans ses résultats de recherche. Un de ces outils est un vérificateur de fichier robots.txt, que vous pouvez employer en vous connectant à votre console et en naviguant vers l’onglet robots.txt Tester :

À l’intérieur, vous trouverez un champ éditeur où vous pouvez ajouter votre code de fichier robots.txt, et cliquez sur le bouton Submit juste en dessous. Google Search Console vous demandera si vous souhaitez employer ce nouveau code ou extraire le fichier de votre site web. Cliquez sur l’option Ask Google to Update pour le soumettre manuellement :

Maintenant, la plateforme va vérifier votre fichier pour les erreurs. S’il y en a, elle va les signaler pour vous. Vous avez vu jusqu’ici plus d’un exemple de fichier robots.txt sur WordPress. Par conséquent, dorénavant, vos chances sont plutôt élevées pour que le vôtre soit parfait !

Conclusion

Afin d’augmenter la visibilité de votre site, vous devrez vous assurer que les robots identifient l’information la plus pertinente sur votre site. Comme nous l’avons vu, un fichier robots.txt WordPress bien configuré vous permettra de dicter exactement comment ces robots devront interagir sur votre site. De cette façon, ils pourront présenter aux internautes un contenu plus adéquat et utile.

Avez-vous des questions sur la façon de modifier un fichier robots.txt dans WordPress ? Faites-nous savoir dans la section des commentaires ci-dessous !

Robots.txt WordPress – FAQ

Trouvez les réponses aux questions les plus fréquemment posées sur le robots.txt WordPress.