Comment modifier un fichier Robots.txt dans WordPress

Cette semaine, nous abordons une autre question que les utilisateurs débutants de WP ont - comment éditer un fichier robots.txt dans WordPress. La raison derrière cela est assez simple - cela profite à vos efforts de référencement . Un fichier robots.txt est un outil incroyablement puissant en matière de référencement, car il fonctionne comme un guide de site Web pour les robots d'exploration des moteurs de recherche . C'est pourquoi les experts de WordPress reconnaissent son importance et la meilleure façon de l'implémenter dans l'optimisation de leur site. Voici notre point de vue étape par étape sur l'ensemble du sujet .

Nous commençons par une définition plus détaillée du fichier robots.txt

Les robots des moteurs de recherche ont besoin d' instructions sur la façon d'explorer et d'indexer les pages intérieures de votre site . C'est là que les fichiers robots.txt entrent en jeu. Ce fichier présente la structure de vos pages, les rendant faciles à lire et à évaluer par les robots des moteurs de recherche.

Vous pouvez généralement trouver le fichier robots.txt stocké dans le répertoire racine. Ce répertoire est également connu pour être le dossier principal de l'ensemble de votre site Web . Avant d'aborder la façon de modifier un fichier robots.txt dans WordPress, nous devons d'abord apprendre à le reconnaître. Voici donc un exemple de l'apparence d'un fichier robots.txt typique :

Le fichier lui-même offre beaucoup d'espace pour la personnalisation, comme autoriser/interdire des URL particulières ou ajouter plusieurs fichiers de sitemap . Donc, si vous avez une URL que vous ne voulez pas que les robots des moteurs de recherche explorent et classent, vous devez l'interdire via robots.txt. Voici un exemple d'autorisation/d'interdiction aux robots des moteurs de recherche d'explorer des URL particulières :

Enfin, nous ajoutons notre sitemap au mélange, rendant l'URL visible pour les robots des moteurs de recherche.

L'importance d'avoir un fichier robots.txt dans WordPress

La chose importante à comprendre est que même si vous n'avez pas de fichier robots.txt, les robots des moteurs de recherche continueront d'explorer vos pages . Cependant, ils les ramperont tous. Vous ne pourrez pas commander les pages qu'ils doivent et ne doivent pas explorer.

Pour les nouveaux sites Web WP, cela peut ne pas être trop gros ou un problème. Cependant, pour les sites dont le contenu est illimité, vous souhaiterez avoir un meilleur contrôle sur la manière dont il est exploré et indexé . Un fichier robots.txt fournit un moyen approprié de maintenir votre site Web WordPress et comment les robots des moteurs de recherche le voient.

Pourquoi est-ce si important, pour commencer ?

Chaque site Web a un quota de crawl - c'est ainsi que fonctionnent les robots des moteurs de recherche. Cela signifie que les robots exploreront votre site Web une page à la fois. S'ils ne parviennent pas à terminer l'exploration de toutes vos pages au cours d'une session, ils reprendront l'exploration la prochaine fois. Et c'est quelque chose qui peut ralentir considérablement l'indexation de votre site ( taux d'indexation ) .

Cependant, lorsque vous modifiez un fichier robots.txt dans WordPress pour interdire l'exploration de certaines pages , vous enregistrez votre quota d'exploration . Les pages les plus courantes et les plus inutiles que les utilisateurs de WP interdisent généralement incluent les pages d'administration, les plugins et les thèmes de WordPress. Une fois que vous avez éliminé ces pages, vous donnez aux robots plus de place pour indexer d'autres pages pertinentes sur votre site.

À quoi devrait ressembler le fichier robots.txt parfait dans WordPress ?

Les sites de blogs populaires optent pour un exemple simpliste du fichier robots.txt - une forme qui varie en fonction des besoins de ce site :

Cet exemple montre comment autoriser les bots à indexer tout le contenu, en lui donnant un lien vers le sitemap XML du site Web dans le processus.

Cependant, voici le formulaire recommandé pour les utilisateurs de sites Web WordPress comment modifier un fichier robots.txt dans WordPress :

Ici, vous pouvez clairement voir que les robots sont chargés d' indexer toutes les images et tous les fichiers WP . Cependant, il interdit également aux robots des moteurs de recherche d'indexer les éléments suivants :

• Fichiers du plug-in WP
• Zone d'administration WP
• Fichier Lisez-moi WP
• Liens affiliés

Les raisons pour lesquelles vous devriez ajouter un lien vers votre sitemap XML sont de permettre aux bots de trouver plus facilement toutes les pages de votre site.

Comment créer et modifier un fichier robots.txt dans WordPress

Comme tout WordPress, il existe des solutions polyvalentes pour chaque tâche. Ainsi, il existe en fait deux manières de créer un robots.txt dans WordPress :

Solution #1 : Utiliser Yoast SEO pour éditer un fichier robots.txt dans WordPress

Si vous utilisez le plugin Yoast SEO, vous avez de la chance ! Le plugin est livré avec un générateur de fichier robots.txt . Et vous pouvez utiliser ce générateur pour créer et modifier le fichier robots.txt directement à partir de votre tableau de bord de rôle d'administrateur.

Tout ce que vous avez à faire est d'aller sur la page SEO >> Outils en tant qu'administrateur . Une fois là-bas, cliquez sur le lien de l'éditeur de fichiers. La page vers laquelle il vous mène doit contenir le fichier robots.txt existant. Et dans le cas contraire, Yoast SEO générera un fichier pour vous. Certaines versions de Yoast SEO généreront un fichier par défaut sous la forme suivante :

Une fois que cela se produit, vous devez vous assurer de supprimer ce texte car il empêchera autrement tous les bots d'explorer votre site Web. Une fois que vous avez supprimé le texte par défaut, assurez-vous de saisir votre propre version du script robots.txt. Vous pouvez utiliser le modèle que nous avons partagé précédemment.

Une fois que vous avez terminé de modifier le fichier, il vous suffit de cliquer sur ' Enregistrer le fichier robots.txt ' et de stocker vos modifications.

Solution #2 : Utiliser FTP pour modifier manuellement un fichier robots.txt dans WordPress

Cette approche particulière nécessite l'utilisation d'un client FTP pour éditer le fichier. Donc, la première chose que vous voulez faire est d'utiliser un client FTP pour vous connecter à votre compte d'hébergement WordPress . Une fois là-bas, vous trouverez le fichier robots.txt dans le dossier racine de votre site Web.

Si vous ne parvenez pas à trouver un fichier robots.txt, votre site WP n'en a probablement pas. Si tel est le cas, vous pouvez continuer et en créer un. Étant donné que le fichier robots.txt est un fichier texte brut , vous pouvez simplement le télécharger puis le modifier dans n'importe quel éditeur simple tel que le Bloc-notes ou TextEdit . Une fois que vous avez modifié le fichier, vous pouvez simplement le télécharger dans le dossier racine de votre site Web.

Une fois que vous avez modifié un fichier robots.txt dans WordPress, assurez-vous de le tester

Le test est toujours la prochaine étape logique après l'édition. Et cela est particulièrement important dans les cas impliquant robots.txt, pour les raisons que nous avons mentionnées précédemment. Ne vous inquiétez pas - il existe des outils que vous pouvez utiliser pour tester cela. Celui que nous recommandons le plus est Google Search Console .

Créez un compte si vous n'en avez pas et, une fois connecté, passez à l'ancien site Web de la console de recherche Google . Une fois que vous avez l'ancienne interface devant vous, il vous faudra lancer le testeur robots.txt . L'outil se trouve sous le menu ' Crawl '. Cet outil extrait automatiquement le fichier robots.txt de votre site Web et met en évidence les erreurs qu'il trouve.

Dernières pensées

En conclusion, avoir un fichier robots.txt est un outil très important pour faire avancer la cause de vos stratégies de référencement. Par conséquent, apprendre à créer et à modifier un fichier robots.txt dans WordPress est définitivement un pas en avant . Pour toute question ou tutoriel supplémentaire concernant WordPress, visitez notre blog ou contactez-nous directement.