Cómo editar un archivo Robots.txt en WordPress

Esta semana, abordamos otra consulta que tienen los usuarios principiantes de WP: cómo editar un archivo robots.txt en WordPress. La razón detrás de esto es bastante simple: beneficia sus esfuerzos de SEO . Un archivo robots.txt es una herramienta increíblemente poderosa en SEO porque funciona como una guía de sitio web para los robots de rastreo de motores de búsqueda . Es por eso que los expertos de WordPress reconocen su importancia y la mejor manera de implementarlo en la optimización de su sitio. Aquí tenemos nuestra versión paso a paso de todo el tema .

Comenzamos con una definición más detallada del archivo robots.txt

Los robots de los motores de búsqueda necesitan instrucciones sobre cómo rastrear e indexar las páginas internas de su sitio . Ahí es donde entran en juego los archivos robots.txt. Este archivo presenta la estructura de sus páginas, haciéndolas fáciles de leer y calificar por los robots de los motores de búsqueda.

Por lo general, puede encontrar el archivo robots.txt almacenado en el directorio raíz. Este directorio también es conocido por ser la carpeta principal de todo su sitio web . Antes de entrar en cómo editar un archivo robots.txt en WordPress, primero debemos aprender a reconocerlo. Entonces, aquí hay un ejemplo de cómo se ve un archivo robots.txt típico:

El archivo en sí ofrece mucho espacio para la personalización, como permitir/no permitir determinadas URL o agregar varios archivos de mapa del sitio. Por lo tanto, si tiene una URL que no desea que los robots de los motores de búsqueda rastreen y clasifiquen, debe rechazarla a través de robots.txt. Aquí hay un ejemplo de permitir/no permitir que los robots de los motores de búsqueda rastreen URL particulares:

Por último, agregamos nuestro mapa del sitio a la mezcla, haciendo que la URL sea visible para los robots de los motores de búsqueda.

La importancia de tener un archivo robots.txt en WordPress

Lo importante que debe entender es que incluso si no tiene un archivo robots.txt, los robots de los motores de búsqueda seguirán rastreando sus páginas . Sin embargo, los rastrearán todos. No podrá ordenar qué páginas deben y no deben rastrearse.

Para los sitios web nuevos de WP, esto podría no presentar un problema demasiado grande o. Sin embargo, para aquellos sitios con contenido interminable, querrá tener un mejor control sobre cómo se rastrea e indexa . Un archivo robots.txt proporciona una forma adecuada de mantener su sitio web de WordPress y cómo lo ven los robots de los motores de búsqueda.

¿Por qué es esto tan importante, para empezar?

Cada sitio web tiene una cuota de rastreo : así es como funcionan los bots de los motores de búsqueda. Eso significa que los bots rastrearán su sitio web una página a la vez. Si no logran terminar de rastrear todas sus páginas durante una sesión, continuarán rastreando la próxima vez. Y esto es algo que puede ralentizar significativamente la indexación de su sitio ( tasa de indexación ) .

Sin embargo, cuando edita un archivo robots.txt en WordPress para prohibir el rastreo de ciertas páginas , guarda su cuota de rastreo . Las páginas más comunes e innecesarias que los usuarios de WP generalmente no permiten incluyen páginas de administración, complementos y temas de WordPress. Una vez que elimina estas páginas, les da a los rastreadores más espacio para indexar otras páginas relevantes en su sitio.

¿Cómo debería ser el archivo robots.txt perfecto en WordPress?

Los sitios de blogs populares optan por un ejemplo simplista del archivo robots.txt , una forma que varía según las necesidades de ese sitio:

Este ejemplo muestra cómo permitir que los bots indexen todo el contenido, dándole un enlace al mapa del sitio XML del sitio web en el proceso.

Sin embargo, esta es la forma recomendada para los usuarios del sitio web de WordPress sobre cómo editar un archivo robots.txt en WordPress :

Aquí, puede ver claramente que a los bots se les indica que indexen todas las imágenes y archivos de WP . Sin embargo, también impide que los robots de los motores de búsqueda indexen lo siguiente:

• Archivos de complemento WP
• Área de administración de WP
• Archivo Léame de WP
• enlaces de afiliados

Las razones por las que debe agregar un enlace a su mapa del sitio XML es para que sea más fácil para los bots encontrar todas las páginas de su sitio.

Cómo crear y editar un archivo robots.txt en WordPress

Como todo WordPress, existen soluciones versátiles para cada tarea. Entonces, de hecho, hay dos formas de crear un archivo robots.txt en WordPress:

Solución #1: Usar Yoast SEO para editar un archivo robots.txt en WordPress

Si está utilizando el complemento Yoast SEO, ¡está de suerte! El complemento viene con un generador de archivos robots.txt . Y puede usar este generador para crear y editar el archivo robots.txt directamente desde su panel de funciones de administrador.

Todo lo que tiene que hacer es ir a la página SEO >> Herramientas como administrador . Una vez allí, haga clic en el enlace Editor de archivos. La página a la que lo lleva debe contener el archivo robots.txt existente. Y en caso de que no sea así, Yoast SEO generará un archivo para ti. Algunas versiones de Yoast SEO generarán un archivo predeterminado de la siguiente forma:

Una vez que esto suceda, debe asegurarse de eliminar este texto porque, de lo contrario, impedirá que todos los bots rastreen su sitio web. Una vez que elimine el texto predeterminado, asegúrese de ingresar su propia versión del script robots.txt. Puede usar la plantilla que compartimos anteriormente.

Una vez que termine de editar el archivo, simplemente debe hacer clic en ' Guardar archivo robots.txt ' y almacenar sus cambios.

Solución #2: Usar FTP para editar manualmente un archivo robots.txt en WordPress

Este enfoque particular exige el uso de un cliente FTP para editar el archivo. Entonces, lo primero que debe hacer es usar un cliente FTP para conectarse a su cuenta de alojamiento de WordPress . Una vez allí, encontrarás el archivo robots.txt en la carpeta raíz de tu sitio web.

Si no puede encontrar un archivo robots.txt, lo más probable es que su sitio WP no tenga uno. Si este es el caso, puede continuar y crear uno. Dado que el archivo robots.txt es un archivo de texto sin formato , simplemente puede descargarlo y luego editarlo en cualquier editor sin formato, como el Bloc de notas o TextEdit . Una vez que edite el archivo, simplemente puede volver a cargarlo en la carpeta raíz de su sitio web.

Una vez que edite un archivo robots.txt en WordPress, asegúrese de probarlo

La prueba es siempre el siguiente paso lógico después de la edición. Y esto es particularmente importante en los casos que involucran robots.txt, por las razones que mencionamos anteriormente. No se preocupe, hay herramientas que puede usar para probar esto. La que más recomendamos es Google Search Console .

Cree una cuenta si no tiene una y, una vez que haya iniciado sesión, cambie al antiguo sitio web de la consola de búsqueda de Google . Una vez que tenga la interfaz anterior frente a usted, deberá iniciar el probador de robots.txt . La herramienta se encuentra en el menú ' Rastrear '. Esta herramienta extraerá automáticamente el archivo robots.txt de su sitio web y resaltará cualquier error que encuentre.

Pensamientos finales

En conclusión, tener un archivo robots.txt es una herramienta muy importante para promover la causa de sus estrategias de SEO. Por lo tanto, aprender a crear y editar un archivo robots.txt en WordPress es definitivamente un paso adelante . Para cualquier pregunta adicional o tutoriales sobre WordPress, visite nuestro blog o contáctenos directamente.