Como editar um arquivo Robots.txt no WordPress

Esta semana, abordamos mais uma pergunta que os usuários iniciantes do WP têm – como editar um arquivo robots.txt no WordPress. A razão por trás disso é bastante simples – beneficia seus esforços de SEO . Um arquivo robots.txt é uma ferramenta incrivelmente poderosa em SEO porque funciona como um guia de sites para robôs de rastreamento de mecanismos de pesquisa . É por isso que os especialistas do WordPress reconhecem sua importância e a melhor forma de implementá-lo na otimização de seu site. Aqui nós nosso passo a passo sobre todo o tópico .

Começamos com uma definição mais detalhada do arquivo robots.txt

Os bots de mecanismos de pesquisa precisam de instruções sobre como rastrear e indexar as páginas internas do seu site . É aí que os arquivos robots.txt entram em ação. Esse arquivo apresenta a estrutura de suas páginas, tornando-as fáceis de ler e avaliar pelos robôs dos mecanismos de pesquisa.

Normalmente, você pode encontrar o arquivo robots.txt armazenado no diretório raiz. Esse diretório também é conhecido por ser a pasta principal de todo o seu site . Antes de entrarmos em como editar um arquivo robots.txt no WordPress, primeiro precisamos aprender a reconhecê-lo. Então, aqui está um exemplo de como um arquivo robots.txt típico se parece:

O arquivo em si oferece muito espaço para personalização, como permitir/não permitir URLs específicos ou adicionar vários arquivos de mapa do site . Portanto, se você tiver um URL que não deseja que os bots dos mecanismos de pesquisa rastreiem e classifiquem, será necessário desativá-lo por meio do robots.txt. Aqui está um exemplo de como permitir/não permitir que bots de mecanismos de pesquisa rastreiem URLs específicos:

Por fim, adicionamos nosso mapa do site à mistura, tornando a URL visível para os robôs dos mecanismos de pesquisa.

A importância de ter um arquivo robots.txt no WordPress

O importante é entender que, mesmo que você não tenha um arquivo robots.txt, os bots dos mecanismos de pesquisa ainda rastrearão suas páginas . No entanto, eles vão rastrear todos eles. Você não poderá ordenar quais páginas eles devem ou não rastrear.

Para novos sites WP, isso pode não ser muito grande ou um problema. No entanto, para aqueles sites com conteúdo infinito, você desejará ter melhor controle sobre como ele é rastreado e indexado . Um arquivo robots.txt fornece uma maneira adequada de manter seu site WordPress e como os bots dos mecanismos de pesquisa o veem.

Por que isso é tão importante, para começar?

Cada site tem uma cota de rastreamento – é assim que os bots de mecanismos de pesquisa funcionam. Isso significa que os bots rastrearão seu site uma página de cada vez. Se eles não conseguirem terminar de rastrear todas as suas páginas durante uma sessão, eles retomarão o rastreamento na próxima vez. E isso é algo que pode diminuir significativamente a indexação do seu site ( taxa de indexação ) .

No entanto, ao editar um arquivo robots.txt no WordPress para impedir o rastreamento de determinadas páginas , você salva sua cota de rastreamento . As páginas mais comuns e desnecessárias que os usuários do WP geralmente não permitem incluem páginas de administração, plugins e temas do WordPress. Depois de eliminar essas páginas, você dá aos rastreadores mais espaço para indexar outras páginas relevantes em seu site.

Como deve ser o arquivo robots.txt perfeito no WordPress?

Sites de blog populares optam por um exemplo simplista do arquivo robots.txt – um formato que varia de acordo com as necessidades desse site:

Este exemplo mostra como permitir que os bots indexem todo o conteúdo, fornecendo um link para o mapa do site XML do site no processo.

No entanto, este é o formulário recomendado para usuários do site WordPress como editar um arquivo robots.txt no WordPress :

Aqui, você pode ver claramente que os bots são instruídos a indexar todas as imagens e arquivos do WP . No entanto, também impede que os bots de mecanismos de pesquisa indexem o seguinte:

• Arquivos de plug-in WP
• Área de administração do WP
• arquivo leia-me WP
• Links de afiliados

Os motivos pelos quais você deve adicionar um link ao seu mapa do site XML são para tornar mais fácil para os bots encontrarem todas as páginas do seu site.

Como criar e editar um arquivo robots.txt no WordPress

Como todo WordPress, existem soluções versáteis para cada tarefa. Portanto, existem de fato duas maneiras de criar um robots.txt no WordPress:

Solução #1: Usando Yoast SEO para editar um arquivo robots.txt no WordPress

Se você estiver usando o plugin Yoast SEO, você está com sorte! O plugin vem com um gerador de arquivos robots.txt . E você pode usar esse gerador para criar e editar o arquivo robots.txt diretamente do painel da função de administrador.

Tudo o que você precisa fazer é acessar a página SEO >> Ferramentas como Admin . Uma vez lá, clique no link Editor de arquivo. A página para a qual ele leva você deve conter o arquivo robots.txt existente. E caso isso não aconteça, o Yoast SEO irá gerar um arquivo para você. Algumas versões do Yoast SEO irão gerar um arquivo padrão no seguinte formato:

Quando isso acontecer, certifique-se de excluir este texto porque, caso contrário, impedirá que todos os bots rastreiem seu site. Depois de remover o texto padrão, certifique-se de inserir sua própria versão do script robots.txt. Você pode usar o modelo que compartilhamos anteriormente.

Depois de concluir a edição do arquivo, basta clicar em ' Salvar arquivo robots.txt ' e armazenar suas alterações.

Solução #2: Usando FTP para editar manualmente um arquivo robots.txt no WordPress

Essa abordagem específica exige o uso de um cliente FTP para editar o arquivo. Então, a primeira coisa que você quer fazer é usar um cliente FTP para se conectar à sua conta de hospedagem WordPress . Uma vez lá, você encontrará o arquivo robots.txt na pasta raiz do seu site.

Se você não conseguir encontrar um arquivo robots.txt, seu site WP provavelmente não tem um. Se este for o caso, você pode ir em frente e criar um. Dado que o arquivo robots.txt é um arquivo de texto simples , você pode simplesmente baixá-lo e editá-lo em qualquer editor simples, como o Bloco de Notas ou o TextEdit . Depois de editar o arquivo, você pode simplesmente carregá-lo de volta para a pasta raiz do seu site.

Depois de editar um arquivo robots.txt no WordPress, certifique-se de testá-lo

O teste é sempre o próximo passo lógico após a edição. E isso é particularmente importante em casos que envolvem robots.txt, por motivos que mencionamos anteriormente. Não se preocupe – existem ferramentas que você pode usar para testar isso. O que mais recomendamos é o Google Search Console .

Crie uma conta se você não tiver uma e, uma vez conectado, mude para o antigo site do console de pesquisa do Google . Depois de ter a interface antiga à sua frente, você precisará iniciar o testador de robots.txt . A ferramenta está localizada no menu ' Rastrear '. Essa ferramenta puxará automaticamente o arquivo robots.txt do seu site e destacará os erros encontrados.

Pensamentos finais

Em conclusão, ter um arquivo robots.txt é uma ferramenta muito importante para promover a causa de suas estratégias de SEO. Portanto, aprender a criar e editar um arquivo robots.txt no WordPress é definitivamente um passo à frente . Para quaisquer dúvidas ou tutoriais adicionais sobre WordPress, visite nosso blog ou entre em contato conosco diretamente.