Come modificare un file Robots.txt in WordPress

Questa settimana affrontiamo un'altra domanda che gli utenti principianti di WP hanno: come modificare un file robots.txt in WordPress. Il motivo alla base di questo è abbastanza semplice: avvantaggia i tuoi sforzi SEO . Un file robots.txt è uno strumento incredibilmente potente in SEO perché funziona come guida del sito Web per i bot di ricerca per indicizzazione dei motori di ricerca . Ecco perché gli esperti di WordPress ne riconoscono l'importanza e il modo migliore per implementarla nell'ottimizzazione del loro sito. Eccoci qui il nostro passo dopo passo sull'intero argomento .

Iniziamo con una definizione più dettagliata del file robots.txt

I bot dei motori di ricerca hanno bisogno di istruzioni su come eseguire la scansione e indicizzare le pagine interne del tuo sito . È qui che entrano in gioco i file robots.txt. Questo file delinea la struttura delle tue pagine, rendendole facili da leggere e da valutare dai bot dei motori di ricerca.

Di solito puoi trovare il file robots.txt archiviato nella directory principale. Questa directory è anche nota per essere la cartella principale dell'intero sito web . Prima di iniziare a modificare un file robots.txt in WordPress, dobbiamo prima imparare a riconoscerlo. Quindi, ecco un esempio di come appare un tipico file robots.txt:

Il file stesso offre molto spazio per la personalizzazione, ad esempio consentire/non consentire URL particolari o aggiungere più file Sitemap . Quindi, se disponi di un URL di cui non desideri che i robot dei motori di ricerca eseguano la scansione e il ranking, devi disabilitarlo tramite robots.txt. Ecco un esempio di come consentire/non consentire ai bot dei motori di ricerca di eseguire la scansione di determinati URL:

Infine, aggiungiamo la nostra mappa del sito al mix, rendendo l'URL visibile ai robot dei motori di ricerca.

L'importanza di avere un file robots.txt in WordPress

La cosa importante da capire è che anche se non hai un file robots.txt, i bot dei motori di ricerca eseguiranno comunque la scansione delle tue pagine . Tuttavia, li esploreranno tutti. Non sarai in grado di ordinare quali pagine dovrebbero e non dovrebbero scansionare.

Per i nuovi siti Web WP, questo potrebbe non rappresentare un problema o troppo grande. Tuttavia, per quei siti con contenuti infiniti, vorrai avere un controllo migliore su come viene scansionato e indicizzato . Un file robots.txt fornisce un modo corretto per mantenere il tuo sito Web WordPress e come lo vedono i bot dei motori di ricerca.

Perché è così importante, tanto per cominciare?

Ogni sito web ha una quota di scansione : ecco come funzionano i robot dei motori di ricerca. Ciò significa che i robot eseguiranno la scansione del tuo sito Web una pagina alla volta. Se non riescono a completare la scansione di tutte le tue pagine durante una sessione, riprenderanno la scansione la volta successiva. E questo è qualcosa che può rallentare notevolmente l'indicizzazione del tuo sito ( tasso di indicizzazione ) .

Tuttavia, quando modifichi un file robots.txt in WordPress per impedire la scansione di determinate pagine , salvi la tua quota di scansione . Le pagine più comuni e non necessarie che gli utenti di WP di solito non consentono includono pagine di amministrazione, plug-in e temi di WordPress. Una volta eliminate queste pagine, dai ai crawler più spazio per indicizzare altre pagine pertinenti sul tuo sito.

Come dovrebbe essere il file robots.txt perfetto in WordPress?

I siti di blog popolari optano per un esempio semplicistico del file robots.txt , un modulo che varia a seconda delle esigenze di quel sito:

Questo esempio mostra come consentire ai bot di indicizzare tutto il contenuto, fornendo un collegamento alla mappa del sito XML del sito Web nel processo.

Tuttavia, questo è il modulo consigliato per gli utenti di siti Web WordPress su come modificare un file robots.txt in WordPress :

Qui puoi vedere chiaramente che ai bot viene richiesto di indicizzare tutte le immagini e i file WP . Tuttavia, impedisce anche ai bot dei motori di ricerca di indicizzare quanto segue:

• File plug-in WP
• Area di amministrazione del WP
• File Leggimi WP
• Link di affiliazione

Il motivo per cui dovresti aggiungere un collegamento alla tua mappa del sito XML è rendere più facile per i bot trovare tutte le pagine del tuo sito.

Come creare e modificare un file robots.txt in WordPress

Come tutto WordPress, ci sono soluzioni versatili per ogni attività. Quindi, ci sono in effetti due modi per creare un robots.txt in WordPress:

Soluzione n. 1: utilizzare Yoast SEO per modificare un file robots.txt in WordPress

Se stai usando il plugin Yoast SEO, sei fortunato! Il plugin viene fornito con un generatore di file robots.txt . E puoi utilizzare questo generatore per creare e modificare il file robots.txt direttamente dalla dashboard del tuo ruolo di amministratore.

Tutto quello che devi fare è andare alla pagina SEO >> Strumenti come amministratore . Una volta lì, fai clic sul collegamento Editor di file. La pagina a cui ti porta dovrebbe contenere il file robots.txt esistente. E in caso contrario, Yoast SEO genererà un file per te. Alcune versioni di Yoast SEO genereranno un file predefinito nella forma seguente:

Una volta che ciò accade, dovresti assicurarti di eliminare questo testo perché altrimenti bloccherà a tutti i bot la scansione del tuo sito web. Dopo aver rimosso il testo predefinito, assicurati di inserire la tua versione dello script robots.txt. Puoi utilizzare il modello che abbiamo condiviso in precedenza.

Una volta completata la modifica del file, è sufficiente fare clic su " Salva file robots.txt " e memorizzare le modifiche.

Soluzione n. 2: utilizzare FTP per modificare manualmente un file robots.txt in WordPress

Questo particolare approccio richiede l'uso di un client FTP per modificare il file. Quindi, la prima cosa che vuoi fare è utilizzare un client FTP per connetterti al tuo account di hosting WordPress . Una volta lì, troverai il file robots.txt nella cartella principale del tuo sito web.

Se non riesci a trovare un file robots.txt, molto probabilmente il tuo sito WP non ne ha uno. Se questo è il caso, puoi andare avanti e crearne uno. Dato che il file robots.txt è un file di testo normale , puoi semplicemente scaricarlo e quindi modificarlo in qualsiasi editor semplice come Blocco note o TextEdit . Una volta modificato il file, puoi semplicemente caricarlo di nuovo nella cartella principale del tuo sito web.

Dopo aver modificato un file robots.txt in WordPress, assicurati di testarlo

Il test è sempre il passaggio logico successivo alla modifica. E questo è particolarmente importante nei casi che coinvolgono robots.txt, per i motivi che abbiamo menzionato in precedenza. Non preoccuparti: ci sono strumenti che puoi utilizzare per testarlo. Quello che consigliamo di più è Google Search Console .

Crea un account se non ne hai uno e, una volta effettuato l'accesso, passa al vecchio sito Web della console di ricerca di Google . Una volta che hai la vecchia interfaccia di fronte a te, dovrai avviare il tester robots.txt . Lo strumento si trova nel menu " Scansione ". Questo strumento estrarrà automaticamente il file robots.txt del tuo sito web ed evidenzierà gli eventuali errori rilevati.

Pensieri finali

In conclusione, avere un file robots.txt è uno strumento molto importante per promuovere la causa delle tue strategie SEO. Quindi, imparare a creare e modificare un file robots.txt in WordPress è sicuramente un passo avanti . Per ulteriori domande o tutorial su WordPress, visita il nostro blog o contattaci direttamente.