All In One WP Security ha bloccato Googlebot e ha bloccato l'indicizzazione organica e l'elenco di controllo di debug dei robot che ho utilizzato per recuperare le classifiche

Come molti proprietari di siti web, proteggere il mio sito dal traffico dannoso era una priorità assoluta. Volevo proteggerlo da attacchi di forza bruta, spammer e bot dannosi. Per questo motivo ho installato il pluginAll In One WP Security & Firewallper WordPress. Mi sono fidato di lui per proteggere la mia proprietà online. Tuttavia, nel tentativo di proteggere il mio sito web, ho accidentalmente innescato un catastrofico errore SEO, che non ho rilevato immediatamente. Googlebot è stato bloccato silenziosamente, l'indicizzazione si è interrotta e il mio traffico organico è crollato.

TLDR: Se le tue classifiche e il tuo traffico organico svaniscono improvvisamente e stai utilizzando “All In One WP Security”, controlla immediatamente se Googlebot è bloccato. I plug-in di sicurezza possono identificare erroneamente i bot validi come dannosi e impedire a Google di eseguire la scansione dei tuoi contenuti. Questo è successo a me ed è stata necessaria una lista di controllo di debug dettagliata incentrata su robots.txt, intestazioni HTTP, accesso per scansione, memorizzazione nella cache e approfondimenti di Search Console per ripristinare tutto. Una volta corrette, le classifiche iniziarono a tornare entro due settimane.

Cosa è andato storto: bloccare Googlebot con un plug-in di sicurezza WordPress

Nel corso di pochi giorni, il mio traffico organico è passato da sano e in crescita a quasi inesistente. Google Search Console ha smesso di aggiornare molte statistiche. Le pagine scansionate cadevano misteriosamente. I miei post non apparivano affatto nelle ricerche, nemmeno per le query brandizzate.

All'inizio sospettavo un aggiornamento dell'algoritmo di Google. Ma quando ho eseguito lo strumento Controllo URL in Search Console, sono rimasto colpito da questo:

“Pagina non indicizzata: bloccata per accesso vietato (403)”

Ho subito capito che il problema era tecnico. Gli URL non erano contrassegnati come noindex, ma venivano visualizzati errori 403 a Googlebot. Ciò significava che il mio server, o più specificamente un plug-in, rifiutava attivamente le scansioni. È tempo di indagare.

Rintracciare il colpevole: le impostazioni del firewall di All In One WP Security

Dopo aver testato diversi componenti, ho identificato che una funzionalità all'interno del plug-in All In One WP Security filtrava in modo aggressivo i bot, incluso Googlebot . Questa restrizione involontaria molto probabilmente deriva da una delle seguenti impostazioni:

• Impostazioni blacklist/whitelist : avrebbero potuto escludere interi intervalli IP utilizzati dai bot crawler come Googlebot.
• Rilevamento e blocco 404 : ripetuti tentativi di sondare il mio sito potrebbero aver comportato il blocco dei bot.
• Regole .htaccess personalizzate : alcune regole firewall inserite direttamente in .htaccess potrebbero bloccare gli user-agent conosciuti.

Quando ho disabilitato completamente il plug-in, Googlebot è riuscito ad accedere nuovamente al sito immediatamente. Ciò mi ha fornito la soluzione a breve termine di cui avevo bisogno, ma non volevo mantenere il mio sito permanentemente non protetto solo per ripristinare l'indicizzazione. Avevo bisogno di un approccio chirurgico, quindi ho sviluppato e seguito una lista di controllo diagnostico.

Elenco di controllo per il debug dei robot per il ripristino da un blocco Googlebot

Ecco la serie esatta di passaggi che ho seguito per verificare e ripristinare dopo un blocco di Googlebot a livello di sito, incluso il modo in cui ho riparato la mia presenza nei risultati di ricerca:

1. Conferma il blocco

• Utilizza lo strumento di controllo URL di Google Search Console per testare sia la home page che i singoli post del blog.
• Controlla eventuali errori di scansione come "Bloccato da robots.txt", "403 Proibito" o "Bloccato a causa di richiesta non autorizzata".
• Utilizza il Tester robots.txt di Google per verificare che non vi siano righe Disallow errate.

2. Controlla le regole .htaccess

• Esegui il backup del tuo file .htaccess corrente.
• Cerca blocchi con pattern come Deny from o RewriteCond %{HTTP_USER_AGENT} che menzionano Googlebot.
• Cerca commenti generati dal plug-in come # AIOWPS_RULE per identificare le modifiche apportate dal plug-in di sicurezza.

3. Rivedi tutte le impostazioni del plug-in di sicurezza

• Vai su All In One WP Security > Impostazioni firewall e disabilita temporaneamente quanto segue:
• Regole del firewall 6G
• Blocco dello user-agent
• Blocco dei bot Internet
• Svuota la cache del sito e riattiva le altre impostazioni sicure in modo incrementale dopo aver testato l'accesso al bot.

4. Prova utilizzando curl e intestazioni attive

Dalla riga di comando o dagli Strumenti per sviluppatori di Chrome:

curl -A "Mozilla/5.0 (compatibile; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://example.com/

• Assicurati che il tuo sito restituisca un reindirizzamento 200 OK o 301 e nonun errore 403 o 500.
• Controlla le intestazioni HTTP per X-Robots-Tag : non dovrebbe dire "noindex".

5. Convalida e invia nuovamente gli URL

• Una volta tornato in ordine, vai su Search Console e richiedi l'indicizzazione delle pagine chiave e della tua home page.
• Controlla se i report sulla copertura iniziano ad aggiornarsi entro 2-3 giorni: in tal caso, sei di nuovo operativo.

Quanto tempo è durato il recupero?

Dopo aver rimosso le regole del firewall che bloccano i bot e aver confermato un percorso di scansione chiaro, ho notato i primi miglioramenti entro 72 ore. La cache di Google è stata aggiornata, l'ispezione ha mostrato nuovamente "Pagina indicizzata" e le statistiche di scansione hanno ripreso la progressione in GSC.

Le classifiche, tuttavia, hanno richiesto più tempo: circa 10-14 giorni per stabilizzarsi. Alcune parole chiave competitive hanno impiegato ben 3 settimane per tornare alle posizioni precedenti. Ho utilizzato strumenti come Ahrefs e SERanking per monitorare il lento rendimento.

Configurazione finale rivista: sicurezza e armonia SEO

Per evitare nuovamente questo incidente, ho apportato le seguenti modifiche permanenti:

• Sostituite le regole troppo aggressive con un firewall ben controllato che include autorizzazioni di bot verificati come Cloudflare.
• Agenti utente conosciuti inseriti nella whitelist dai motori di ricerca direttamente in .htaccess utilizzando regex.
• Abilitato un plug-in del registro di controllo per tenere traccia delle modifiche alle impostazioni del plug-in e dei rapporti sullo stato HTTP ai bot.

Lezioni apprese: quando la sicurezza si rivolta contro la SEO

Questa esperienza è stata un campanello d'allarme. Un plugin di sicurezza pensato per difendere il mio sito ha quasi distrutto mesi di sforzi SEO. La natura nascosta del blocco rendeva più difficile l’identificazione: non c’erano notifiche chiare sui plugin e Google veniva silenziosamente allontanato.

Se sei un utente WordPress, testa sempre eventuali modifiche al firewall o agli anti-bot utilizzando più strumenti manuali. Prova a utilizzare gli strumenti di rendering di Google, gli analizzatori di intestazioni HTTP e curl per ogni aggiornamento importante. E ricorda: essere iperprotettivi con il filtraggio dei bot può causare più danni che benefici, a meno che non sia ben mirato e misurato.

Per fortuna, gli algoritmi di Google sono relativamente indulgenti: una volta ripristinato l'accesso, le classifiche potrebbero tornare nel tempo. Ma restare vigili siasulle impostazioni di sicurezzachesulla diagnostica della scansionedeve ora far parte del flusso di lavoro mensile di ogni proprietario di sito.