All In One WP Security a blocat Googlebot și s-a prăbușit indexarea organică și lista de verificare pentru depanarea roboților pe care am folosit-o pentru a recupera clasamente

La fel ca mulți proprietari de site-uri web, protejarea site-ului meu de traficul rău intenționat a fost o prioritate. Am vrut să-l protejez împotriva atacurilor cu forță brută, a spammerilor și a roboților răi. Din acest motiv, am instalat pluginulAll In One WP Security & Firewallpentru WordPress. Am avut încredere în el pentru a-mi proteja proprietatea online. Cu toate acestea, încercând să-mi securizez site-ul, am declanșat accidental un eșec SEO catastrofal - unul pe care nu l-am detectat imediat. Googlebot a fost blocat în tăcere, indexarea sa oprit la rece, iar traficul meu organic a scăzut.

TLDR: Dacă clasamentele și traficul organic dispar brusc și utilizați „All In One WP Security”, verificați imediat dacă Googlebot este blocat. Pluginurile de securitate pot identifica greșit roboții buni ca fiind rău intenționați și pot împiedica Google să acceseze cu crawlere conținutul dvs. Mi s-a întâmplat acest lucru și a fost nevoie de o listă de verificare detaliată de depanare axată pe robots.txt, antete HTTP, acces cu crawlere, stocare în cache și informații despre Search Console pentru a restabili totul. Odată corectate, clasamentele au început să revină în două săptămâni.

Ce a mers greșit: blocarea Googlebot cu un plugin de securitate WordPress

Pe parcursul a câteva zile, traficul meu organic a trecut de la sănătos și în creștere la aproape inexistent. Google Search Console a încetat să mai actualizeze multe statistici. Paginile accesate cu crawlere au căzut în mod misterios. Postările mele nu apăreau deloc în căutări – nici măcar pentru interogări de marcă.

La început, am bănuit o actualizare a algoritmului Google. Dar când am rulat Instrumentul de inspecție URL în Search Console, am fost lovit cu asta:

„Pagină neindexată: blocată din cauza accesului interzis (403)”

Mi-am dat seama repede că problema era tehnică. Adresele URL nu au fost marcate ca noindex, dar au primit 403 erori către Googlebot. Aceasta însemna că serverul meu, sau mai precis un plugin, respingea în mod activ accesările cu crawlere. E timpul să investighezi.

Urmărirea vinovatului: setările pentru firewall ale WP Security All In One

După ce am testat diferite componente, am identificat că o funcție din interiorul pluginului All In One WP Security filtra în mod agresiv boții, inclusiv Googlebot . Această restricție neintenționată a venit cel mai probabil dintr-una dintre următoarele setări:

• Setări pentru lista neagră/listă albă – Ar fi putut exclude intervale de IP întregi utilizate de crawlerele bot precum Googlebot.
• 404 Detectare și blocare – Încercările repetate de a sonda site-ul meu ar fi putut duce la blocări de bot.
• Reguli .htaccess personalizate – Unele reguli de firewall injectate direct în .htaccess ar putea bloca agenții utilizator cunoscuți.

Când am dezactivat complet pluginul, Googlebot a putut accesa din nou site-ul instantaneu. Asta mi-a oferit soluția pe termen scurt de care aveam nevoie, dar nu am vrut să-mi păstrez site-ul permanent neprotejat doar pentru a restabili indexarea. Aveam nevoie de o abordare chirurgicală – așa că am dezvoltat și urmat o listă de verificare a diagnosticului.

Lista de verificare a depanării roboților pentru a se recupera dintr-un bloc Googlebot

Iată setul exact de pași pe care i-am urmat pentru a audita și a recupera dintr-un bloc Googlebot la nivel de site, inclusiv modul în care mi-am reparat prezența de căutare:

1. Confirmați blocarea

• Utilizați Instrumentul de inspecție URL al Google Search Console pentru a testa atât pagina de pornire, cât și postările individuale de blog.
• Verificați erorile de accesare cu crawlere precum „Blocat de robots.txt”, „403 Interzis” sau „Blocat din cauza unei solicitări neautorizate”.
• Utilizați testerul robots.txt de la Google pentru a confirma că nu există linii eronate Disallow.

2. Verificați regulile .htaccess

• Faceți o copie de rezervă a fișierului actual .htaccess.
• Căutați blocuri cu modele precum Deny from sau RewriteCond %{HTTP_USER_AGENT} care menționează Googlebot.
• Căutați comentarii generate de plugin precum # AIOWPS_RULE pentru a identifica modificările aduse de pluginul de securitate.

3. Examinați toate setările pluginului de securitate

• Accesați All In One WP Security > Setări firewall și dezactivați temporar următoarele:
• Reguli pentru firewall 6G
• Blocare utilizator-agent
• Blocarea roboților de internet
• Goliți memoria cache a site-ului și reactivați alte setări sigure treptat după testarea accesului bot.

4. Testați folosind curl și Live Headers

Din linia de comandă sau Chrome Developer Tools:

curl -A „Mozilla/5.0 (compatibil; Googlebot/2.1; +http://www.google.com/bot.html)” -I https://example.com/

• Asigurați-vă că site-ul dvs. returnează o redirecționare 200 OK sau 301 și nuo eroare 403 sau 500.
• Verificați antetele HTTP pentru X-Robots-Tag - nu ar trebui să spună „noindex”.

5. Validați și trimiteți din nou adresele URL

• Odată revenit la ordine, accesați Search Console și solicitați indexarea paginilor cheie și a paginii dvs. de pornire.
• Verificați dacă rapoartele de acoperire încep să se actualizeze în 2-3 zile - dacă o fac, vă întoarceți în afaceri.

Cât a durat recuperarea?

După eliminarea regulilor firewall-ului de blocare a botului și după ce am confirmat o cale de accesare clară, am văzut îmbunătățiri inițiale în 72 de ore. Cache-ul Google a fost actualizat, inspecția a arătat din nou „Pagină indexată”, iar statisticile de accesare cu crawlere au reluat progresul în GSC.

Cu toate acestea, clasamentele au durat mai mult - în jur de 10 până la 14 zile pentru a se stabiliza. Unele cuvinte cheie competitive au avut nevoie de 3 săptămâni pentru a reveni la pozițiile lor anterioare. Am folosit instrumente precum Ahrefs și SERanking pentru a monitoriza revenirea lentă.

Configurare finală revizuită: securitate și armonie SEO

Pentru a evita acest incident din nou, am făcut următoarele modificări permanente:

• S-au înlocuit regulile prea agresive cu un firewall bine verificat, care include permisiuni verificate pentru bot, cum ar fi Cloudflare.
• Agenți utilizatori cunoscuți pe lista albă din motoarele de căutare direct în .htaccess folosind expresia regex.
• A activat un plugin de jurnal de audit pentru a urmări modificările setărilor pluginului și rapoartele de stare HTTP către roboți.

Lecții învățate: Când securitatea se întoarce împotriva SEO

Această experiență a fost un semnal de alarmă. Un plugin de securitate menit să-mi apere site-ul aproape a distrus luni de efort SEO. Natura ascunsă a blocului a făcut să fie mai greu de identificat - nu existau notificări clare despre plugin, iar Google era respins în tăcere.

Dacă sunteți utilizator WordPress, testați întotdeauna orice modificări de firewall sau anti-bot folosind mai multe instrumente manuale. Încercați să utilizați instrumentele de randare Google, analizoarele de antet HTTP și curl pentru fiecare actualizare majoră. Și rețineți: a fi supraprotector cu filtrarea botului poate face mai mult rău decât bine, dacă nu este bine direcționat și măsurat.

Din fericire, algoritmii Google sunt relativ îngăduitori - odată ce accesul este restabilit, clasamentele pot reveni în timp. Dar rămânerea vigilentă atât cusetările de securitate, cât șicu diagnosticarea accesării cu crawleretrebuie acum să facă parte din fluxul de lucru lunar al fiecărui proprietar de site.