Keamanan WP All In One Memblokir Googlebot dan Menghancurkan Pengindeksan Organik serta Daftar Periksa Debugging Robot yang Saya Gunakan untuk Memulihkan Peringkat

Seperti banyak pemilik situs web, melindungi situs saya dari lalu lintas berbahaya adalah prioritas utama. Saya ingin mengamankannya dari serangan brute force, spammer, dan bot jahat. Oleh karena itu, saya menginstal pluginAll In One WP Security & Firewalluntuk WordPress. Saya memercayainya untuk melindungi properti online saya. Namun, saat mencoba mengamankan situs web saya, saya secara tidak sengaja memicu kegagalan SEO yang sangat besar — ​​kegagalan yang tidak segera saya deteksi. Googlebot diblokir secara diam-diam, pengindeksan terhenti, dan lalu lintas organik saya anjlok.

TLDR: Jika peringkat dan lalu lintas organik Anda tiba-tiba hilang dan Anda menggunakan “Keamanan WP All In One”, segera periksa apakah Googlebot diblokir. Plugin keamanan dapat salah mengidentifikasi bot baik sebagai bot berbahaya dan mencegah Google meng-crawl konten Anda. Hal ini terjadi pada saya, dan diperlukan daftar periksa debug mendetail yang berfokus pada robots.txt, header HTTP, akses perayapan, caching, dan wawasan Search Console untuk memulihkan semuanya. Setelah diperbaiki, peringkat mulai kembali dalam waktu dua minggu.

Apa yang Salah: Memblokir Googlebot dengan Plugin Keamanan WordPress

Selama beberapa hari, lalu lintas organik saya berubah dari sehat dan berkembang menjadi hampir tidak ada. Google Search Console berhenti memperbarui banyak statistik. Halaman yang dirayapi terjatuh secara misterius. Postingan saya tidak muncul dalam penelusuran sama sekali — bahkan untuk kueri bermerek.

Awalnya saya curiga ada pembaruan algoritma Google. Namun ketika saya menjalankan Alat Inspeksi URL di Search Console, saya mendapatkan ini:

“Halaman tidak diindeks: diblokir karena akses dilarang (403)”

Saya segera menyadari bahwa masalahnya bersifat teknis. URL tidak ditandai sebagai noindex, namun disajikan kesalahan 403 ke Googlebot. Ini berarti server saya, atau lebih khusus lagi sebuah plugin, secara aktif menolak perayapan. Saatnya untuk menyelidiki.

Menelusuri Pelakunya: Pengaturan Firewall Keamanan WP Semua Dalam Satu

Setelah menguji berbagai komponen, saya mengidentifikasi bahwa fitur di dalam plugin All In One WP Security secara agresif memfilter bot, termasuk Googlebot . Pembatasan yang tidak disengaja ini kemungkinan besar berasal dari salah satu setelan berikut:

• Setelan Daftar Hitam/Daftar Putih – Dapat mengesampingkan seluruh rentang IP yang digunakan oleh perayap bot seperti Googlebot.
• Deteksi dan Penguncian 404 – Upaya berulang kali untuk menyelidiki situs saya mungkin mengakibatkan penguncian bot.
• Aturan .htaccess khusus – Beberapa aturan firewall yang dimasukkan langsung ke .htaccess dapat memblokir agen pengguna yang dikenal.

Saat saya menonaktifkan plugin sepenuhnya, Googlebot dapat langsung mengakses situs tersebut kembali. Itu memberi saya solusi jangka pendek yang saya perlukan, namun saya tidak ingin situs saya tidak terlindungi secara permanen hanya untuk memulihkan pengindeksan. Saya memerlukan pendekatan bedah – jadi saya mengembangkan dan mengikuti daftar periksa diagnostik.

Daftar Periksa Debugging Robot untuk Memulihkan dari Blok Googlebot

Berikut adalah serangkaian langkah yang saya ikuti untuk mengaudit dan memulihkan blok Googlebot di seluruh situs, termasuk cara saya memperbaiki keberadaan penelusuran saya:

1. Konfirmasikan Pemblokiran

• Gunakan Alat Inspeksi URL Google Search Console untuk menguji beranda dan postingan blog individual.
• Periksa kesalahan perayapan seperti “Diblokir oleh robots.txt”, “403 Dilarang”, atau “Diblokir karena permintaan tidak sah”.
• Gunakan Penguji robots.txt Google untuk memastikan tidak ada baris Larang yang salah.

2. Periksa Aturan .htaccess

• Cadangkan file .htaccess Anda saat ini.
• Telusuri blok dengan pola seperti Deny from atau RewriteCond %{HTTP_USER_AGENT} yang menyebutkan Googlebot.
• Cari komentar yang dihasilkan plugin seperti # AIOWPS_RULE untuk mengidentifikasi perubahan yang dilakukan oleh plugin keamanan.

3. Tinjau Semua Pengaturan Plugin Keamanan

• Buka Keamanan WP All In One > Pengaturan Firewall dan nonaktifkan sementara yang berikut ini:
• Aturan Firewall 6G
• Pemblokiran Agen Pengguna
• Pemblokiran Bot Internet
• Hapus cache situs dan aktifkan kembali pengaturan aman lainnya secara bertahap setelah pengujian akses bot.

4. Uji Menggunakan curl dan Live Header

Dari baris perintah atau Alat Pengembang Chrome:

curl -A "Mozilla/5.0 (kompatibel; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://example.com/

• Pastikan situs Anda mengembalikan 200 OK atau 301 Redirect dan bukankesalahan 403 atau 500.
• Periksa header HTTP untuk X-Robots-Tag — seharusnya tidak tertulis “noindex”.

5. Validasi dan Kirim URL Lagi

• Setelah kembali beres, buka Search Console dan Minta Pengindeksan halaman utama dan halaman beranda Anda.
• Periksa apakah laporan cakupan mulai diperbarui dalam 2-3 hari — jika ya, Anda kembali berbisnis.

Berapa Lama Pemulihannya?

Setelah menghapus aturan firewall pemblokiran bot dan mengonfirmasi jalur perayapan yang jelas, saya melihat peningkatan awal dalam waktu 72 jam. Cache Google diperbarui, pemeriksaan menunjukkan “Halaman diindeks” lagi, dan statistik perayapan melanjutkan perkembangan di GSC.

Namun, pemeringkatan membutuhkan waktu lebih lama – sekitar 10 hingga 14 hari untuk stabil. Beberapa kata kunci kompetitif memerlukan waktu 3 minggu penuh untuk pulih ke posisi sebelumnya. Saya menggunakan alat seperti Ahrefs dan SERanking untuk memantau pengembalian yang lambat.

Penyiapan Revisi Akhir: Keamanan dan Harmoni SEO

Untuk menghindari kejadian ini lagi, saya telah melakukan perubahan permanen berikut:

• Mengganti aturan yang terlalu agresif dengan firewall yang diperiksa dengan baik yang mencakup izin bot terverifikasi seperti Cloudflare.
• Memasukkan agen pengguna yang dikenal ke dalam daftar putih dari mesin pencari langsung di .htaccess menggunakan regex.
• Mengaktifkan plugin log audit untuk melacak perubahan pengaturan plugin dan laporan status HTTP ke bot.

Pembelajaran: Saat Keamanan Berlawanan dengan SEO

Pengalaman ini merupakan sebuah peringatan. Sebuah plugin keamanan yang dimaksudkan untuk melindungi situs saya hampir menghancurkan upaya SEO selama berbulan-bulan. Sifat blok yang tersembunyi membuatnya lebih sulit untuk diidentifikasi — tidak ada pemberitahuan plugin yang jelas, dan Google secara diam-diam ditolak.

Jika Anda pengguna WordPress, selalu uji perubahan firewall atau anti-bot apa pun menggunakan beberapa alat manual. Coba gunakan alat rendering Google, penganalisis header HTTP, dan curl untuk setiap pembaruan besar. Dan ingat: bersikap terlalu protektif dengan pemfilteran bot mungkin lebih merugikan daripada menguntungkan kecuali jika ditargetkan dan diukur dengan baik.

Untungnya, algoritme Google relatif mudah memaafkan — setelah akses dipulihkan, peringkat dapat kembali seiring waktu. Namun tetap waspada denganpengaturan keamanandandiagnostik perayapankini harus menjadi bagian dari alur kerja bulanan setiap pemilik situs.