Hepsi Bir Arada WP Güvenliği Googlebot'u Engelledi, Organik Dizine Eklemeyi ve Sıralamaları Kurtarmak İçin Kullandığım Robot Hata Ayıklama Kontrol Listesini Çöktürdü

Birçok web sitesi sahibi gibi sitemi kötü niyetli trafikten korumak en büyük öncelikti. Bunu kaba kuvvet saldırılarına, spam gönderenlere ve kötü botlara karşı korumak istedim. Bu nedenle WordPress içinAll In One WP Security & Firewalleklentisini yükledim. Çevrimiçi mülkümü koruması için ona güvendim. Ancak web sitemin güvenliğini sağlamaya çalışırken kazara feci bir SEO hatasını tetikledim; bunu hemen tespit edemedim. Googlebot sessizce engellendi, indeksleme durduruldu ve organik trafiğim hızla düştü.

TLDR: Sıralamalarınız ve organik trafiğiniz aniden kaybolursa ve "Hepsi Bir Arada WP Güvenliği" kullanıyorsanız, hemen Googlebot'un engellenip engellenmediğini kontrol edin. Güvenlik eklentileri iyi botları kötü amaçlı olarak yanlış tanımlayabilir ve Google'ın içeriğinizi taramasını engelleyebilir. Bu benim başıma geldi ve her şeyi geri yüklemek için robots.txt, HTTP üstbilgileri, tarama erişimi, önbelleğe alma ve Search Console analizlerine odaklanan ayrıntılı bir hata ayıklama kontrol listesi gerekiyordu. Düzeltildikten sonra sıralamalar iki hafta içinde geri dönmeye başladı.

Yanlış Giden Neydi: Googlebot'u WordPress Güvenlik Eklentisiyle Engelleme

Birkaç gün içinde organik trafiğim sağlıklı ve büyüyen bir durumdan neredeyse hiç yok durumuna geldi. Google Arama Konsolu birçok istatistiği güncellemeyi durdurdu. Taranan sayfalar gizemli bir şekilde düştü. Gönderilerim, markalı sorgularda bile aramalarda hiç görünmüyordu.

İlk başta Google algoritma güncellemesinden şüphelendim. Ancak Search Console'da URL Denetleme Aracını çalıştırdığımda şunu gördüm:

“Sayfa dizine eklenmedi: erişim yasak olduğundan engellendi (403)”

Sorunun teknik olduğunu hemen anladım. URL'ler noindex olarak işaretlenmiyordu ancak Googlebot'a 403 hataları sunuluyordu. Bu, sunucumun veya daha spesifik olarak bir eklentinin taramaları aktif olarak reddettiği anlamına geliyordu. Araştırma zamanı.

Suçlunun İzini Sürmek: Hepsi Bir Arada WP Security'nin Güvenlik Duvarı Ayarları

Farklı bileşenleri test ettikten sonra, All In One WP Security eklentisindeki bir özelliğin Googlebot da dahil olmak üzere botları agresif bir şekilde filtrelediğini tespit ettim. Bu istenmeyen kısıtlama büyük olasılıkla aşağıdaki ayarlardan birinden kaynaklanmıştır:

• Kara liste/Beyaz liste ayarları – Googlebot gibi bot tarayıcıları tarafından kullanılan IP aralıklarının tamamını hariç tutmuş olabilir.
• 404 Tespit ve Kilitleme – Sitemi tekrar tekrar incelemeye yönelik girişimler, botların kilitlenmesine neden olmuş olabilir.
• Özel .htaccess kuralları – .htaccess'e doğrudan eklenen bazı güvenlik duvarı kuralları, bilinen kullanıcı aracılarını engelleyebilir.

Eklentiyi tamamen devre dışı bıraktığımda Googlebot siteye anında tekrar erişebildi. Bu bana ihtiyacım olan kısa vadeli çözümü verdi, ancak dizine eklemeyi geri yüklemek için sitemi kalıcı olarak korumasız tutmak istemedim. Cerrahi bir yaklaşıma ihtiyacım vardı; bu yüzden bir teşhis kontrol listesi geliştirdim ve takip ettim.

Googlebot Blokundan Kurtulmak için Robotların Hata Ayıklama Kontrol Listesi

Arama varlığımı nasıl onardığım da dahil olmak üzere, site genelindeki bir Googlebot bloğunu denetlemek ve kurtarmak için izlediğim adımların tam listesi aşağıda verilmiştir:

1. Bloğu Onaylayın

• Hem ana sayfayı hem de tek tek blog yayınlarını test etmek için Google Search Console'un URL Denetleme Aracını kullanın.
• "Robots.txt tarafından engellendi", "403 Yasaklandı" veya "Yetkisiz istek nedeniyle engellendi" gibi tarama hatalarını kontrol edin.
• Hatalı İzin Verme satırlarının olmadığını doğrulamak için Google'ın robots.txt Test Aracını kullanın.

2. .htaccess Kurallarını kontrol edin

• Mevcut .htaccess dosyanızı yedekleyin.
• Googlebot'tan bahseden Deny from veya RewriteCond %{HTTP_USER_AGENT} gibi desenlere sahip blokları arayın.
• Güvenlik eklentisi tarafından yapılan değişiklikleri tanımlamak için # AIOWPS_RULE gibi eklenti tarafından oluşturulan yorumları arayın.

3. Tüm Güvenlik Eklentisi Ayarlarını Gözden Geçirin

• Hepsi Bir Arada WP Güvenliği > Güvenlik Duvarı Ayarları'na gidin ve aşağıdakileri geçici olarak devre dışı bırakın:
• 6G Güvenlik Duvarı kuralları
• Kullanıcı Aracısı engelleme
• İnternet Botlarının engellenmesi
• Bot erişimini test ettikten sonra sitenin önbelleğini temizleyin ve diğer güvenli ayarları aşamalı olarak yeniden etkinleştirin.

4. Kıvrılma ve Canlı Başlıkları Kullanarak Test Edin

Komut satırından veya Chrome Geliştirici Araçlarından:

curl -A "Mozilla/5.0 (uyumlu; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://example.com/

• Sitenizin 403 veya 500 hatası değil, 200 OK veya 301 Yönlendirmesi döndürdüğünden emin olun.
• X-Robots-Tag için HTTP başlıklarını kontrol edin; "noindex" yazmamalıdır.

5. URL'leri Tekrar Doğrulayın ve Gönderin

• Sıraya geri döndüğünüzde Search Console'a gidin ve önemli sayfaların ve ana sayfanızın Dizine Eklenmesini İsteyin .
• Kapsam raporlarının 2-3 gün içinde güncellenmeye başlayıp başlamadığını kontrol edin; eğer güncellenirse, işinize geri dönmüşsünüz demektir.

İyileşme Ne Kadar Sürdü?

Botları engelleyen güvenlik duvarı kurallarını kaldırdıktan ve net bir tarama yolunu onayladıktan sonra, 72 saat içinde ilk iyileştirmeleri gördüm. Google'ın önbelleği güncellendi, incelemede yeniden "Sayfanın dizine eklendiği" görüldü ve tarama istatistikleri GSC'de ilerlemeye devam etti.

Ancak sıralamaların istikrar kazanması daha uzun sürdü; yaklaşık 10 ila 14 gün . Bazı rekabetçi anahtar kelimelerin önceki konumlarına dönmesi tam 3 hafta sürdü. Yavaş dönüşü izlemek için Ahrefs ve SEranking gibi araçları kullandım.

Gözden Geçirilmiş Son Kurulum: Güvenlik ve SEO Uyumu

Bu olayı tekrar önlemek için aşağıdaki kalıcı değişiklikleri yaptım:

• Aşırı agresif kurallar, Cloudflare gibi doğrulanmış bot izinlerini içeren iyi denetlenmiş bir güvenlik duvarı ile değiştirildi .
• Regex kullanarak doğrudan .htaccess'te arama motorlarından bilinen kullanıcı aracılarını beyaz listeye ekledi .
• Eklenti ayar değişikliklerini ve botlara gönderilen HTTP durum raporlarını izlemek için bir denetim günlüğü eklentisi etkinleştirildi.

Öğrenilen Dersler: Güvenlik SEO'ya Karşı Döndüğünde

Bu deneyim bir uyandırma çağrısıydı. Sitemi korumayı amaçlayan bir güvenlik eklentisi, aylarca süren SEO çabalarını neredeyse yok etti. Bloğun gizli yapısı, tespit edilmesini zorlaştırdı; net bir eklenti bildirimi yoktu ve Google sessizce geri çevriliyordu.

WordPress kullanıcısıysanız, her zaman güvenlik duvarı veya anti-bot değişikliklerini birden fazla manuel araç kullanarak test edin. Her büyük güncelleme için Google'ın oluşturma araçlarını, HTTP başlık analizörlerini ve curl'u kullanmayı deneyin. Ve unutmayın: Bot filtrelemeyle aşırı korumacı olmak, iyi hedeflenmediği ve ölçülmediği sürece yarardan çok zarar getirebilir.

Neyse ki, Google'ın algoritmaları nispeten bağışlayıcıdır; erişim tekrar sağlandığında sıralamalar zamanla eski haline dönebilir. Ancak hemgüvenlik ayarlarınahem detarama tanılamalarınadikkat etmek artık her site sahibinin aylık iş akışının bir parçası olmalıdır.