All In One WP Security บล็อก Googlebot และการทำดัชนีทั่วไปที่ล้มเหลวและรายการตรวจสอบการดีบัก Robots ที่ฉันเคยกู้คืนอันดับ
เผยแพร่แล้ว: 2025-11-25เช่นเดียวกับเจ้าของเว็บไซต์หลายๆ ราย การปกป้องไซต์ของฉันจากการเข้าชมที่เป็นอันตรายถือเป็นสิ่งสำคัญสูงสุด ฉันต้องการรักษาความปลอดภัยจากการโจมตีแบบดุร้าย สแปมเมอร์และบอทที่ไม่ดี ด้วยเหตุนี้ ฉันจึงติดตั้งปลั๊กอินAll In One WP Security & Firewallสำหรับ WordPress ฉันไว้วางใจมันเพื่อปกป้องทรัพย์สินออนไลน์ของฉัน อย่างไรก็ตาม ในการพยายามรักษาความปลอดภัยเว็บไซต์ของฉัน ฉันทำให้เกิดความล้มเหลวด้าน SEO ครั้งใหญ่โดยไม่ได้ตั้งใจ — สิ่งหนึ่งที่ฉันตรวจไม่พบในทันที Googlebot ถูกบล็อกอย่างเงียบๆ การจัดทำดัชนีหยุดลง และปริมาณการใช้งานทั่วไปของฉันก็ลดลง
TLDR: หากอันดับและการเข้าชมทั่วไปของคุณหายไปอย่างกะทันหันและคุณกำลังใช้ “All In One WP Security” ให้ตรวจสอบทันทีว่า Googlebot ถูกบล็อกหรือไม่ ปลั๊กอินความปลอดภัยสามารถระบุบอทที่ดีว่าเป็นอันตรายได้อย่างไม่ถูกต้อง และป้องกันไม่ให้ Google รวบรวมข้อมูลเนื้อหาของคุณ สิ่งนี้เกิดขึ้นกับฉัน และต้องใช้รายการตรวจสอบการแก้ไขข้อบกพร่องโดยละเอียดที่เน้นไปที่ robots.txt, ส่วนหัว HTTP, การเข้าถึงการรวบรวมข้อมูล, การแคช และข้อมูลเชิงลึกของ Search Console เพื่อกู้คืนทุกอย่าง เมื่อแก้ไขแล้ว การจัดอันดับจะเริ่มกลับมาภายในสองสัปดาห์
เกิดอะไรขึ้น: การบล็อก Googlebot ด้วยปลั๊กอินความปลอดภัย WordPress
ในช่วงสองสามวัน การเข้าชมที่เกิดขึ้นเองของฉันเพิ่มขึ้นจากปกติและเพิ่มขึ้นจนแทบไม่มีเลย Google Search Console หยุดอัปเดตสถิติจำนวนมาก หน้าที่รวบรวมข้อมูลลดลงอย่างลึกลับ โพสต์ของฉันไม่ปรากฏในการค้นหาเลย แม้แต่ข้อความค้นหาที่มีแบรนด์ก็ตาม
ตอนแรกฉันสงสัยว่าการอัปเดตอัลกอริทึมของ Google แต่เมื่อฉันเรียกใช้เครื่องมือตรวจสอบ URL ใน Search Console ฉันก็เจอสิ่งนี้:
“เพจไม่ได้รับการจัดทำดัชนี: ถูกบล็อกเนื่องจากถูกห้ามการเข้าถึง (403)”
ฉันตระหนักได้อย่างรวดเร็วว่าปัญหานี้เป็นเรื่องทางเทคนิค URL ไม่ได้ทำเครื่องหมายว่าเป็น noindex แต่แสดงข้อผิดพลาด 403 ไปยัง Googlebot นี่หมายความว่าเซิร์ฟเวอร์ของฉันหรือโดยเฉพาะอย่างยิ่งปลั๊กอินกำลังปฏิเสธการรวบรวมข้อมูลอย่างจริงจัง ถึงเวลาที่จะสอบสวน
การติดตามผู้ร้าย: การตั้งค่าไฟร์วอลล์ของ WP Security ทั้งหมดในที่เดียว
หลังจากทดสอบส่วนประกอบต่างๆ ฉันพบว่าคุณลักษณะภายในปลั๊กอิน All In One WP Security กำลังกรองบอทอย่างจริงจัง รวมถึง Googlebot ด้วย ข้อจำกัดที่ไม่ได้ตั้งใจนี้มักมาจากการตั้งค่าอย่างใดอย่างหนึ่งต่อไปนี้:
- การตั้งค่าบัญชีดำ/บัญชีขาว – อาจตัดช่วง IP ทั้งหมดที่ใช้โดยโปรแกรมรวบรวมข้อมูลบอทเช่น Googlebot
- การตรวจจับและล็อค 404 – ความพยายามซ้ำ ๆ เพื่อตรวจสอบไซต์ของฉันอาจส่งผลให้บอทถูกล็อค
- กฎ .htaccess แบบกำหนดเอง – กฎไฟร์วอลล์บางกฎที่แทรกโดยตรงลงใน .htaccess อาจบล็อกตัวแทนผู้ใช้ที่รู้จัก
เมื่อฉันปิดการใช้งานปลั๊กอินทั้งหมด Googlebot ก็สามารถเข้าถึงไซต์ได้อีกครั้งทันที นั่นทำให้ฉันมีวิธีแก้ปัญหาระยะสั้นที่ต้องการ แต่ฉันไม่ต้องการให้ไซต์ของฉันไม่ได้รับการปกป้องอย่างถาวรเพียงเพื่อคืนค่าการจัดทำดัชนี ฉันต้องการวิธีการผ่าตัด ดังนั้นฉันจึงพัฒนาและปฏิบัติตามรายการตรวจสอบการวินิจฉัย
รายการตรวจสอบการแก้ไขข้อบกพร่องของ Robots เพื่อกู้คืนจากบล็อก Googlebot
ต่อไปนี้คือชุดขั้นตอนที่ฉันปฏิบัติตามเพื่อตรวจสอบและกู้คืนจากบล็อก Googlebot ทั่วทั้งไซต์ รวมถึงวิธีที่ฉันซ่อมแซมสถานะการค้นหาของฉัน:
1. ยืนยันการบล็อก
- ใช้ เครื่องมือตรวจสอบ URL ของ Google Search Console เพื่อทดสอบทั้งหน้าแรกและบล็อกโพสต์แต่ละรายการ
- ตรวจสอบข้อผิดพลาดในการรวบรวมข้อมูล เช่น "ถูกบล็อกโดย robots.txt", "403 Forbidden" หรือ "ถูกบล็อกเนื่องจากคำขอที่ไม่ได้รับอนุญาต"
- ใช้เครื่องมือทดสอบ robots.txt ของ Google เพื่อยืนยันว่าไม่มีบรรทัด Disallow ที่ผิดพลาด
2. ตรวจสอบกฎ .htaccess
- สำรองไฟล์ .htaccess ปัจจุบันของคุณ
- ค้นหาบล็อกที่มีรูปแบบ เช่น
Deny fromหรือRewriteCond %{HTTP_USER_AGENT}ที่กล่าวถึง Googlebot - ค้นหาความคิดเห็นที่สร้างโดยปลั๊กอิน เช่น
# AIOWPS_RULEเพื่อระบุการเปลี่ยนแปลงที่ทำโดยปลั๊กอินความปลอดภัย
3. ตรวจสอบการตั้งค่าปลั๊กอินความปลอดภัยทั้งหมด
- ไปที่ All In One WP Security > การตั้งค่าไฟร์วอลล์ และปิดการใช้งานต่อไปนี้ชั่วคราว:
- กฎไฟร์วอลล์ 6G
- การบล็อกตัวแทนผู้ใช้
- การบล็อกอินเทอร์เน็ตบอท
- ล้างแคชของไซต์และเปิดใช้งานการตั้งค่าความปลอดภัยอื่นๆ อีกครั้งหลังจากทดสอบการเข้าถึงบอท
4. ทดสอบการใช้ curl และ Live Headers
จากบรรทัดคำสั่งหรือเครื่องมือสำหรับนักพัฒนา Chrome:
curl -A "Mozilla/5.0 (เข้ากันได้; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://example.com/
- ตรวจสอบให้แน่ใจว่าเว็บไซต์ของคุณส่งคืนการเปลี่ยนเส้นทาง 200 OK หรือ 301 และ ไม่ใช่ข้อผิดพลาด 403 หรือ 500
- ตรวจสอบส่วนหัว HTTP สำหรับ
X-Robots-Tagซึ่งไม่ควรพูดว่า "noindex"
5. ตรวจสอบและส่ง URL อีกครั้ง
- เมื่อกลับมาเรียบร้อย ให้ไปที่ Search Console และ ขอจัดทำดัชนี หน้าหลักและหน้าแรกของคุณ
- ตรวจสอบว่า รายงานความครอบคลุมเริ่มอัปเดต ภายใน 2-3 วันหรือไม่ หากเป็นเช่นนั้น คุณจะกลับมาทำธุรกิจได้อีกครั้ง
การฟื้นตัวใช้เวลานานเท่าใด?
หลังจากลบกฎไฟร์วอลล์ที่บล็อกบอทและยืนยันเส้นทางการรวบรวมข้อมูลที่ชัดเจน ฉันได้เห็นการปรับปรุงเบื้องต้นภายใน 72 ชั่วโมง อัปเดตแคชของ Google การตรวจสอบพบว่า "จัดทำดัชนีหน้าแล้ว" อีกครั้ง และสถิติการรวบรวมข้อมูลกลับมาดำเนินต่อใน GSC
อย่างไรก็ตาม การจัดอันดับใช้เวลานานกว่า — ประมาณ 10 ถึง 14 วัน ในการรักษาเสถียรภาพ คำหลักที่แข่งขันกันบางคำใช้เวลา 3 สัปดาห์เต็มเพื่อกลับสู่ตำแหน่งก่อนหน้า ฉันใช้เครื่องมืออย่าง Ahrefs และ SERanking เพื่อติดตามการกลับมาที่ช้า
การตั้งค่าที่แก้ไขครั้งสุดท้าย: ความปลอดภัยและความสามัคคีของ SEO
เพื่อหลีกเลี่ยงไม่ให้เหตุการณ์นี้เกิดขึ้นอีก ฉันได้ทำการเปลี่ยนแปลงอย่างถาวรดังต่อไปนี้:
- แทนที่กฎที่ก้าวร้าวมากเกินไป ด้วยไฟร์วอลล์ที่ได้รับการตรวจสอบอย่างดี ซึ่งรวมถึงค่าเผื่อบอทที่ได้รับการตรวจสอบแล้ว เช่น Cloudflare
- อนุญาตตัวแทนผู้ใช้ที่รู้จัก จากเครื่องมือค้นหาโดยตรงใน .htaccess โดยใช้ regex
- เปิดใช้งาน ปลั๊กอินบันทึกการตรวจสอบ เพื่อติดตามการเปลี่ยนแปลงการตั้งค่าปลั๊กอินและรายงานสถานะ HTTP ไปยังบอท
บทเรียนที่ได้รับ: เมื่อความปลอดภัยสวนทางกับ SEO
ประสบการณ์นี้เป็นเหมือนการปลุกให้ตื่น ปลั๊กอินความปลอดภัยมีไว้เพื่อปกป้องเว็บไซต์ของฉันเกือบทำลายความพยายาม SEO เป็นเวลาหลายเดือน ลักษณะที่ซ่อนอยู่ของบล็อกทำให้ยากต่อการระบุ — ไม่มีการแจ้งเตือนปลั๊กอินที่ชัดเจน และ Google ก็ถูกปฏิเสธอย่างเงียบๆ
หากคุณเป็นผู้ใช้ WordPress ให้ทดสอบไฟร์วอลล์หรือการเปลี่ยนแปลงแอนตี้บอทโดยใช้เครื่องมือแบบแมนนวลหลายตัวเสมอ ลองใช้เครื่องมือแสดงผลของ Google, เครื่องมือวิเคราะห์ส่วนหัว HTTP และ Curl สำหรับการอัปเดตหลักแต่ละครั้ง และโปรดจำไว้ว่า: การป้องกันมากเกินไปด้วยการกรองบอทอาจส่งผลเสียมากกว่าผลดี เว้นแต่จะมีการกำหนดเป้าหมายและวัดผลได้ดี
โชคดีที่อัลกอริธึมของ Google ค่อนข้างจะให้อภัย — เมื่อกู้คืนการเข้าถึงได้ การจัดอันดับอาจกลับมาเมื่อเวลาผ่านไป แต่การระมัดระวังทั้งการตั้งค่าความปลอดภัยและการวินิจฉัยการรวบรวมข้อมูลจะต้องเป็นส่วนหนึ่งของเวิร์กโฟลว์รายเดือนของเจ้าของไซต์ทุกคน