الكل في واحد، قام أمان WP بحظر Googlebot والفهرسة العضوية المعطلة وقائمة التحقق من تصحيح أخطاء الروبوتات التي استخدمتها لاستعادة التصنيفات

مثل العديد من مالكي مواقع الويب، كانت حماية موقعي من حركة المرور الضارة أولوية قصوى. كنت أرغب في تأمينه ضد هجمات القوة الغاشمة ومرسلي البريد العشوائي والروبوتات السيئة. لهذا السبب، قمت بتثبيت البرنامج الإضافيAll In One WP Security & Firewallلـ WordPress. لقد وثقت به لحماية ممتلكاتي عبر الإنترنت. ومع ذلك، أثناء محاولتي تأمين موقع الويب الخاص بي، تسببت بطريق الخطأ في فشل فادح في تحسين محركات البحث - وهو فشل لم أكتشفه على الفور. تم حظر Googlebot بصمت، وتوقفت الفهرسة، وانخفضت حركة المرور العضوية الخاصة بي.

TLDR: إذا اختفت تصنيفاتك وحركة المرور العضوية فجأة وكنت تستخدم "All In One WP Security"، فتحقق فورًا مما إذا كان Googlebot محظورًا. يمكن للمكونات الإضافية للأمان أن تخطئ في تعريف برامج الروبوت الجيدة على أنها ضارة وتمنع Google من الزحف إلى المحتوى الخاص بك. لقد حدث هذا لي، واستغرق الأمر قائمة مرجعية مفصلة لتصحيح الأخطاء تركز على ملف robots.txt، ورؤوس HTTP، والوصول إلى الزحف، والتخزين المؤقت، ورؤى Search Console لاستعادة كل شيء. بمجرد التصحيح، بدأت التصنيفات تعود في غضون أسبوعين.

ما الخطأ الذي حدث: حظر Googlebot باستخدام مكون إضافي للأمان في WordPress

على مدار بضعة أيام، تحولت حركة المرور العضوية الخاصة بي من صحية ومتنامية إلى شبه معدومة. توقفت Google Search Console عن تحديث العديد من الإحصائيات. سقطت الصفحات التي تم الزحف إليها بشكل غامض. لم تكن منشوراتي تظهر في عمليات البحث على الإطلاق — ولا حتى في الاستعلامات ذات العلامات التجارية.

في البداية، شككت في تحديث خوارزمية جوجل. ولكن عندما قمت بتشغيل أداة فحص عناوين URL في Search Console، ظهرت لي هذه الرسالة:

"الصفحة غير مفهرسة: محظورة بسبب منع الوصول إليها (403)"

أدركت بسرعة أن المشكلة كانت تقنية. لم يتم وضع علامة noindex على عناوين URL، ولكن تم تقديم خطأ 403 إلى Googlebot. وهذا يعني أن الخادم الخاص بي، أو بشكل أكثر تحديدًا المكون الإضافي، كان يرفض عمليات الزحف بشكل نشط. الوقت للتحقيق.

تتبع الجاني: إعدادات جدار الحماية الكل في واحد لـ WP Security

بعد اختبار مكونات مختلفة، حددت أن إحدى الميزات الموجودة داخل المكون الإضافي All In One WP Security كانت تقوم بتصفية برامج الروبوت بشكل مكثف، بما في ذلك Googlebot . من المرجح أن هذا التقييد غير المقصود جاء من أحد الإعدادات التالية:

• إعدادات القائمة السوداء/القائمة البيضاء - كان من الممكن أن تستبعد نطاقات IP بأكملها التي تستخدمها برامج زحف الروبوتات مثل Googlebot.
• 404 الكشف والإغلاق - ربما أدت المحاولات المتكررة لفحص موقعي إلى إغلاق الروبوتات.
• قواعد .htaccess المخصصة – قد تؤدي بعض قواعد جدار الحماية التي يتم إدخالها مباشرةً في .htaccess إلى حظر وكلاء المستخدم المعروفين.

وعندما قمت بتعطيل المكون الإضافي بالكامل، تمكن Googlebot من الدخول إلى الموقع مرة أخرى على الفور. وقد أعطاني ذلك الحل قصير المدى الذي أحتاجه، ولكنني لم أرغب في إبقاء موقعي غير محمي بشكل دائم لمجرد استعادة الفهرسة. كنت بحاجة إلى نهج جراحي، لذلك قمت بتطوير قائمة مرجعية تشخيصية واتبعتها.

قائمة التحقق من تصحيح أخطاء الروبوتات للتعافي من حظر Googlebot

فيما يلي مجموعة الخطوات الدقيقة التي اتبعتها للتدقيق والاسترداد من حظر Googlebot على مستوى الموقع، بما في ذلك كيفية إصلاح وجودي في البحث:

1. قم بتأكيد الحظر

• استخدم أداة فحص عنوان URL الخاصة بـ Google Search Console لاختبار كل من الصفحة الرئيسية ومنشورات المدونة الفردية.
• تحقق من أخطاء الزحف مثل "تم الحظر بواسطة ملف robots.txt" أو "403 محظور" أو "تم الحظر بسبب طلب غير مصرح به".
• استخدم أداة اختبار ملف robots.txt من Google للتأكد من عدم وجود أسطر عدم السماح خاطئة.

2. تحقق من قواعد .htaccess

• قم بعمل نسخة احتياطية لملف .htaccess الحالي الخاص بك.
• ابحث عن الكتل التي تحتوي على أنماط مثل Deny from أو RewriteCond %{HTTP_USER_AGENT} التي تشير إلى Googlebot.
• ابحث عن التعليقات التي تم إنشاؤها بواسطة البرنامج الإضافي مثل # AIOWPS_RULE لتحديد التغييرات التي أجراها البرنامج الإضافي للأمان.

3. قم بمراجعة جميع إعدادات البرنامج الإضافي للأمان

• انتقل إلى All In One WP Security > إعدادات جدار الحماية وقم بتعطيل ما يلي مؤقتًا:
• قواعد جدار الحماية 6G
• حظر وكيل المستخدم
• حظر روبوتات الإنترنت
• امسح ذاكرة التخزين المؤقت للموقع وأعد تمكين الإعدادات الآمنة الأخرى بشكل تدريجي بعد اختبار وصول الروبوت.

4. اختبار باستخدام الضفيرة والرؤوس الحية

من سطر الأوامر أو أدوات مطوري Chrome:

حليقة -A "Mozilla/5.0 (متوافق؛ Googlebot/2.1؛ +http://www.google.com/bot.html)" -I https://example.com/

• تأكد من أن موقعك يعرض الخطأ 200 OK أو 301 Redirect وليسالخطأ 403 أو 500.
• تحقق من رؤوس HTTP بحثًا عن X-Robots-Tag ، ولا ينبغي أن تشير إلى "noindex".

5. التحقق من صحة عناوين URL وإرسالها مرة أخرى

• بمجرد إعادة الترتيب، انتقل إلى Search Console واطلب فهرسة الصفحات الرئيسية وصفحتك الرئيسية.
• تحقق مما إذا كانت تقارير التغطية تبدأ في التحديث خلال 2-3 أيام - إذا حدث ذلك، فستعود إلى العمل مرة أخرى.

كم من الوقت استغرق التعافي؟

بعد إزالة قواعد جدار الحماية التي تحظر الروبوتات والتأكد من وجود مسار زحف واضح، رأيت تحسينات أولية في غضون 72 ساعة. تم تحديث ذاكرة التخزين المؤقت لـ Google، وأظهر الفحص "الصفحة مفهرسة" مرة أخرى، واستأنفت إحصائيات الزحف التقدم في GSC.

ومع ذلك، استغرق التصنيف وقتًا أطول، حوالي 10 إلى 14 يومًا لتحقيق الاستقرار. استغرقت بعض الكلمات الرئيسية التنافسية 3 أسابيع كاملة لتعود إلى مواضعها السابقة. لقد استخدمت أدوات مثل Ahrefs وSERanking لمراقبة العائد البطيء.

الإعداد النهائي المنقح: الأمان وانسجام تحسين محركات البحث (SEO).

لتجنب هذا الحادث مرة أخرى، قمت بإجراء التغييرات الدائمة التالية:

• تم استبدال القواعد المفرطة في العدوانية بجدار حماية تم فحصه جيدًا يتضمن صلاحيات الروبوت التي تم التحقق منها مثل Cloudflare.
• تم إدراج وكلاء المستخدم المعروفين في القائمة البيضاء من محركات البحث مباشرةً في .htaccess باستخدام التعبير العادي.
• تم تمكين مكون إضافي لسجل التدقيق لتتبع تغييرات إعدادات المكون الإضافي وتقارير حالة HTTP إلى الروبوتات.

الدروس المستفادة: عندما ينقلب الأمن ضد تحسين محركات البحث

وكانت هذه التجربة بمثابة دعوة للاستيقاظ. لقد أدى المكون الإضافي للأمان الذي يهدف إلى الدفاع عن موقعي إلى تدمير شهور من جهود تحسين محركات البحث (SEO). جعلت الطبيعة الخفية للحظر من الصعب التعرف عليه - لم تكن هناك إشعارات واضحة للمكونات الإضافية، وتم رفض Google بصمت.

إذا كنت من مستخدمي WordPress، فاختبر دائمًا أي تغييرات في جدار الحماية أو برنامج مكافحة الروبوتات باستخدام أدوات يدوية متعددة. حاول استخدام أدوات العرض من Google، ومحللات رأس HTTP، والالتفاف لكل تحديث رئيسي. وتذكر: الإفراط في الحماية باستخدام تصفية الروبوتات قد يضر أكثر مما ينفع ما لم يتم استهدافه وقياسه بشكل جيد.

ولحسن الحظ، فإن خوارزميات Google متسامحة نسبيًا - بمجرد استعادة الوصول، قد تعود التصنيفات بمرور الوقت. ولكن البقاء يقظًا فيما يتعلقبإعدادات الأمانوتشخيصات الزحف يجب أن يكون الآن جزءًا من سير العمل الشهري لكل مالك موقع.