Robots.txt: كيفية تحسين هذا الملف على موقع WordPress على الويب

إذا طلبت منك تحديد robots.txt على WordPress ، فهل يمكنك إعطائي إجابة مباشرة؟

ليس سهلا أليس كذلك؟ بالإضافة إلى ذلك ، دون معرفة ذلك ، ربما يكون لديك بالفعل واحد على موقع الويب الخاص بك.

الشيء هو أننا لا نفهم دائمًا هذا الملف الشهير. ما هو استخدامه؟ ماذا تضع فيه؟ لماذا يبدو من الصعب فهم كودها؟

إذا سبق لك أن نظرت في الموضوع ، أراهن أنك سألت نفسك هذه الأسئلة.

مثل الديناميت ، يجب التعامل مع هذا الملف بحذر شديد .

إذا لم تقم بإعداده بشكل صحيح ، فإنك تخاطر بإتلاف مُحسنات محركات البحث لموقعك. لذا احذر من الانفجار!

في هذا المنشور ، سأوضح لك كيفية تجنب الكارثة ، وكيفية تحسين ملف WordPress robots.txt الخاص بك. سوف تكتشف الغرض من استخدامه ، وكيف يعمل ، وطريقتان لإنشائه ، وما يجب وضعه في الداخل.

تحتاج أفضل مشاريع WordPress لديك إلى أفضل مضيف!

يوصي WPMarmite باستخدام Bluehost: أداء رائع ودعم رائع. كل ما تحتاجه لبداية رائعة.

جرب Bluehost

ما هو ملف WordPress robots.txt؟

عرض

robots.txt في WordPress هو ملف نصي موجود في جذر موقعك "يخبر برامج زحف محرك البحث بعناوين URL التي يمكن للزاحف الوصول إليها على موقعك" وفقًا للتعريف الذي قدمته Google على موقع مساعدة مشرفي المواقع الخاص بها.

يُشار إليه أيضًا باسم "بروتوكول / معيار استبعاد الروبوتات" ، وهو يسمح لمحركات البحث بتجنب فهرسة محتوى معين عديم الفائدة و / أو خاص (مثل صفحة تسجيل الدخول والمجلدات والملفات الحساسة).

باختصار ، يخبر هذا البروتوكول روبوتات محرك البحث بما يمكنهم أو لا يمكنهم فعله على موقعك.

هنا كيف يعمل. عندما يكون الروبوت على وشك الزحف إلى عنوان URL لموقعك (على سبيل المثال ، سوف يستكشف المعلومات ويسترجعها ليتمكن من فهرستها) ، سوف يبحث أولاً في robots.txt الخاص بك.

إذا وجده ، فسوف يقرأه ، ثم يتبع التوجيهات التي قدمتها له (لن يكون قادرًا على الزحف إلى ملف كذا وكذا إذا كنت قد منعته).

إذا لم يعثر عليه ، فسوف يزحف إلى موقعك بطريقة عادية ، دون استبعاد أي محتوى.

انظر إلى هذا المثال لملف WordPress robots.txt لترى كيف يبدو:

لا تتوقف بالضرورة عند محتوياته. كما سترى لاحقًا ، لا يوجد ملف قياسي يمكن تكييفه مع أي موقع. على أي حال ، لا ينصح بذلك.

إذا كان عليك أن تتذكر 4 أشياء أخرى حول موضوع اليوم ، فضع هذا في ذهنك:

1. كما يوضح Google ، فإن المعلومات التي تقدمها في robots.txt "لا يمكنها إجبار الزاحف على اتباع قواعد موقعك" . إذا كانت برامج الزحف "الجادة" (Google و Bing و Yahoo و Yandex و Baidu وما إلى ذلك) ستحترمها ، فلن يكون الأمر كذلك بالنسبة للروبوتات الخبيثة التي تسعى إلى تقويض أمن موقعك.
   علاوة على ذلك ، لا تفسر جميع الروبوتات التعليمات بنفس الطريقة ، لذا تأكد من احترام الصيغة التي يشير إليها Google.
2. robots.txt هو ملف عام . يمكن لأي شخص الوصول إليه عن طريق كتابة النموذج التالي: yoursite.com/robots.txt . لذلك ، لا تستخدمه لإخفاء المحتوى ، سيجد المرء بسرعة مكان إخفاءه ... إذا كنت تريد أن يظل بعض المحتوى خاصًا ، فلا تضعه في هذا الملف ، ولكن قم بحمايته بكلمة مرور على سبيل المثال.
3. إذا كنت لا ترغب في ظهور صفحات معينة في نتائج البحث ، "لا تستخدم robots.txt لإخفاء صفحة الويب الخاصة بك" وفقًا لـ Google. في الواقع ، إذا كان عدد من الروابط يشير إلى هذه الصفحة ، فمن الممكن أن يقوم Google بفهرستها وعرضها في نتائج البحث الخاصة بها ، دون معرفة محتواها ، حتى إذا قمت بحظرها في robots.txt الخاص بك.
   لمنع صفحة من الظهور في نتائج البحث ، توصي Google باستخدام ما يسمى بعلامة noindex (يمكن تنشيطها بسهولة في Yoast SEO عن طريق إلغاء تحديد المربع "السماح لمحركات البحث بإظهار هذا المنشور في نتائج البحث؟" الموجود أسفل كل منشور / الصفحة في علامة تبويب الإعدادات).
4. robots.txt له ابن عم يسمى humans.txt .
   هذا ملف TXT ، موجود أيضًا في جذر موقعك ، والذي يحتوي على معلومات حول الأشخاص المختلفين الذين ساهموا في تصميمه.
   على سبيل المثال ، المطورين ومصممي الويب والمحررين وما إلى ذلك ، إنه ليس إلزاميًا ، ولكن إذا كنت تعتقد أنه من المفيد دمجه في موقع WordPress الخاص بك ، فسيتعين عليك إضافته إلى جذر موقعك ، بجانب robots.txt ملف robots.txt (انظر إلى ملف WPMarmite على سبيل المثال).

هل تحتاج حقًا إلى robots.txt ؟

بشكل افتراضي ، سيتم الزحف إلى موقع الويب وفهرسته بشكل طبيعي بواسطة محرك بحث ، حتى بدون وجود robots.txt .

وبالتالي فإن هذا الأخير ليس إلزاميا. كما يوضح Daniel Roch ، متخصص تحسين محركات البحث في WordPress ، "إذا كنت ترغب في فهرسة جميع صفحاتك ومحتوياتك ووسائطك ، فلا تستخدم robots.txt : لن يفيدك ذلك" .

ولكن بعد ذلك ، ما فائدة هذا الملف ، بقية الوقت؟

يمكن العثور على الفائدة الرئيسية من جانب مُحسنات محركات البحث الخاصة بك . في الواقع ، يسمح لك ملف robots.txt بحفظ ما يسمى بميزانية الزحف ، كما يقول هذا المنشور من مدونة Yoast SEO.

إنها تقنية جدًا ، ولكن ببساطة ، من خلال إلغاء فهرسة الصفحات التي لا تهم تحسين محركات البحث على موقعك ، ستترك المزيد من الوقت والطاقة لـ Google للزحف إلى الصفحات الأخرى.

إذا كنت تريد التعمق في الموضوع ، فإن Brian Dean ، من Backlinko ، يتحدث عنه هنا.

انضم إلى مشتركي WPMarmite

احصل على آخر منشورات WPMarmite (وكذلك الموارد الحصرية).

إشترك الآن

حان الوقت الآن للانتقال إلى تكوين ملفك. وهذا مهم ، صدقني. إذا لم يتم تحسينه بشكل صحيح ، فإنك تخاطر بمعاقبة تواجدك على محركات البحث بجدية.

كيف يمكن إنشاء robots.txt في WordPress؟

بشكل افتراضي ، يقوم WordPress بإنشاء robots.txt افتراضي . لا يمكن الوصول إليه على الخادم الخاص بك ، ولكن يمكنك مشاهدته عبر الإنترنت.

خذ الصورة الموجودة على موقع يوسين بولت ، نجم العدو الجامايكي السابق.

لرؤيتها ، عليك فقط أن تكتب في متصفحك http://usainbolt.com/robots.txt .

إليك ما ستحصل عليه:

هذا الملف الظاهري يعمل. ولكن كيف يمكنك تعديل robots.txt هذا على موقع WordPress الخاص بك؟

حسنًا ، سيتعين عليك إنشاء ملفك الخاص لاستبداله.

هناك طريقتان للقيام بذلك:

• استخدم البرنامج المساعد
• قم بإنشائه يدويًا

سأوضح لك كيفية القيام بذلك بالتفصيل.

كيفية إنشاء robots.txt على WordPress باستخدام Yoast SEO

أنا على استعداد للمراهنة على أنك تعرف Yoast SEO ، أليس كذلك؟ كما تعلم ، إنه مكون إضافي لتحسين محركات البحث ، وهو أحد أكثر المكونات تنزيلًا على الإطلاق.

يستخدمه WPMarmite ، وسأستخدمه أيضًا لأوضح لك كيف يمكن أن يساعدك في إنشاء robots.txt في WordPress.

بالطبع ، الشرط الأساسي هو أنك قمت بتثبيت وتفعيل هذا المكون الإضافي.

ابدأ بالانتقال إلى لوحة معلومات WordPress الخاصة بك ، وحدد Yoast SEO> أدوات .

أكمل بالنقر على "محرر الملفات".

إذا لم يكن لديك ملف مخصص بعد ، فانقر فوق الزر لإنشاء ملف. كان لدي بالفعل واحد على موقعي ، لذا يمكنني تعديله فقط. ولا تنسى الحفظ بمجرد الانتهاء.

وها أنت ذا.

لا تقلق ، سأشرح في نهاية هذا الجزء المعلومات التي يجب وضعها في هذا الملف.

في الوقت الحالي ، دعنا ننتقل إلى الطريقة الثانية: سيكون عليك استخدام يديك الصغيرتين.

الطريقة اليدوية

سواء كنت تستخدم مكونًا إضافيًا مخصصًا أم لا ، فمن الممكن أيضًا إضافة robots.txt على موقع WordPress الخاص بك يدويًا. الأمر بسيط للغاية ، سترى.

أولا ، سوف تحتاج إلى محرر نصوص. من بينها ، يمكنني أن أوصي بما يلي:

• اقواس
• برنامج Notepad ++
• نص سامي

خلاف ذلك ، فإن برنامج Notepad القديم الجيد الخاص بك سوف يعمل بشكل جيد للغاية.

قم بإنشاء مستند جديد وحفظه على جهاز الكمبيوتر الخاص بك باسم robots.txt .

يجب أن يكون اسمه دائمًا بأحرف صغيرة ، ولا تنس وضع "s" في كلمة robot (لا تكتب robot.txt ).

بعد ذلك ، اتصل بعميل FTP الخاص بك. هذا برنامج يسمح لك بالاتصال بخادمك.

أنا شخصياً أستخدم Filezilla. ولكن يمكنك أيضًا استخدام Cyberduck. لمزيد من المعلومات حول كيفية استخدام FTP ، تحقق من منشورنا: كيفية استخدام FTP للوصول إلى ملفات WordPress الخاصة بك.

أيضًا ، سيكون FTP مفيدًا لك في عملية تثبيت WordPress. اقرأ دليلنا حول هذا الموضوع: كيفية تثبيت WordPress: دليل خطوة بخطوة.

الخطوة الثالثة والأخيرة: أضف ملفك إلى جذر موقعك . أكرر ، في جذر موقعك ، وليس في دليل فرعي. خلاف ذلك ، لن تأخذها محركات البحث في الاعتبار.

على سبيل المثال ، إذا كان يمكن الوصول إلى موقعك عبر https://www.yoursite.com/ ، فيجب أن يكون ملف robots.txt موجودًا على https://www.yoursite.com/robots.txt .

قد يختلف هذا الموقع (الجذر) من مضيف إلى آخر. في Bluehost (الرابط التابع) ، يطلق عليه public_html . في OVH ، ستجده تحت اسم www .

يجب أن يبدو تنفيذها النهائي على موقعك على النحو التالي:

القواعد الأساسية للمعرفة

تهانينا ، robots.txt موجود الآن على خادمك. في الوقت الحالي ، إنه فارغ ، لكن يمكنك تعديله وقتما تشاء.

منطقيا ، عليك أن تسأل نفسك عن نوع التعليمات التي يجب أن تضعها هناك.

قبل أن نصل إلى ذلك ، من الضروري فهم البنية الخاصة لهذا الملف.

"تحظر كل قاعدة أو تسمح بالوصول لزاحف معين إلى مسار ملف محدد في موقع الويب هذا" كما توضح Google في تعليمات Search Console.

القاعدتان الأساسيتان هما:

• User-agent : يشير إلى اسم روبوت محرك البحث الذي تنطبق عليه القاعدة.
• Disallow : يعيّن دليلًا أو صفحة ، ذات صلة بالنطاق الجذر ، يجب ألا يزحف إليها user-agent . تذكر أنه بشكل افتراضي ، يمكن للروبوت استكشاف صفحة أو دليل لم يتم حظره بواسطة قاعدة Disallow .

دعنا ندرس مثالًا بسيطًا حتى تفهم.

في السطر الأول ، العلامة النجمية * هي ما نسميه البطاقة البرية. يشير إلى جميع روبوتات محركات البحث ( user-agent ).

في السطر الثاني ، لا disallow بالوصول إلى محركات البحث هذه لجميع الأدلة وصفحات موقعك ، عبر الشرطة المائلة / .

لست بحاجة إلى إدخال اسم المجال الخاص بك (على سبيل المثال mysite.com/ ) قبل الشرطة المائلة ، لأن robots.txt يستخدم عناوين URL ذات صلة. ببساطة ، يعرف أن الشرطة المائلة تشير إلى جذر اسم المجال الخاص بك.

من الواضح أن الشفرة أعلاه ليست ذات فائدة تذكر إذا كنت تريد الزحف إلى موقعك وفهرسته. ولكن يمكن أن يكون مفيدًا عندما تكون في مرحلة إنشاء موقعك.

إذا كنت لا تريد نوعًا معينًا من الروبوتات للزحف إلى موقعك ، على سبيل المثال موقع Yahoo (Slurp هو الاسم المرتبط بروبوت Yahoo) ، فسيتعين عليك القيام بذلك:

لمزيد من المعلومات حول أسماء الروبوتات ، أحيلك إلى لقطة الشاشة هذه من موقع Yoast SEO.

بعض القواعد الإضافية

أخبرتك عن User-agent و Disallow ، وهما الأكثر استخدامًا. يجب أن تعلم أن هناك قواعد بناء أخرى ، لكن لا يتم أخذها في الاعتبار من قبل جميع الروبوتات (بواسطة Google ، نعم). من بينها:

• Allow : يسمح باستكشاف دليل فرعي أو صفحة في دليل غير مسموح به ( Disallow ).
• Sitemap : تخبر الروبوتات عن مكان وجود ملف Sitemap الخاص بك. هذا الخط اختياري. أوصيك بإرسال خريطة موقعك إلى محركات البحث عبر أداة مخصصة ، مثل Google Search Console. أشرح لك كيفية القيام بذلك في هذا المنشور.

للتأكد من فهمك ، دعنا نذهب أبعد قليلاً من خلال إعطائك 3 أمثلة جديدة.

كيفية منع الوصول إلى دليل

أطلب من جميع الروبوتات عدم استكشاف جميع محتويات دليل wp-admin .

كيفية منع الوصول إلى صفحة أو ملف

في هذا المثال ، أطلب من جميع الروبوتات عدم فهرسة صفحة تسجيل الدخول إلى WordPress ، وكذلك الصورة.

يمكنك أيضًا مشاهدة رمز # يظهر. يقدم تعليقا. لن يتم أخذ النص الموجود خلفه في الاعتبار.

ضع في اعتبارك أيضًا أن القواعد حساسة لحالة الأحرف.

على سبيل المثال ، Disallow: /myphoto.jpg يتطابق مع http://www.mysite.com/myphoto.jpg ، لكن لا يتطابق مع http://www.mysite.com/Myphoto.jpg .

كيفية إنشاء قواعد مختلفة لروبوتات مختلفة

تتم معالجة القواعد دائمًا من أعلى إلى أسفل. تذكر أنها تبدأ دائمًا بعبارة User-agent ، والتي تشير إلى الروبوت الذي تنطبق عليه القاعدة.

في الأول ، أطلب من جميع الروبوتات عدم فهرسة صفحة تسجيل الدخول ( wp-login.php ).

في السؤال الثاني ، طلبت من برنامج الزاحف الخاص بـ Google (Googlebot) على وجه التحديد عدم الزحف إلى موقعي بالكامل.

كيفية السماح بالوصول إلى ملف في دليل محظور

نستخدم بيان Allow . في هذا المثال ، يتم حظر كل دليل wp-admin ، باستثناء ملف widgets.php .

اعثر على أفضل خبراء WordPress

تم تخصيص Codeable لمطابقتك مع الخبراء الذين يمكنهم مساعدتك في أي شيء بدءًا من تصميم قوالب WordPress أو التثبيت إلى تطوير المكونات الإضافية المخصصة.

جرب Codeable

كيف تتحقق من أن ملف robots.txt الخاص بك يعمل بشكل صحيح؟

للتأكد من إعداد ملفك بشكل صحيح ، يمكنك التحقق منه والتحقق من صحته على Google Search Console ، وهي أداة مجانية وأساسية لإدارة تحسين محركات البحث لموقعك (من بين آخرين).

افتح أداة اختبار ملف robots.txt (تحتاج إلى تسجيل موقع الويب الخاص بك هناك أولاً).

بمجرد إدخال التعليمات التي تختارها في المحرر المقدم ، يمكنك اختبار ملفك.

إذا كان كل شيء على ما يرام ، يجب أن يكون لديك الرسالة التالية في الجزء السفلي من المحرر.

إذا لم يكن الأمر كذلك ، فإن ملفك يحتوي على أخطاء منطقية أو تحذيرات في بناء الجملة. أخيرًا ، تذكر إرسال الملف بالنقر فوق الزر "إرسال".

كيف تقوم بتحسين ملف robots.txt الخاص بك على WordPress؟

ما الذي يجب أن تضعه أو لا تضعه في robots.txt ؟

هل يوجد نموذج محدد مسبقًا يمكن تكييفه مع كل موقع؟

الجواب: نعم ولا.

في الواقع ، كل موقع مختلف وسيكون من الصعب نسخ ولصق ما يقترحه بطرس أو بول أو جيمس على مواقعهم. من المرجح أن تكون مشكلاتهم مختلفة عن تلك التي تواجهك.

ومع ذلك ، يمكننا تزويدك بملف robots.txt أساسي يناسب معظم المواقع:

لأقول لك الحقيقة ، حتى داخل مجتمع WordPress ، من المستحيل جعل الجميع يوافقون. الآراء تختلف.

يدعو البعض ، مثل Joost de Valk ، مؤسس Yoast ، إلى التقليلية. هذا هو في الواقع الاتجاه الحالي .

في جوهرها ، يعتقدون أنه نظرًا لأن Google قادرة على تفسير موقعك بالكامل (بما في ذلك CSS و JavaScript ، وليس فقط HTML) ، فلا ينبغي أن تمنع الوصول إلى ملفات CSS و JavaScript حتى تتمكن من رؤية صفحاتك في مجملها. وإلا فقد يؤثر ذلك على مُحسنات محركات البحث لديك.

للتحقق من أن Google لديها حق الوصول إلى جميع الموارد التي تحتاجها لعرض صفحتك بشكل صحيح ، يمكنك الرجوع إلى Google Search Console. انتقل إلى علامة التبويب "فحص عنوان URL" ، وانقر فوق "عرض الصفحة المختبرة" ثم انقر فوق "لقطة شاشة".

إذا كان موقعك لا يبدو كما ينبغي (على سبيل المثال ، لم يتم تطبيق بعض الأنماط) ، فربما يرجع السبب في ذلك إلى ضرورة مراجعة بعض القواعد في robots.txt الخاص بك.

لكن العودة إلى Yoast. انظر إلى robots.txt الخاص بهم:

كما ترى ، لا شيء محجوب!

يدافع آخرون عن نهج أوسع "وآمن" لموقعك. ينصحون ، من بين أمور أخرى ، بما يلي:

• امنع الوصول إلى دليلين أساسيين في WordPress ، مثل مجلد wp-admin (حيث توجد العناصر الإدارية لموقعك على الويب) ومجلد wp-includes (الذي يضم جميع ملفات WordPress).
• قم بإلغاء فهرسة صفحة تسجيل الدخول (wp-login.php ).
• أو لإلغاء فهرسة ملف readme.html ، لأنه يحتوي على إصدار WordPress الذي تستخدمه.

باختصار ، ليس من السهل أن تجد طريقك من خلال كل هذه التوصيات!

وخلاصة القول ، أنصحك بما يلي:

• التزم بالحد الأدنى إذا لم تكن متأكدًا مما تفعله . خلاف ذلك ، قد تكون العواقب على مُحسنات محركات البحث مؤسفة.
• تأكد من أن ملفك لا يحتوي على أخطاء في Search Console قبل إرساله .

استنتاج

كما رأيت ، يعد ملف robots.txt أداة مثيرة للاهتمام لتحسين محركات البحث لديك. يسمح لك بإخبار روبوتات محرك البحث بما يجب عليهم الزحف إليه وما لا ينبغي عليهم الزحف إليه.

ولكن يجب التعامل معها بحذر. يمكن أن يؤدي التكوين السيئ إلى إلغاء فهرسة موقعك بالكامل (على سبيل المثال ، إذا كنت تستخدم Disallow: / ). لذا كن حذرا!

لإنهاء هذا المنشور ، دعنا نقدم ملخصًا. عبر هذه السطور ، قمت بالتفصيل:

• ما هو ملف robots.txt .
• كيفية تثبيته على WordPress .
• كيفية تحسين robots.txt الخاص بك على WordPress لتحسين محركات البحث.

حان الآن دورك. أخبرني إذا كنت تستخدم هذا النوع من الملفات وكيف تقوم بإعداده.

شارك بأفكارك وملاحظاتك في التعليقات.