كيفية تحرير ملف Robots.txt في WordPress
نشرت: 2019-09-09في هذا الأسبوع ، نتعامل مع استعلام آخر لدى مستخدمي WP المبتدئين - كيفية تحرير ملف robots.txt في WordPress. السبب وراء ذلك بسيط بما يكفي - فهو يفيد جهود تحسين محركات البحث لديك . يعد ملف robots.txt أداة قوية بشكل لا يصدق في مُحسّنات محرّكات البحث لأنه يعمل كدليل موقع ويب لروبوتات الزحف في محرك البحث . هذا هو السبب في أن خبراء WordPress يدركون أهميتها وأفضل طريقة لتطبيقها في تحسين موقعهم. هنا نأخذك خطوة بخطوة حول الموضوع بأكمله .
نبدأ بتعريف أكثر تفصيلاً لملف robots.txt
تحتاج روبوتات محركات البحث إلى إرشادات حول كيفية الزحف إلى الصفحات الداخلية لموقعك وفهرستها . هذا هو المكان الذي تدخل فيه ملفات robots.txt. يحدد هذا الملف بنية صفحاتك ، مما يسهل قراءتها وتقييمها بواسطة روبوتات محرك البحث.
يمكنك عادةً العثور على ملف robots.txt المخزن بعيدًا في الدليل الجذر. يُعرف هذا الدليل أيضًا بأنه المجلد الرئيسي لموقع الويب الخاص بك بالكامل . قبل أن ندخل في كيفية تحرير ملف robots.txt في WordPress ، نحتاج أولاً إلى معرفة كيفية التعرف عليه. إذن ، هذا مثال على كيفية ظهور ملف robots.txt النموذجي:
| 1 2 3 4 5 6 7 8 | وكيل المستخدم: [اسم وكيل المستخدم] Disallow: [سلسلة عنوان URL لا يجب الزحف إليها] وكيل المستخدم: [اسم وكيل المستخدم] السماح: [سيتم الزحف إلى سلسلة عنوان URL] خريطة الموقع: [عنوان URL لملف XML Sitemap الخاص بك] |
يوفر الملف نفسه مساحة كبيرة للتخصيص ، مثل السماح / عدم السماح بعناوين URL معينة أو إضافة ملفات sitemap متعددة . لذلك ، إذا كان لديك عنوان URL لا تريد أن تقوم روبوتات محرك البحث بالزحف إليه وترتيبه ، فأنت بحاجة إلى عدم السماح له من خلال ملف robots.txt. فيما يلي مثال على السماح / عدم السماح لروبوتات محرك البحث بالزحف إلى عناوين URL معينة:
| 1 2 3 4 5 6 | وكيل المستخدم: * السماح: / wp-content / uploads / Disallow: / wp-content / plugins / Disallow: / wp-admin / خريطة الموقع: https://example.com/sitemap_index.xml |
أخيرًا ، أضفنا خريطة الموقع إلى المزيج ، مما يجعل عنوان URL مرئيًا لروبوتات محرك البحث.
أهمية وجود ملف robots.txt في WordPress
الشيء المهم الذي يجب فهمه هو أنه حتى إذا لم يكن لديك ملف robots.txt ، فإن روبوتات محرك البحث ستستمر في الزحف إلى صفحاتك . ومع ذلك ، سوف يزحفون كل منهم. لن تتمكن من طلب الصفحات التي يجب عليهم الزحف إليها أو لا ينبغي عليهم الزحف إليها.
بالنسبة لمواقع WP الجديدة ، قد لا يمثل ذلك مشكلة كبيرة أو مشكلة. ومع ذلك ، بالنسبة لتلك المواقع ذات المحتوى اللامتناهي ، ستحتاج إلى تحكم أفضل في كيفية الزحف إليها وفهرستها . يوفر ملف robots.txt طريقة مناسبة للحفاظ على موقع WordPress الخاص بك وكيف تراه روبوتات محرك البحث.
لماذا هذا مهم جدا ، لتبدأ؟
يحتوي كل موقع على حصة زحف - هذه هي الطريقة التي تعمل بها روبوتات محرك البحث. هذا يعني أن برامج الروبوت ستزحف إلى موقع الويب الخاص بك صفحة واحدة في كل مرة. إذا فشلوا في إنهاء الزحف إلى جميع صفحاتك أثناء جلسة واحدة ، فسوف يستأنفون الزحف في المرة التالية. وهذا شيء يمكن أن يبطئ بشكل كبير من فهرسة موقعك ( معدل الفهرسة ) .
ومع ذلك ، عندما تقوم بتحرير ملف robots.txt في WordPress لمنع الزحف إلى صفحات معينة ، فإنك تحفظ حصة الزحف الخاصة بك . تتضمن الصفحات الأكثر شيوعًا وغير الضرورية التي لا يسمح بها مستخدمو WP عادةً صفحات إدارة WordPress والمكونات الإضافية والسمات. بمجرد إزالة هذه الصفحات ، فإنك تمنح برامج الزحف مساحة أكبر لفهرسة الصفحات الأخرى ذات الصلة على موقعك.
كيف يجب أن يبدو ملف robots.txt المثالي في WordPress؟
تختار مواقع المدونات الشهيرة مثالًا مبسطًا لملف robots.txt - وهو نموذج يختلف وفقًا لاحتياجات ذلك الموقع:
| 1 2 3 4 5 | وكيل المستخدم: * عدم السماح: خريطة الموقع: https://www.example.com/post-sitemap.xml خريطة الموقع: https://www.example.com/page-sitemap.xml |
يوضح هذا المثال كيفية السماح للروبوتات بفهرسة كل المحتوى ، مع إعطائها رابطًا إلى خريطة موقع XML الخاصة بموقع الويب في هذه العملية.
ومع ذلك ، هذا هو النموذج الموصى به لمستخدمي موقع WordPress كيفية تحرير ملف robots.txt في WordPress :
| 1 2 3 4 5 6 7 8 9 | وكيل المستخدم: * السماح: / wp-content / uploads / Disallow: / wp-content / plugins / Disallow: / wp-admin / Disallow: /readme.html Disallow: / إحالة / خريطة الموقع: https://www.example.com/post-sitemap.xml خريطة الموقع: https://www.example.com/page-sitemap.xml |
هنا ، يمكنك أن ترى بوضوح أنه يتم توجيه برامج الروبوت لفهرسة جميع صور وملفات WP . ومع ذلك ، فإنه يمنع أيضًا روبوتات محرك البحث من فهرسة ما يلي:
- ملفات البرنامج المساعد WP
- منطقة إدارة الفسفور الابيض
- ملف WP readme
- الروابط التابعة
الأسباب التي تجعلك تضيف رابطًا إلى خريطة موقع XML الخاصة بك هي تسهيل عثور الروبوتات على جميع الصفحات الموجودة على موقعك.
كيفية إنشاء وتحرير ملف robots.txt في WordPress
مثل كل WordPress ، هناك حلول متعددة الاستخدامات لكل مهمة. لذلك ، هناك طريقتان في الواقع لإنشاء ملف robots.txt في WordPress:
الحل رقم 1: استخدام Yoast SEO لتحرير ملف robots.txt في WordPress
إذا كنت تستخدم المكون الإضافي Yoast SEO ، فأنت محظوظ! يأتي المكون الإضافي مع منشئ ملفات robots.txt . ويمكنك استخدام هذا المُنشئ لإنشاء ملف robots.txt وتحريره مباشرةً من لوحة معلومات دور المسؤول. 
كل ما عليك فعله هو الانتقال إلى SEO >> صفحة الأدوات كمسؤول . بمجرد الوصول إلى هناك ، انقر فوق ارتباط محرر الملفات. يجب أن تحتوي الصفحة التي تقودك إليها على ملف robots.txt الحالي. وفي حالة عدم حدوث ذلك ، فسيقوم Yoast SEO بإنشاء ملف لك. ستنشئ بعض إصدارات Yoast SEO ملفًا افتراضيًا بالشكل التالي:
| 1 2 | وكيل المستخدم: * عدم السماح: / |
بمجرد حدوث ذلك ، يجب عليك التأكد من حذف هذا النص لأنه بخلاف ذلك سيمنع جميع برامج الروبوت من الزحف إلى موقع الويب الخاص بك. بمجرد إزالة النص الافتراضي ، تأكد من إدخال نسختك الخاصة من البرنامج النصي robots.txt. يمكنك استخدام النموذج الذي شاركناه سابقًا.
بمجرد الانتهاء من تحرير الملف ، ما عليك سوى النقر فوق " حفظ ملف robots.txt " وتخزين تغييراتك.
الحل الثاني: استخدام FTP لتحرير ملف robots.txt يدويًا في WordPress
يتطلب هذا الأسلوب الخاص استخدام عميل FTP لتحرير الملف. لذا ، فإن أول شيء تريد القيام به هو استخدام عميل FTP للاتصال بحساب استضافة WordPress الخاص بك . بمجرد الوصول إلى هناك ، ستجد ملف robots.txt في المجلد الجذر لموقع الويب الخاص بك. 
إذا لم تتمكن من العثور على ملف robots.txt ، فمن المحتمل ألا يحتوي موقع WP الخاص بك على ملف. إذا كانت هذه هي الحالة ، يمكنك المضي قدمًا وإنشاء واحدة. بالنظر إلى حقيقة أن ملف robots.txt هو ملف نصي عادي ، يمكنك ببساطة تنزيله ثم تحريره في أي محرر عادي مثل Notepad أو TextEdit . بمجرد تحرير الملف ، يمكنك ببساطة تحميله مرة أخرى إلى المجلد الجذر لموقع الويب الخاص بك.
بمجرد تحرير ملف robots.txt في WordPress ، تأكد من اختباره
يعد الاختبار دائمًا الخطوة المنطقية التالية لمتابعة التحرير. وهذا مهم بشكل خاص في الحالات التي تتضمن ملف robots.txt لأسباب ذكرناها سابقًا. لا داعي للقلق - هناك أدوات يمكنك استخدامها لاختبار ذلك. أكثر ما نوصي به هو Google Search Console .
قم بإنشاء حساب إذا لم يكن لديك حساب ، وبمجرد تسجيل الدخول ، قم بالتبديل إلى موقع ويب وحدة تحكم بحث Google القديم . بمجرد أن تكون الواجهة القديمة أمامك ، ستحتاج إلى تشغيل أداة اختبار ملف robots.txt . الأداة موجودة ضمن قائمة " الزحف ". ستقوم هذه الأداة تلقائيًا بسحب ملف robots.txt لموقع الويب الخاص بك وتمييز أي أخطاء يعثر عليها.
افكار اخيرة
في الختام ، يعد امتلاك ملف robots.txt أداة مهمة جدًا في تعزيز سبب استراتيجيات تحسين محركات البحث. ومن ثم ، فإن تعلم كيفية إنشاء وتحرير ملف robots.txt في WordPress هو بالتأكيد خطوة للأمام . لأية أسئلة أو دروس إضافية عندما يتعلق الأمر بـ WordPress ، قم بزيارة مدونتنا أو اتصل بنا مباشرة.