كيفية إضافة ملف Robots Txt إلى WordPress (في 3 خطوات بسيطة)

تعد إضافة ملف robots.txt إلى موقع WordPress الخاص بك عملية بسيطة يمكن إجراؤها في بضع خطوات. ملف robots.txt هو ملف نصي يخبر برامج زحف محركات البحث بالصفحات الموجودة على موقع الويب الخاص بك والتي يجب فهرستها وأيها يجب تجاهلها. من خلال استبعاد صفحات معينة من الفهرسة ، يمكنك تحسين محرك البحث (SEO) لموقعك. هناك عدة طرق مختلفة لإضافة ملف robots.txt إلى WordPress. أسهل طريقة هي استخدام مكون إضافي مثل Yoast SEO أو All in One SEO Pack ، والتي ستنشئ تلقائيًا ملف robots.txt لك. بدلاً من ذلك ، يمكنك إنشاء ملف robots.txt بنفسك وتحميله إلى موقع WordPress الخاص بك عبر FTP. أيًا كانت الطريقة التي تختارها ، تأكد من اختبار ملف robots.txt قبل تفعيله للتأكد من أنه يعمل على النحو المنشود.

يعد الحصول على تواجد في محركات البحث لكلمات رئيسية محددة أمرًا ضروريًا لأصحاب مواقع الويب لأنه يضمن ظهور موقعهم في SERP. يمكن لمشرفي المواقع تعيين مقدار الوقت الذي تقضيه روبوتات محرك البحث داخل وخارج مواقع الويب عن طريق إدراج التعليمات في ملف robots.txt ، وهو ملف خاص. في هذا البرنامج التعليمي ، سأوضح لك كيفية إضافة ملف "robots.txt" إلى موقع WordPress الخاص بك لمنع محركات البحث من الوصول إلى أجزاء معينة من موقعك. اتصل بمنصة Cloudways باستخدام FileZilla. يمكنك إنشاء ملف جديد يسمى robots.txt في / applications / [FOLDER NAME] / public_html. افتح الملف في محرر نصوص (المفكرة بديل جيد). تسمح إعدادات أحرف البدل بتنزيل أنواع معينة من الملفات.

لا يوجد حد للخيارات / التحديدات التي يمكن أن تتعامل معها علامة النجمة (*. علاوة على ذلك ، إذا تم تحديد امتداد معين ، يمكنك تحديد عدد الملفات التي يمكن إيقاف تشغيلها. Robots.txt هو ملف رائع لاستخدامه في تحسين محركات البحث الأغراض. يعود الأمر إليك في عدد أجزاء موقع WordPress الخاص بك التي تريد ظهورها في SERP. إذا كان موقعك يحتوي على خريطة موقع ، فيجب عليك تضمين عنوان URL لمساعدة محركات البحث في تحديد موقعه. لا يُطلب من الدلائل في كثير من الأحيان فهرستها بواسطة محركات البحث. ونتيجة لذلك ، يمكن أن تتم فهرسة الصفحة بشكل أسرع.

نتيجة لذلك ، يجب عليك تضمين ملف robots.txt في البرامج النصية لموقع الويب الخاص بك حتى تمتنع محركات البحث عن فهرسة أجزاء معينة. إذا تم تكوين موقعك بشكل غير صحيح (مثل حذف /) ، فسيتم إلغاء فهرسته بواسطة Google. يجب أن تكون حذرًا أيضًا. لديك الفرصة لإكمال المهمة. من فضلك أخبرني إذا كنت تستخدم هذا النوع من الملفات وما هي الإعدادات الخاصة به.

يعد txt أحد أبسط تنسيقات الملفات للاستخدام. تمت برمجة الروبوتات على "السماح" (أي فهرستها) و "عدم السماح" (أي رفضها) بناءً على الصفحات التي يريدون رؤيتها. سيتم استخدام الأخير مرة واحدة فقط لسرد الصفحات التي لا تريد أن تزحف العناكب عليها.

يمكن استخدام ملف نصي يسمى txt من قبل موقع ويب لتقديم إرشادات لروبوتات الزحف على الويب. تستخدم Google ومحركات البحث الأخرى زاحف الويب ، المعروف أيضًا باسم روبوتات الويب ، لأرشفة مواقع الويب وتصنيفها. عادةً ما يتم استخدام بحث الروبوت في برامج الروبوت.

يمكن إضافة Robots.txt إلى ملف على الإنترنت. للاطلاع على توجيهات موقع الويب (إذا كان الموقع يحتوي على روبوتات) ، أرسل عنوان URL إلى نهاية أي مجال جذر.

أين أضع Robots Txt File WordPress؟

قم بإنشاء قائمة بروبوتات FTP الخاصة بك بالانتقال إلى القسم الأيسر من عميل FTP (نحن نستخدم Filezilla). لقد قمت بحفظ ملف txt الذي قمت بإنشائه مسبقًا على جهاز الكمبيوتر الخاص بك. يمكنك تحميله بالنقر بزر الماوس الأيمن عليه واختيار تحميل. سيتم تحميل الملف في غضون لحظات ، وستتمكن من رؤيته في دليل WordPress الجذر الخاص بك.

يوجد ملف robots.txt في دليل WordPress الجذر الخاص بك وهو ملف نصي. لمنح روبوتات محرك البحث فكرة عن الصفحات التي يجب الزحف إليها على موقع الويب الخاص بك ، فإنه يعرض قائمة بالصفحات التي يجب الزحف إليها ويجب عدم الزحف إليها. من الممكن توجيه الملف لتجنب الزحف بدلاً من الفهرسة. في الحالات التي تتسبب فيها الروبوتات السيئة في إتلاف موقع الويب الخاص بك ، فمن الضروري وجود مكون إضافي للأمان. يقوم WordPress بإنشاء ملف robots.txt افتراضي لكل موقع ويب يستخدمه. إذا كنت تريد تغيير شيء ما ، فلديك ثلاثة خيارات. يعد المكون الإضافي Yoast SEO ، أحد أكثر الأدوات شيوعًا لتحسين مواقع الويب ، خيارًا ممتازًا.

يوفر All in One SEO ، وهو مكون إضافي مجاني لتحسين محركات البحث ، مجموعة متنوعة من الميزات الإضافية. إذا كنت قد استخدمت FTP من قبل ، فأنت تعلم أنه يمكنك تحميل ملفات robots.txt إلى الخادم الخاص بك. سترى قسمًا جديدًا في ملف robots.txt يسمى Robots.txt حيث يمكنك إضافة قواعد وتوجيهات إلى الملف بعد ذلك. User-agent و Disallow كلاهما توجيهان مضمنان في هذا الملف. إذا كنت تريد تحديد روبوت واحد (مثل Bingbot) ، أو إذا كنت تريد تطبيق التوجيهات على جميع برامج الروبوت ، فأدخل علامة النجمة (User-agent: *). تفرط طلبات الزحف المفرطة في تحميل الخادم ، مما يؤدي إلى استخدام توجيه تأخير الزحف. نظرًا لعدم وجود برامج زحف تدعم هذا التوجيه ، فمن الأفضل استخدامه بحذر.

سيتم توجيه محركات البحث إلى ملف خريطة موقع XML الخاص بك إذا كنت تستخدم توجيه خريطة الموقع. في الأقسام التالية ، سنعرض لك نموذجين من المقتطفات يوضحان استخدام توجيهات robots.txt. يحتوي كل موقع WordPress على ملف robots.txt في دليل الجذر الخاص به. في ذلك ، سيتم إعطاء برامج الزحف إرشادات حول أقسام موقع الويب الخاصة بك التي يجب عليهم البحث فيها. يجب أو لا ينبغي أن يزحفوا على الأرض. أثناء مناقشتنا ، تناولنا طرق إنشاء نسخة مادية من الملف وكيفية تحريره.

هل يجب عليك إضافة ملف Robots.txt إلى موقع الويب الخاص بك على WordPress؟

بمجرد تثبيت WordPress ، سيقوم تلقائيًا بإنشاء ملف robots.txt. يقوم مفهرس محرك البحث بإعداد هذا الدليل لتحديد الصفحات التي تتم فهرستها على الموقع. لا يلزم إضافة ملفات Robots.txt إلى مواقع WordPress في معظم الحالات. ومع ذلك ، لزيادة تصنيفات محرك البحث ، يمكنك إضافة ملف robots.txt لإدارة فهرس محرك البحث.

كيف يمكنني فتح ملف Robots Txt في WordPress؟

هناك عدة طرق لفتح ملف robots.txt في WordPress. إحدى الطرق هي الانتقال ببساطة إلى مجلد تثبيت WordPress وفتح الملف في محرر نصي. هناك طريقة أخرى وهي استخدام مكون إضافي مثل WP Robots Txt لتحرير الملف من داخل منطقة إدارة WordPress.

يوجد ملف robots.txt في كل موقع ويب تقريبًا ، لكن معظم الناس لا يفهمون ما يفعله أو كيفية استخدامه. في هذا الدليل ، سنلقي نظرة على الملف والقيود المفروضة عليه لمعرفة كيفية إدارة الوصول إلى موقع الويب الخاص بك. حتى إذا كانت الصفحة تحتوي على روابط تشير إليها ، فقد تستمر فهرستها بواسطة محركات البحث إذا تم حظرها بواسطة ملف robots.txt. لن تصل Google إلى المناطق المحددة في موقعك. يمكن إضافة علامة noindex إلى صفحة لم تحظرها Google ، وفقًا لجون مولر ، محلل مشرفي المواقع من Google. يمكنك استخدام البرنامج المساعد Yoast SEO الشهير لإنشاء قالب تحسين محركات البحث (وتحريره لاحقًا). ضع ملف robots.txt في المكان المناسب عن طريق النقر بزر الماوس الأيمن على واجهة Yoast.

وبالمثل ، يمكنك تنفيذ هذا النوع من التكامل في المكون الإضافي All in One SEO. يرجى مواصلة القراءة للحصول على مزيد من المعلومات حول الأنواع المختلفة من التعليمات التي يجب تحديدها في ملف robots.html في WordPress الخاص بك. قبل إضافة القواعد ، يجب عليك أولاً تحديد وكيل المستخدم الذي يجب أن تنطبق القاعدة عليه ، متبوعًا بعدد القواعد التي يجب تطبيقها باستخدام Disallow و Allow. قد يكون عدم السماح بالوصول إلى مجلد ومجلداته الفرعية مع السماح بالوصول إلى مجلد معين لطفل معين فكرة جيدة إذا كنت تريد تقييد الوصول إلى مجلد ومجلداته الفرعية. يسمح لك السماح بمنح حق الوصول إلى ملف معين داخل مجلد معين ولكنه يمنعك من الوصول إلى مجلد بأكمله. يستخدم WordPress معامل استعلام يسمى؟ s = عند التعامل مع الاستعلامات. ما عليك سوى إضافة القاعدة التالية لتهيئة حظر على الوصول.

يمكن أيضًا تجنب أخطاء Soft 404 باستخدام هذه الميزة ، وكذلك عن طريق حظرها في حالة حدوثها. حتى إذا كنت تستهدف منطقة معينة خارج الولايات المتحدة ، فليس من الضروري منع Googlebot من دخول البلد. غوغل منزعج من عدم فهم أمر ذي طابع غير مرئي. من المؤسف أن هذا يبطل السطر الأول من ملف robots.txt الخاص بنا. يختلف الأمر عن استخدام علامة noindex في ملفات robots.txt ، والتي يشار إليها بأوامر Disallow. من ناحية أخرى ، لا يقوم Bots.txt بالفهرسة ، ولكنه يمنع الزحف. يمكنك استخدامه لتكوين كيفية تفاعل محركات البحث والروبوتات الأخرى مع موقع الويب الخاص بك عن طريق إضافة قواعد محددة. ليس من الضروري تغيير ملف robots.html الافتراضي لمعظم الأشخاص الذين لا يستخدمون WordPress على الإطلاق. ومع ذلك ، يمكنك إضافة القواعد الخاصة بك إذا كانت لديك مشكلات مع روبوت أو مكون إضافي معين.

كيفية إضافة ملف Robots.txt إلى موقعك

إذا كنت تستخدم WordPress ، فيمكنك بسهولة إضافة هذا الملف إلى موقعك باستخدام معالج إضافة صفحة جديدة. بعد ذلك ، في حقل عنوان URL للملف ، أدخل عنوان URL لملف robots.txt. يمكن أيضًا إضافة هذا الملف إلى صفحة WordPress بالنقر فوق عنصر قائمة إدارة الصفحات في لوحة المعلومات.
إذا كنت لا تستخدم WordPress ، فقد تحتاج إلى إضافة ملف robots.txt إلى موقعك بطريقة مختلفة. إذا كان لديك عميل FTP مثبتًا على جهاز الكمبيوتر الخاص بك ، فيمكنك بسهولة إضافة هذا الملف ؛ إذا كان لديك مدير ملفات مثبتًا على جهاز الكمبيوتر الخاص بك ، فيمكنك إضافته بسهولة.

هل أحتاج إلى ملف Robots Txt File WordPress؟

لا توجد إجابة محددة لهذا السؤال ، لأنه يعتمد على موقع WordPress المحدد المعني ونوع المحتوى أو الوظيفة التي يمتلكها. بشكل عام ، ومع ذلك ، فإن ملف robots.txt ليس ضروريًا تمامًا لـ WordPress ، على الرغم من أنه قد يكون مفيدًا في بعض الحالات. على سبيل المثال ، إذا كان موقع WordPress يحتوي على الكثير من المعلومات الحساسة أو السرية ، فيمكن استخدام ملف robots.txt لمنع محركات البحث من فهرسة هذا المحتوى.

ملف robots.txt هو ملف نصي بسيط يخبر محركات البحث أين ومتى لا ينبغي أن يزحف إلى موقع الويب الخاص بك. يمكنك منع محركات البحث من الوصول إلى ملفات ومجلدات مختلفة على موقعك باستخدام هذه الميزة. في هذه المقالة ، سوف نوضح لك كيفية إنشاء واحد ونقدم لك بعض المكونات الإضافية التي نوصي بها ، مما يتيح لك القيام بالعمل بنفسك. يتضمن كل محرك بحث وكيل مستخدم للزحف على الويب في نتائج البحث الخاصة به. Googlebot ، على سبيل المثال ، يفهرس محتوى موقع الويب الخاص بك لمحرك بحث Google. لديك خيار تكوين تعليمات مخصصة لكل من وكلاء المستخدم. يمكن الوصول إلى ملف robots.txt عن طريق كتابة "/robots.txt" بعد اسم المجال.

يمكنك توجيه الروبوت إلى عدم عرض أي صفحات على الموقع بعد استرداد قيمة الشرطة المائلة باتباع الرابط. يتم تعريف الزحف إلى الميزانية على أنه عدد عناوين URL التي يمكن لروبوت محرك البحث الزحف إليها في الجلسة. سيكون لكل موقع ميزانية محددة للزحف. إذا كان لديك الكثير من الصفحات على موقع الويب الخاص بك ، فيجب عليك التحقق لمعرفة ما إذا كان الروبوت يقوم بالزحف إلى صفحاتك الأكثر قيمة أولاً. يتيح لك المكون الإضافي Yoast SEO الخاص بـ WordPress إنشاء ملفات robots.txt بسهولة من لوحة التحكم. بعد ذلك ، استخدم عميل FTP مثل Filezilla لتحميل الملف يدويًا. إذا كنت تريد عرض الملف على موقع الويب الخاص بك ، فتأكد من وجوده في المجلد الجذر.

لإنشاء واحد ، ستحتاج إلى استخدام محرر نصوص مثل Notepad إذا لم يكن الملف موجودًا. يجب أن يكون ملف robots.txt موجودًا دائمًا في جذر موقع الويب الخاص بك. ستستمر محركات البحث في الزحف إلى موقعك وفهرسته بغض النظر عما إذا كان لديك هذا الملف أم لا. من السهل اختبار ملف robots.txt الخاص بك في Google Search Console. بالنقر فوق "إضافة خاصية الآن" ، يمكنك إضافة موقع الويب الخاص بك إلى بحث Google في غضون دقائق. من الأهمية بمكان الحفاظ على ميزانية زحف محددة على كل موقع ويب. يجب عليك حساب عدد الصفحات التي يجب على الروبوت زيارتها أثناء الجلسة. إذا لم يكمل الروبوت الزحف إلى جميع الصفحات على موقعك أثناء الجلسة ، فسيعود إلى موقعك ويستأنف الزحف في الجلسة التالية. يتمثل الحل السريع في منع روبوتات البحث من الزحف إلى الصفحات غير الضرورية وملفات الوسائط والمكونات الإضافية ومجلدات السمات وما إلى ذلك ، وبالتالي توفير حصة الزحف الخاصة بك.

ببساطة ، أضف السطر التالي إلى ملف robots.txt الخاص بك: الوكلاء: المستخدمون. خدمة Googlebot قيد الاستخدام حاليًا. إذا لم يكن لديك ملف robots.txt ، فسيقوم Googlebot بالزحف إلى صفحاتك وفهرستها تلقائيًا في محرك البحث.

لماذا يجب عليك إضافة ملف Robots.txt لتحسين محرك البحث الخاص بك

يمكنك زيادة تصنيف محرك البحث لموقع الويب الخاص بك عن طريق تنزيل ملف robots.txt. ستبحث برامج الزحف عن هذا الملف في جذر موقع الويب الخاص بك لمعرفة ما إذا كان المحتوى مسموحًا به أم لا ولماذا.

تحرير Robots.txt WordPress

إذا كنت ترغب في تعديل ملف robots.txt الخاص بك ، فيمكنك القيام بذلك عن طريق الانتقال إلى لوحة معلومات WordPress الخاصة بك ثم النقر فوق علامة التبويب "الإعدادات". من هناك ، ستجد قسم "القراءة" حيث يمكنك تعديل ملف robots.txt الخاص بك.

يقوم ملف robots.txt ، بالإضافة إلى إخبار محركات البحث بالمكان الذي يُسمح له بالذهاب إليه ، بإخبارهم أيضًا بكيفية الزحف إليه. إذا وجهت برامج الروبوت الخاصة بك بعدم الزحف إلى صفحات غير ضرورية على موقعك ، فيمكنك زيادة سرعة تحميله وربما ترتيب أعلى في محركات البحث. في هذا المنشور ، سنوضح لك كيفية تحرير ملف robots.html باستخدام WordPress. ملف robots.txt مطلوب لبعض الأسباب. عند استخدام علامة meta noindex بدلاً من ملف robots.txt عند تحميل موقع ويب. لماذا يهم كثيرا في حياتنا. بينما يسمح لك النظام بتحديد محركات البحث وبرامج الروبوت الأخرى التي تتفاعل مع موقع الويب الخاص بك ، فإنه لا يمنع صراحة محركات البحث أو برامج الروبوت الأخرى من فهرسة المحتوى الخاص بك.

دعنا نلقي نظرة على كيفية تحرير ملفات robots.html في WordPress خطوة بخطوة باستخدام AIOSEO. تتيح لك أداة إنشاء القواعد إنشاء القواعد الخاصة بك لصفحات معينة قد تزورها الروبوتات أو لا تزورها. عند إنشاء قاعدة مخصصة ، يمكنك إدخال وكيل المستخدم (على سبيل المثال ، Googlebot crawler ) في حقل وكلاء المستخدم. يجب إدخال مسار الدليل أو اسم الملف في حقل مسار الدليل بعد تحديد برامج الروبوت التي يجب السماح بها أو رفضها. إذا قمت بحفظ القواعد الجديدة الخاصة بك ، فستظهر في قسم معاينة ملف Robots.txt. يمكنك رؤية ملف robots.txt الخاص بك عن طريق النقر فوق "فتح الروبوتات". سيتم إرسال هذا النص إلى جهازك المحمول بمجرد توفره. فقط عن طريق كتابة تفاصيل القواعد الخاصة بك ، يمكنك تعديلها. سيتم عرض بعض الأمثلة على حذف القواعد في قسم منفصل.

ملف Robots.txt الافتراضي لبرنامج WordPress

إذا قمت بإنشاء موقع WordPress ولم تقم بإنشاء ملف robots.txt مخصص ، فسيقوم موقعك تلقائيًا بإنشاء ملف robots.txt افتراضي يتضمن ما يلي: User-agent: * Disallow: / السطر الأول ، User-agent: * ، ينطبق على جميع برامج زحف الويب . السطر الثاني ، Disallow: / ، يوجه جميع برامج زحف الويب إلى عدم فهرسة أي صفحات على موقعك. هذا هو الإعداد الأكثر تقييدًا ، ولا يوصى به لمعظم مواقع WordPress.

سيسمح لك استخدام ملف robots.txt جيد التنظيم بتوجيه روبوتات محرك البحث إلى موقع الويب الخاص بك. يُقال لهم أن يبقوا على مسافة من تلك الغرف أثناء نظرهم إليها. حتى إذا لم تكن معالجًا تقنيًا ، يمكنك إنشاء هذا الملف لتلبية احتياجاتك ، حتى إذا كنت لا تعرف أي تشفير. عند إنشاء موقع ويب WordPress ، فإنه ينشئ ملف robots.txt افتراضيًا لك. يُمنع الروبوتات من الوصول إلى المسؤول ويتضمن WP-الدلائل بناءً على هذا الملف. لإجراء تغييرات ، يجب أولاً إنشاء ملف جديد ثم تحميله إلى المجلد الجذر. يمكن تحرير ملف robots.txt في WordPress بطريقتين: عبر مكون إضافي أو يدويًا.

لقد أنشأنا مجموعة جديدة من القواعد لمنع روبوت بحث Bing من الزحف عبر موقعنا في هذا المثال. من شبه المؤكد أن معظم برامج الروبوت ستتبع تعليماتك الواردة في هذا الملف ، لكنك لا تحاول إجبارهم على ذلك. بعد تثبيت وتفعيل المكون الإضافي Yoast SEO لـ WordPress ، ستتمكن من تحرير ملفات robots.txt مباشرة من لوحة معلومات WordPress. حزمة All-in-One SEO Pack هي حزمة SEO الأخرى التي يجب البحث عنها عندما يتعلق الأمر بـ WordPress SEO ، كما أنها سهلة الاستخدام للغاية. Yoast هو منتج مشابه له ، لكنه أخف وزنا بكثير. الأمر بسيط مثل كتابة بضعة أسطر من النص في Notepad أو TextEdit لإنشاء ملف robots.txt. لاختبار الملف ، قم بتحميله عبر FTP ثم استخدم Google Search Console.

تتضمن حزمة All In One SEO Pack أداة يمكن استخدامها لحظر الروبوتات "السيئة". إذا كنت ترغب في زيادة ظهور موقعك ، فمن الأهمية بمكان أن تقوم روبوتات محرك البحث بالزحف إلى المعلومات الأكثر صلة. تجعل ملفات WordPress robots.txt من السهل تحديد كيفية تفاعل برامج الروبوت الخاصة بك مع موقعك. سيكون من الأسهل عليهم تقديم محتوى ذي صلة ومفيد لمحركات البحث.

كيفية تحديث ملف Robots.txt WordPress الخاص بك

إذا كان جذر موقع الويب لا يحتوي على ملف مادي ، يقوم WordPress بإنشاء ملف robots.txt افتراضي. لتمكين الملف الظاهري ، يجب عليك أولاً تجاوزه باتباع الخطوات التالية: افتح المتصفح وانتقل إلى الدليل الجذر لموقع الويب الخاص بك.
تحقق من ملف robots.txt.
يرجى إجراء أي تغييرات ضرورية على الملف.
تحقق لمعرفة ما إذا كنت قد حفظت الملف.
يجب إعادة تحميل موقع الويب الخاص بك.
يمكن تحديث ملف robots.txt بالذهاب إلى قائمة "الإضافات" في الشريط الجانبي الأيسر والبحث عنها. قم بإجراء أي تغييرات على ملف robots.txt عن طريق تحديد "إعدادات" من القائمة.