วิธีเพิ่มไฟล์ Robots Txt ไปยัง WordPress (ใน 3 ขั้นตอนง่ายๆ)

การเพิ่มไฟล์ robots.txt ลงในไซต์ WordPress เป็นกระบวนการง่ายๆ ที่สามารถทำได้ในไม่กี่ขั้นตอน ไฟล์ robots.txt เป็นไฟล์ข้อความที่บอกโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาว่าหน้าใดในเว็บไซต์ของคุณที่พวกเขาควรทำดัชนีและหน้าใดที่ควรละเว้น คุณสามารถปรับปรุงการเพิ่มประสิทธิภาพกลไกค้นหา (SEO) ของเว็บไซต์ของคุณได้ด้วยการยกเว้นบางหน้าจากการจัดทำดัชนี มีหลายวิธีในการเพิ่มไฟล์ robots.txt ใน WordPress วิธีที่ง่ายที่สุดคือการใช้ปลั๊กอิน เช่น Yoast SEO หรือ All in One SEO Pack ซึ่งจะสร้างไฟล์ robots.txt ให้คุณโดยอัตโนมัติ หรือคุณสามารถสร้างไฟล์ robots.txt ด้วยตัวเองและอัปโหลดไปยังไซต์ WordPress ของคุณผ่าน FTP ไม่ว่าคุณจะเลือกวิธีใด อย่าลืมทดสอบไฟล์ robots.txt ก่อนเผยแพร่เพื่อให้แน่ใจว่าทำงานตามที่ตั้งใจไว้

การได้รับสถานะในเสิร์ชเอ็นจิ้นสำหรับคีย์เวิร์ดเฉพาะเป็นสิ่งสำคัญสำหรับเจ้าของเว็บไซต์ เพราะจะช่วยให้มั่นใจได้ว่าไซต์ของพวกเขาปรากฏใน SERP เว็บมาสเตอร์สามารถกำหนดระยะ เวลาที่โรบ็อตของเครื่องมือค้นหา ใช้ในและนอกเว็บไซต์ได้โดยการแทรกคำแนะนำลงใน robots.txt ซึ่งเป็นไฟล์พิเศษ ในบทช่วยสอนนี้ ฉันจะแสดงวิธีเพิ่มไฟล์ 'robots.txt' ลงในเว็บไซต์ WordPress ของคุณเพื่อป้องกันไม่ให้เสิร์ชเอ็นจิ้นเข้าถึงส่วนเฉพาะของไซต์ของคุณ เชื่อมต่อกับแพลตฟอร์ม Cloudways โดยใช้ FileZilla คุณสามารถสร้างไฟล์ใหม่ชื่อ robots.txt ใน /applications/ [FOLDER NAME]/public_html เปิดไฟล์ในโปรแกรมแก้ไขข้อความ (Notepad เป็นทางเลือกที่ดี) การตั้งค่าไวด์การ์ดอนุญาตให้ดาวน์โหลดไฟล์บางประเภทได้

ไม่มีการจำกัดตัวเลือก/การเลือกที่เครื่องหมายดอกจัน (* สามารถจัดการได้ นอกจากนี้ หากเลือกส่วนขยายเฉพาะ คุณสามารถจำกัดจำนวนไฟล์ที่สามารถปิดได้ Robots.txt เป็นไฟล์ที่ยอดเยี่ยมสำหรับ SEO วัตถุประสงค์ ขึ้นอยู่กับคุณว่าไซต์ WordPress ของคุณมีกี่ส่วนที่คุณต้องการให้ปรากฏใน SERP หากไซต์ของคุณมีแผนผังไซต์ คุณควรใส่ URL เพื่อช่วยเสิร์ชเอ็นจิ้นในการค้นหา ไดเร็กทอรีมักไม่จำเป็นต้องจัดทำดัชนี โดยเครื่องมือค้นหา ด้วยเหตุนี้ หน้าเว็บจึงสามารถจัดทำดัชนีได้รวดเร็วยิ่งขึ้น

ด้วยเหตุนี้ คุณต้องรวม robots.txt ไว้ในสคริปต์ของเว็บไซต์ของคุณ เพื่อให้เครื่องมือค้นหาละเว้นจากการจัดทำดัชนีบางส่วน หากไซต์ของคุณได้รับการกำหนดค่าไม่ถูกต้อง (เช่น ลบ /) ไซต์นั้นจะถูกยกเลิกการจัดทำดัชนีโดย Google คุณควรระมัดระวังเช่นกัน คุณมีโอกาสที่จะทำงานให้เสร็จ โปรดบอกฉันว่าคุณใช้ไฟล์ประเภทนี้หรือไม่ และการตั้งค่าสำหรับไฟล์นั้นคืออะไร

txt เป็นหนึ่งในรูปแบบไฟล์ที่ใช้งานง่ายที่สุด หุ่นยนต์ถูกตั้งโปรแกรมให้ "อนุญาต" (เช่น จัดทำดัชนี) และ "ไม่อนุญาต" (เช่น ปฏิเสธ) ตามหน้าที่พวกเขาต้องการดู ส่วนหลังจะใช้เพียงครั้งเดียวเพื่อแสดงรายการหน้าเว็บที่คุณไม่ต้องการให้สไปเดอร์รวบรวมข้อมูล

เว็บไซต์สามารถใช้ไฟล์ข้อความชื่อ txt เพื่อให้คำแนะนำแก่บอทการรวบรวมข้อมูลเว็บ Google และเครื่องมือค้นหาอื่นๆ ใช้ โปรแกรมรวบรวมข้อมูลเว็บ หรือที่เรียกว่าหุ่นยนต์เว็บ เพื่อเก็บถาวรและจัดหมวดหมู่เว็บไซต์ โดยทั่วไปแล้วการค้นหาหุ่นยนต์จะใช้ในบอท

สามารถเพิ่ม Robots.txt ลงในไฟล์บนอินเทอร์เน็ตได้ หากต้องการดูคำสั่งของเว็บไซต์ (หากเว็บไซต์มีโรบ็อต) ให้ส่งข้อความ URL ไปที่ส่วนท้ายของโดเมนราก

ฉันจะวางไฟล์ Robots Txt WordPress ไว้ที่ใด

สร้างรายการ หุ่นยนต์ FTP ของคุณโดยไปที่ส่วนด้านซ้ายมือของไคลเอนต์ FTP ของคุณ (เรากำลังใช้ Filezilla) คุณบันทึกไฟล์ txt ที่คุณสร้างไว้ก่อนหน้านี้บนคอมพิวเตอร์ของคุณ คุณสามารถอัปโหลดได้โดยคลิกขวาและเลือกอัปโหลด ไฟล์จะถูกอัปโหลดภายในเวลาไม่นาน และคุณจะสามารถดูได้ในไดเรกทอรีรากของ WordPress

ไฟล์ robots.txt อยู่ในไดเรกทอรีรากของ WordPress และเป็นไฟล์ข้อความ เพื่อให้บอทของเครื่องมือค้นหาทราบว่าควรรวบรวมข้อมูลหน้าใดบนเว็บไซต์ของคุณ ระบบจะแสดงรายชื่อหน้าที่ควรและไม่ควรรวบรวมข้อมูล เป็นไปได้ที่จะสั่งให้ไฟล์หลีกเลี่ยงการรวบรวมข้อมูล แทนที่จะทำดัชนี ในกรณีที่บอทที่ไม่ดีทำให้เว็บไซต์ของคุณเสียหาย ปลั๊กอินความปลอดภัยที่ดีเป็นสิ่งสำคัญ WordPress สร้างไฟล์ robots.txt เสมือนสำหรับทุกเว็บไซต์ที่ใช้งาน หากคุณต้องการเปลี่ยนแปลงบางสิ่ง คุณมีสามตัวเลือก ปลั๊กอิน Yoast SEO ซึ่งเป็นหนึ่งในเครื่องมือยอดนิยมสำหรับการเพิ่มประสิทธิภาพเว็บไซต์ เป็นตัวเลือกที่ยอดเยี่ยม

All in One SEO ซึ่งเป็นปลั๊กอิน SEO ฟรีอีกตัวหนึ่งมีคุณลักษณะเพิ่มเติมมากมาย หากคุณเคยใช้ FTP มาก่อน คุณจะรู้ว่าคุณสามารถอัปโหลดไฟล์ robots.txt ไปยังเซิร์ฟเวอร์ของคุณได้ คุณจะเห็นส่วนใหม่ในไฟล์ robots.txt ชื่อ Robots.txt ซึ่งคุณสามารถเพิ่มกฎและคำสั่งในไฟล์ได้ในภายหลัง User-agent และ Disallow เป็นทั้งคำสั่งที่มีอยู่ในไฟล์นี้ หากคุณต้องการระบุบอทตัวเดียว (เช่น Bingbot) หรือหากคุณต้องการให้คำสั่งนำไปใช้กับบอททั้งหมด ให้ป้อนเครื่องหมายดอกจัน (User-agent: *) คำขอรวบรวมข้อมูลมากเกินไปทำให้เซิร์ฟเวอร์ทำงานหนัก ส่งผลให้มีการใช้คำสั่งการรวบรวมข้อมูลล่าช้า เนื่องจากไม่มีโปรแกรมรวบรวมข้อมูลที่สนับสนุนคำสั่งนี้ จึงควรใช้ด้วยความระมัดระวัง

เครื่องมือค้นหาจะถูกนำไปยังไฟล์แผนผังเว็บไซต์ XML ของคุณหากคุณใช้คำสั่งแผนผังเว็บไซต์ ในส่วนต่อไปนี้ เราจะแสดงตัวอย่างข้อมูลสองตัวอย่างที่สาธิตการใช้คำสั่ง robots.txt ไซต์ WordPress แต่ละไซต์มีไฟล์ robots.txt ในไดเรกทอรีราก ในนั้น โปรแกรมรวบรวมข้อมูลจะได้รับคำแนะนำเกี่ยวกับส่วนใดของเว็บไซต์ของคุณที่พวกเขาควรค้นหา พวกเขาควรหรือไม่ควรคลานบนพื้น ระหว่างการสนทนา เราได้กล่าวถึงวิธีสร้างเวอร์ชันจริงของไฟล์และวิธีแก้ไข

คุณควรเพิ่มไฟล์ Robots.txt ลงในเว็บไซต์ WordPress ของคุณหรือไม่

ทันทีที่ติดตั้ง WordPress จะสร้างไฟล์ robots.txt โดยอัตโนมัติ ตัวสร้างดัชนีของเครื่องมือค้นหาจะเก็บไฟล์ไดเรกทอรีนี้เพื่อกำหนดว่าหน้าใดในไซต์จะได้รับการจัดทำดัชนี ในกรณีส่วนใหญ่ ไม่จำเป็นต้องเพิ่มไฟล์ Robots.txt ลงในเว็บไซต์ WordPress อย่างไรก็ตาม หากต้องการเพิ่มอันดับของเครื่องมือค้นหา คุณสามารถเพิ่มไฟล์ robots.txt เพื่อจัดการดัชนีเครื่องมือค้นหา

ฉันจะเปิดไฟล์ Robots Txt ใน WordPress ได้อย่างไร

มีสองสามวิธีในการเปิดไฟล์ robots.txt ใน WordPress วิธีหนึ่งคือเพียงไปที่โฟลเดอร์การติดตั้ง WordPress และเปิดไฟล์ในโปรแกรมแก้ไขข้อความ อีกวิธีหนึ่งคือการใช้ปลั๊กอินเช่น WP Robots Txt เพื่อแก้ไขไฟล์จากภายในพื้นที่ผู้ดูแลระบบ WordPress

มีไฟล์ robots.txt อยู่ในเกือบทุกเว็บไซต์ แต่คนส่วนใหญ่ไม่เข้าใจว่ามันทำอะไรหรือใช้งานอย่างไร ในคู่มือนี้ เราจะดูไฟล์และข้อจำกัดของไฟล์เพื่อเรียนรู้วิธีจัดการการเข้าถึงเว็บไซต์ของคุณ แม้ว่าหน้าจะมีลิงก์ที่ชี้ไปยังหน้านั้น แต่เครื่องมือค้นหานั้นอาจยังได้รับการจัดทำดัชนีหากถูกบล็อกโดย robots.txt Google จะไม่เข้าถึงพื้นที่ที่ทำเครื่องหมายไว้ในไซต์ของคุณ คุณสามารถเพิ่มแท็ก noindex ลงในหน้าที่ไม่ได้ถูกบล็อกโดย Google ตามที่ John Mueller นักวิเคราะห์เว็บมาสเตอร์ของ Google กล่าว คุณสามารถใช้ปลั๊กอิน Yoast SEO ยอดนิยมเพื่อสร้าง (และแก้ไขในภายหลัง) เทมเพลต SEO วางไฟล์ robots.txt ของคุณในตำแหน่งที่เหมาะสมโดยคลิกขวาที่อินเทอร์เฟซของ Yoast

ในทำนองเดียวกัน คุณสามารถใช้การผสานรวมประเภทนี้ในปลั๊กอิน All in One SEO ได้ โปรดอ่านต่อเพื่อดูข้อมูลเพิ่มเติมเกี่ยวกับคำสั่งประเภทต่างๆ ที่ต้องระบุไว้ในไฟล์ WordPress robots.html ของคุณ ก่อนที่คุณจะเพิ่มกฎ คุณต้องเลือก User-agent ที่กฎควรใช้กับก่อน ตามด้วยจำนวนกฎที่จะใช้โดยใช้ Disallow และ Allow การไม่อนุญาตการเข้าถึงโฟลเดอร์และโฟลเดอร์ย่อย แต่อนุญาตให้เข้าถึงโฟลเดอร์เฉพาะของเด็กที่ระบุอาจเป็นความคิดที่ดี หากคุณต้องการจำกัดการเข้าถึงโฟลเดอร์และโฟลเดอร์ย่อย อนุญาตให้คุณให้สิทธิ์การเข้าถึงไฟล์เฉพาะภายในโฟลเดอร์เฉพาะ แต่จะป้องกันไม่ให้คุณเข้าถึงทั้งโฟลเดอร์ WordPress ใช้พารามิเตอร์การสืบค้นที่ชื่อ?s= เมื่อจัดการกับข้อความค้นหา คุณจะต้องเพิ่มกฎต่อไปนี้เพื่อกำหนดค่าการบล็อกในการเข้าถึง

ข้อผิดพลาด Soft 404 สามารถหลีกเลี่ยงได้โดยใช้คุณลักษณะนี้ รวมถึงการบล็อกหากเกิดขึ้น แม้ว่าคุณจะกำหนดเป้าหมายไปยังภูมิภาคใดภูมิภาคหนึ่งนอกสหรัฐอเมริกา ก็ไม่จำเป็นต้องบล็อก Googlebot ไม่ให้เข้าประเทศ Google รู้สึกหงุดหงิดที่คำสั่งที่มีอักขระล่องหนไม่เป็นที่เข้าใจ น่าเสียดายที่สิ่งนี้ทำให้บรรทัดแรกของไฟล์ robots.txt เป็นโมฆะ ไม่เหมือนกับการใช้แท็ก noindex ในไฟล์ robots.txt ซึ่งเรียกว่าคำสั่ง Disallow ในทางกลับกัน Bots.txt ไม่ได้จัดทำดัชนี แต่ป้องกันการรวบรวมข้อมูล คุณสามารถใช้เพื่อกำหนดค่าวิธีที่เครื่องมือค้นหาและบอทอื่นๆ โต้ตอบกับเว็บไซต์ของคุณโดยเพิ่มกฎเฉพาะ ไม่จำเป็นต้องเปลี่ยนไฟล์ virtual robots.html เริ่มต้นสำหรับคนส่วนใหญ่ที่ไม่ได้ใช้ WordPress เลย อย่างไรก็ตาม คุณสามารถเพิ่มกฎของคุณเองได้หากคุณมีปัญหากับบ็อตหรือปลั๊กอินเฉพาะ

วิธีเพิ่มไฟล์ Robots.txt ลงในเว็บไซต์ของคุณ

หากคุณกำลังใช้ WordPress คุณสามารถเพิ่มไฟล์นี้ลงในไซต์ของคุณได้อย่างง่ายดายโดยใช้วิซาร์ด "เพิ่มหน้าใหม่" จากนั้น ในช่อง File URL ให้ป้อน URL สำหรับไฟล์ robots.txt ไฟล์นี้สามารถเพิ่มไปยังหน้า WordPress ได้ด้วยการคลิกรายการเมนูจัดการหน้าในแดชบอร์ด
หากคุณไม่ได้ใช้ WordPress คุณอาจต้องเพิ่ม robots.txt ในเว็บไซต์ของคุณด้วยวิธีอื่น หากคุณมีไคลเอนต์ FTP ติดตั้งอยู่ในคอมพิวเตอร์ของคุณ คุณสามารถเพิ่มไฟล์นี้ได้อย่างง่ายดาย หากคุณมีโปรแกรมจัดการไฟล์ติดตั้งอยู่ในคอมพิวเตอร์ คุณสามารถเพิ่มได้อย่างง่ายดาย

ฉันต้องการหุ่นยนต์ Txt ไฟล์ WordPress หรือไม่

ไม่มีคำตอบที่ชัดเจนสำหรับคำถามนี้ เนื่องจากขึ้นอยู่กับไซต์ WordPress ที่เป็นปัญหาและเนื้อหาหรือฟังก์ชันประเภทใด อย่างไรก็ตาม โดยทั่วไป ไฟล์ robots.txt ไม่จำเป็นสำหรับ WordPress อย่างเด็ดขาด แม้ว่าจะมีประโยชน์ในบางกรณีก็ตาม ตัวอย่างเช่น หากไซต์ WordPress มีข้อมูลที่ละเอียดอ่อนหรือเป็นความลับจำนวนมาก สามารถใช้ไฟล์ robots.txt เพื่อป้องกันไม่ให้เครื่องมือค้นหาจัดทำดัชนีเนื้อหานี้

ไฟล์ robots.txt เป็นไฟล์ข้อความธรรมดาที่บอกเครื่องมือค้นหาว่าเมื่อใดและไม่ควรรวบรวมข้อมูลเว็บไซต์ของคุณเมื่อใด คุณสามารถป้องกันไม่ให้เสิร์ชเอ็นจิ้นเข้าถึงไฟล์และโฟลเดอร์ต่าง ๆ บนไซต์ของคุณได้โดยใช้คุณสมบัตินี้ ในบทความนี้ เราจะแสดงวิธีสร้างและมอบปลั๊กอินที่เราแนะนำ เพื่อให้คุณทำงานเองได้ เครื่องมือค้นหาทุกเครื่องมีตัวแทนผู้ใช้รวบรวมข้อมูลเว็บในผลการค้นหา ตัวอย่างเช่น Googlebot จัดทำดัชนีเนื้อหาเว็บไซต์ของคุณสำหรับเครื่องมือค้นหาของ Google คุณมีตัวเลือกในการกำหนดค่าคำสั่งแบบกำหนดเองสำหรับแต่ละตัวแทนผู้ใช้เหล่านี้ ไฟล์ robots.txt สามารถเข้าถึงได้โดยการพิมพ์ '/robots.txt' หลังชื่อโดเมน

คุณสามารถสั่งโรบ็อตไม่ให้ดูหน้าใด ๆ บนไซต์หลังจากแลกเครื่องหมายทับโดยไปที่ลิงก์ การรวบรวมข้อมูลงบประมาณถูกกำหนดเป็นจำนวน URL ที่ บอทของเครื่องมือค้นหา สามารถรวบรวมข้อมูลในเซสชันได้ ทุกเว็บไซต์จะมีงบประมาณการรวบรวมข้อมูลเฉพาะ หากคุณมีหน้าเว็บจำนวนมากในเว็บไซต์ของคุณ คุณควรตรวจสอบเพื่อดูว่าบอทกำลังรวบรวมข้อมูลหน้าที่มีค่าที่สุดของคุณก่อนหรือไม่ ปลั๊กอิน Yoast SEO ของ WordPress ช่วยให้คุณสร้างไฟล์ robots.txt ได้อย่างง่ายดายจากแดชบอร์ดของคุณ ถัดไป ใช้ไคลเอนต์ FTP เช่น Filezilla เพื่ออัปโหลดไฟล์ด้วยตนเอง หากคุณต้องการแสดงไฟล์บนเว็บไซต์ของคุณ ตรวจสอบให้แน่ใจว่าไฟล์นั้นอยู่ในโฟลเดอร์รูท

ในการสร้าง คุณจะต้องใช้โปรแกรมแก้ไขข้อความ เช่น Notepad หากไม่มีไฟล์ ไฟล์ robots.txt ควรอยู่ที่รากของเว็บไซต์ของคุณเสมอ เครื่องมือค้นหาจะรวบรวมข้อมูลและจัดทำดัชนีเว็บไซต์ของคุณต่อไป ไม่ว่าคุณจะมีไฟล์นี้หรือไม่ก็ตาม การทดสอบไฟล์ robots.txt ใน Google Search Console เป็นเรื่องง่าย การคลิก 'เพิ่มทรัพย์สินตอนนี้' คุณสามารถเพิ่มเว็บไซต์ของคุณใน Google Search ได้ในเวลาไม่กี่นาที การรักษางบประมาณการรวบรวมข้อมูลเฉพาะในแต่ละเว็บไซต์เป็นสิ่งสำคัญ คุณต้องนับจำนวนหน้าที่บอทต้องเข้าชมระหว่างเซสชัน หากบ็อตไม่รวบรวมข้อมูลทุกหน้าในไซต์ของคุณในระหว่างเซสชัน บอทจะกลับไปยังไซต์ของคุณและดำเนินการรวบรวมข้อมูลต่อในเซสชันถัดไป การแก้ไขอย่างรวดเร็วคือการบล็อก บอทการค้นหา จากการรวบรวมข้อมูลหน้าเว็บที่ไม่จำเป็น ไฟล์สื่อ ปลั๊กอิน โฟลเดอร์ธีม และอื่นๆ ซึ่งจะช่วยประหยัดโควตาการรวบรวมข้อมูลของคุณ

พูดง่ายๆ ก็คือ เพิ่มบรรทัดต่อไปนี้ในไฟล์ robots.txt ของคุณ: ตัวแทน: ผู้ใช้ ใช้ บริการ Googlebot อยู่ หากคุณไม่มีไฟล์ robots.txt Googlebot จะรวบรวมข้อมูลหน้าเว็บของคุณและจัดทำดัชนีในเครื่องมือค้นหาโดยอัตโนมัติ

ทำไมคุณควรเพิ่มไฟล์ Robots.txt เพื่อปรับปรุง Seo . ของคุณ

คุณสามารถเพิ่มการจัดอันดับเครื่องมือค้นหาของเว็บไซต์ของคุณได้โดยดาวน์โหลดไฟล์ robots.txt โปรแกรมรวบรวมข้อมูลจะค้นหาไฟล์นี้ในรากของเว็บไซต์ของคุณเพื่อดูว่าเนื้อหาได้รับอนุญาตหรือไม่และเพราะเหตุใด

แก้ไข Robots.txt WordPress

หากคุณต้องการแก้ไขไฟล์ robots.txt คุณสามารถทำได้โดยไปที่แดชบอร์ด WordPress แล้วคลิกแท็บ "การตั้งค่า" จากที่นั่น คุณจะพบส่วน "การอ่าน" ซึ่งคุณสามารถแก้ไขไฟล์ robots.txt ได้

ไฟล์ robots.txt นอกจากจะบอกเครื่องมือค้นหาว่าไซต์ของคุณได้รับอนุญาตให้ไปที่ใดแล้ว ยังบอกวิธีรวบรวมข้อมูลด้วย หากคุณสั่งบอทไม่ให้รวบรวมข้อมูลหน้าเว็บที่ไม่จำเป็นบนไซต์ของคุณ คุณสามารถเพิ่มความเร็วในการโหลดและอันดับที่สูงขึ้นในเครื่องมือค้นหาได้ ในบทความนี้ เราจะแสดงวิธีแก้ไขไฟล์ robots.html ของคุณโดยใช้ WordPress จำเป็นต้องใช้ไฟล์ robots.txt ด้วยเหตุผลบางประการ เมื่อใช้แท็ก meta noindex แทน robots.txt เมื่อโหลดเว็บไซต์ ทำไมมันจึงมีความสำคัญมากในชีวิตของเรา แม้ว่าระบบจะอนุญาตให้คุณระบุได้ว่าเครื่องมือค้นหาและบอทอื่นๆ ใดที่โต้ตอบกับเว็บไซต์ของคุณ แต่ก็ไม่ได้ห้ามไม่ให้เครื่องมือค้นหาหรือบอทอื่นๆ สร้างดัชนีเนื้อหาของคุณอย่างชัดแจ้ง

มาดูวิธีการแก้ไขไฟล์ robots.html ใน WordPress ทีละขั้นตอนโดยใช้ AIOSEO ตัวสร้างกฎช่วยให้คุณสร้างกฎของคุณเองสำหรับหน้าเว็บเฉพาะที่โรบ็อตอาจเข้าชมหรือไม่ก็ได้ เมื่อสร้างกฎที่กำหนดเอง คุณสามารถป้อน User Agent (เช่น โปรแกรมรวบรวมข้อมูลของ Googlebot ) ในช่อง User Agent คุณต้องป้อนเส้นทางไดเรกทอรีหรือชื่อไฟล์ในช่องเส้นทางไดเรกทอรีหลังจากกำหนดว่าควรอนุญาตหรือปฏิเสธบอทใด หากคุณบันทึกกฎใหม่ กฎเหล่านั้นจะปรากฏในส่วนแสดงตัวอย่าง Robots.txt คุณสามารถดูไฟล์ robots.txt ได้โดยคลิกที่ Open Robots ข้อความนี้จะถูกส่งไปยังอุปกรณ์มือถือของคุณทันทีที่มีให้บริการ เพียงแค่พิมพ์รายละเอียดของกฎ คุณก็สามารถแก้ไขได้ ตัวอย่างของการลบกฎจะแสดงในส่วนแยกต่างหาก

Robots.txt เริ่มต้นสำหรับ WordPress

หากคุณสร้างไซต์ WordPress และไม่สร้างไฟล์ robots.txt ที่กำหนดเอง เว็บไซต์ของคุณจะสร้างไฟล์ robots.txt เริ่มต้นโดยอัตโนมัติซึ่งประกอบด้วยสิ่งต่อไปนี้ User-agent: * Disallow: / บรรทัดแรก User-agent: * ใช้กับ โปรแกรมรวบรวมข้อมูลเว็บ ทั้งหมด บรรทัดที่สอง Disallow: / สั่งให้โปรแกรมรวบรวมข้อมูลเว็บทั้งหมดไม่จัดทำดัชนีหน้าใดๆ ในเว็บไซต์ของคุณ นี่เป็นการตั้งค่าที่เข้มงวดที่สุด และไม่แนะนำสำหรับไซต์ WordPress ส่วนใหญ่

การใช้ไฟล์ robots.txt ที่มีโครงสร้างอย่างดีจะช่วยให้คุณสามารถนำบอทของเครื่องมือค้นหาไปยังเว็บไซต์ของคุณได้ พวกเขาได้รับคำสั่งให้รักษาระยะห่างจากห้องเหล่านั้นในขณะที่มองดู แม้ว่าคุณจะไม่ใช่วิซาร์ดทางเทคนิค คุณสามารถสร้างไฟล์นี้เพื่อตอบสนองความต้องการของคุณ แม้ว่าคุณจะไม่ทราบรหัสใดๆ ก็ตาม เมื่อคุณสร้างเว็บไซต์ WordPress จะสร้างไฟล์ robots.txt เสมือนสำหรับคุณ บอทถูกป้องกันไม่ให้เข้าถึงผู้ดูแลระบบและ WP-includes ไดเร็กทอรีตามไฟล์นี้ ในการเปลี่ยนแปลง คุณต้องสร้างไฟล์ใหม่ก่อนแล้วจึงอัปโหลดไปยังโฟลเดอร์รูท Robots.txt สามารถแก้ไขได้ใน WordPress ได้สองวิธี: ผ่านปลั๊กอินหรือด้วยตนเอง

เราได้สร้างกฎชุดใหม่เพื่อป้องกันไม่ให้บอทการค้นหาของ Bing รวบรวมข้อมูลผ่านไซต์ของเราในตัวอย่างนี้ คำแนะนำของคุณในไฟล์นี้เกือบจะถูกติดตามโดยบ็อตส่วนใหญ่ แต่คุณไม่ได้พยายามบังคับให้ทำตาม หลังจากที่คุณได้ติดตั้งและเปิดใช้งานปลั๊กอิน Yoast SEO สำหรับ WordPress แล้ว คุณจะสามารถแก้ไขไฟล์ robots.txt ได้โดยตรงจากแดชบอร์ดของ WordPress All-in-One SEO Pack เป็นชุด SEO อีกชุดหนึ่งที่น่าจับตามองเมื่อพูดถึง WordPress SEO และยังใช้งานได้ง่ายมากอีกด้วย Yoast เป็นผลิตภัณฑ์ที่คล้ายคลึงกัน แต่มีน้ำหนักเบากว่ามาก ง่ายเหมือนการพิมพ์ข้อความสองสามบรรทัดลงใน Notepad หรือ TextEdit เพื่อสร้างไฟล์ robots.txt หากต้องการทดสอบไฟล์ ให้อัปโหลดผ่าน FTP แล้วใช้ Google Search Console

All In One SEO Pack มีเครื่องมือที่สามารถใช้เพื่อบล็อกบอทที่ "ไม่ดี" หากคุณต้องการเพิ่มการมองเห็นไซต์ของคุณ บอทของเครื่องมือค้นหาต้องรวบรวมข้อมูลที่เกี่ยวข้องมากที่สุดเป็นสิ่งสำคัญ ไฟล์ WordPress robots.txt ทำให้ง่ายต่อการระบุวิธีที่บอทโต้ตอบกับไซต์ของคุณ พวกเขาจะนำเสนอเนื้อหาที่เกี่ยวข้องและมีประโยชน์ต่อเครื่องมือค้นหาได้ง่ายขึ้น

วิธีอัปเดตไฟล์ WordPress Robots.txt ของคุณ

หากรากของเว็บไซต์ไม่มีไฟล์จริง WordPress จะสร้างไฟล์ robots.txt เสมือน ในการเปิดใช้งานไฟล์เสมือน คุณต้องแทนที่ไฟล์ดังกล่าวก่อนโดยทำตามขั้นตอนเหล่านี้: เปิดเบราว์เซอร์ของคุณและไปที่ไดเรกทอรีรากของเว็บไซต์ของคุณ
ตรวจสอบไฟล์ robots.txt
โปรดทำการเปลี่ยนแปลงที่จำเป็นในไฟล์
ตรวจสอบเพื่อดูว่าคุณได้บันทึกไฟล์ไว้หรือไม่
เว็บไซต์ของคุณต้องโหลดซ้ำ
ไฟล์ robots.txt สามารถอัปเดตได้โดยไปที่เมนู "ปลั๊กอิน" ในแถบด้านข้างทางซ้ายแล้วค้นหา ทำการเปลี่ยนแปลงใดๆ กับไฟล์ robots.txt โดยเลือก "การตั้งค่า" จากเมนู