วิธีแก้ไขไฟล์ Robots.txt ใน WordPress
เผยแพร่แล้ว: 2019-09-09สัปดาห์นี้ เราจัดการกับคำถามอื่นที่ผู้ใช้ WP เริ่มต้นมี – วิธีแก้ไขไฟล์ robots.txt ใน WordPress เหตุผลเบื้องหลังนั้นง่ายเพียงพอ – เป็น ประโยชน์ต่อความพยายาม SEO ของคุณ ไฟล์ robots.txt เป็นเครื่องมือที่มีประสิทธิภาพอย่างเหลือเชื่อใน SEO เนื่องจาก ทำงานเป็นคู่มือเว็บไซต์สำหรับบอทรวบรวมข้อมูลของเครื่องมือค้นหา นั่นคือเหตุผลที่ผู้เชี่ยวชาญ WordPress ตระหนักถึงความสำคัญและวิธีที่ดีที่สุดในการนำไปใช้ในการเพิ่มประสิทธิภาพไซต์ของตน ที่นี่เรา ดำเนินการทีละขั้นตอนในหัวข้อทั้งหมด
เราเริ่มต้นด้วยคำจำกัดความโดยละเอียดของไฟล์ robots.txt
บอทของเครื่องมือค้นหาต้องการ คำแนะนำในการรวบรวมข้อมูลและจัดทำดัชนีหน้าภายในของไซต์ของคุณ นั่นคือที่มาของไฟล์ robots.txt ไฟล์นี้จัดวางโครงสร้างหน้าเว็บของคุณ ทำให้อ่านและให้คะแนนได้ง่ายโดยบอทของเครื่องมือค้นหา
โดยปกติแล้ว คุณจะพบไฟล์ robots.txt ที่จัดเก็บไว้ในไดเรกทอรีราก ไดเร็กทอรีนี้เป็นที่รู้จักกันว่าเป็นโฟลเดอร์หลักของเว็บไซต์ทั้งหมดของ คุณ ก่อนที่เราจะพูดถึงวิธีการแก้ไขไฟล์ robots.txt ใน WordPress เราต้องเรียนรู้วิธีจดจำไฟล์นั้นเสียก่อน นี่คือตัวอย่างลักษณะของไฟล์ robots.txt ทั่วไป:
| 1 2 3 4 5 6 7 8 | User-agent: [ชื่อผู้ใช้-ตัวแทน] ไม่อนุญาต: [ไม่อนุญาตให้รวบรวมข้อมูลสตริง URL] User-agent: [ชื่อผู้ใช้-ตัวแทน] อนุญาต: [สตริง URL ที่จะรวบรวมข้อมูล] แผนผังเว็บไซต์: [URL ของแผนผังเว็บไซต์ XML ของคุณ] |
ไฟล์นี้มีพื้นที่มากมายสำหรับการปรับแต่ง เช่น อนุญาต/ไม่อนุญาต URL บางรายการ หรือเพิ่มไฟล์แผนผังเว็บไซต์หลายไฟล์ ดังนั้น หากคุณมี URL ที่ไม่ต้องการให้บอทของเครื่องมือค้นหารวบรวมข้อมูลและจัดอันดับ คุณจะต้องไม่อนุญาตผ่าน robots.txt ต่อไปนี้คือตัวอย่างการอนุญาต/ไม่อนุญาตให้บอทของเครื่องมือค้นหารวบรวมข้อมูล URL เฉพาะ:
| 1 2 3 4 5 6 | ตัวแทนผู้ใช้: * อนุญาต: /wp-content/uploads/ ไม่อนุญาต: /wp-content/plugins/ ไม่อนุญาต: /wp-admin/ แผนผังเว็บไซต์: https://example.com/sitemap_index.xml |
สุดท้ายนี้ เราเพิ่มแผนผังไซต์ของเราในการผสม ทำให้ URL ปรากฏต่อบอทของเครื่องมือค้นหา
ความสำคัญของการมีไฟล์ robots.txt ใน WordPress
สิ่งสำคัญที่ต้องทำความเข้าใจคือ แม้ว่าคุณจะไม่มีไฟล์ robots.txt บอทของเครื่องมือค้นหาจะยังคงรวบรวมข้อมูลหน้าเว็บของคุณ อย่างไรก็ตามพวกเขาจะรวบรวมข้อมูลทั้งหมด คุณจะไม่สามารถสั่งซื้อได้ว่าควรและไม่ควรรวบรวมข้อมูลหน้าใด
สำหรับเว็บไซต์ WP ใหม่ อาจไม่ใหญ่เกินไปหรือเป็นปัญหา อย่างไรก็ตาม สำหรับไซต์เหล่านั้นที่มีเนื้อหาไม่สิ้นสุด คุณจะต้องการ ควบคุมวิธีการรวบรวมข้อมูลและจัดทำดัชนีได้ดี ยิ่งขึ้น ไฟล์ robots.txt เป็นวิธีที่เหมาะสมในการดูแลเว็บไซต์ WordPress ของคุณและวิธีที่บอทของเครื่องมือค้นหามองเห็น
เหตุใดจึงสำคัญมาก เริ่มต้นด้วย?
แต่ละเว็บไซต์มี โควต้าการรวบรวมข้อมูล นั่นคือการทำงานของบอทของเครื่องมือค้นหา นั่นหมายความว่าบอทจะรวบรวมข้อมูลเว็บไซต์ของคุณทีละหน้า หากไม่สามารถรวบรวมข้อมูลหน้าเว็บทั้งหมดของคุณในเซสชันเดียวได้ พวกเขาจะกลับมารวบรวมข้อมูลในครั้งต่อไป และ นี่คือสิ่งที่สามารถทำให้การจัดทำดัชนีเว็บไซต์ของคุณช้าลงอย่างมาก ( อัตราการจัดทำดัชนี )
อย่างไรก็ตาม เมื่อคุณแก้ไขไฟล์ robots.txt ใน WordPress เพื่อไม่อนุญาตให้บางหน้ารวบรวมข้อมูล คุณจะบันทึกโควต้าการรวบรวมข้อมูลของคุณ หน้าทั่วไปและไม่จำเป็นที่สุดที่ผู้ใช้ WP มักไม่อนุญาต ได้แก่ หน้าผู้ดูแลระบบ WordPress ปลั๊กอินและธีม เมื่อคุณกำจัดหน้าเหล่านี้ คุณจะให้โปรแกรมรวบรวมข้อมูลมีพื้นที่มากขึ้นในการจัดทำดัชนีหน้าอื่นๆ ที่เกี่ยวข้องในเว็บไซต์ของคุณ
ไฟล์ robots.txt ที่สมบูรณ์แบบใน WordPress ควรเป็นอย่างไร?
ไซต์บล็อกยอดนิยมเลือกใช้ ตัวอย่างง่ายๆ ของไฟล์ robots.txt ซึ่งเป็นรูปแบบที่แตกต่างกันไปตามความต้องการของไซต์นั้น:
| 1 2 3 4 5 | ตัวแทนผู้ใช้: * ไม่อนุญาต: แผนผังเว็บไซต์: https://www.example.com/post-sitemap.xml แผนผังเว็บไซต์: https://www.example.com/page-sitemap.xml |
ตัวอย่างนี้แสดงวิธีอนุญาตให้บอทสร้างดัชนีเนื้อหาทั้งหมด โดยให้ลิงก์ไปยังแผนผังเว็บไซต์ XML ของเว็บไซต์ในกระบวนการ
อย่างไรก็ตาม นี่เป็น แบบฟอร์มที่แนะนำสำหรับผู้ใช้เว็บไซต์ WordPress วิธีแก้ไขไฟล์ robots.txt ใน WordPress :
| 1 2 3 4 5 6 7 8 9 | ตัวแทนผู้ใช้: * อนุญาต: /wp-content/uploads/ ไม่อนุญาต: /wp-content/plugins/ ไม่อนุญาต: /wp-admin/ ไม่อนุญาต: /readme.html ไม่อนุญาต: /อ้างอิง/ แผนผังเว็บไซต์: https://www.example.com/post-sitemap.xml แผนผังเว็บไซต์: https://www.example.com/page-sitemap.xml |
ที่นี่ คุณสามารถเห็นได้อย่างชัดเจนว่าบอทได้รับคำสั่งให้สร้าง ดัชนีรูปภาพและไฟล์ WP ทั้งหมด อย่างไรก็ตาม ยังไม่อนุญาตให้บอทของเครื่องมือค้นหาจัดทำดัชนีสิ่งต่อไปนี้:
- ไฟล์ปลั๊กอิน WP
- พื้นที่ผู้ดูแลระบบ WP
- ไฟล์ WP readme
- ลิงค์พันธมิตร
เหตุผลที่คุณควรเพิ่มลิงก์ไปยังแผนผังเว็บไซต์ XML ของคุณก็เพื่อให้บอทค้นหาหน้าทั้งหมดบนไซต์ของคุณได้ง่ายขึ้น
วิธีสร้างและแก้ไขไฟล์ robots.txt ใน WordPress
เช่นเดียวกับ WordPress ทั้งหมด มีโซลูชันที่หลากหลายสำหรับแต่ละงาน มีสองวิธีในการสร้าง robots.txt ใน WordPress:
โซลูชัน #1: การใช้ Yoast SEO เพื่อแก้ไขไฟล์ robots.txt ใน WordPress
หากคุณกำลังใช้ปลั๊กอิน Yoast SEO คุณโชคดี! ปลั๊กอินมาพร้อมกับตัวสร้างไฟล์ robots.txt และคุณสามารถใช้ตัวสร้างนี้เพื่อสร้างและแก้ไขไฟล์ robots.txt ได้โดยตรงจากแดชบอร์ดบทบาทผู้ดูแลระบบของคุณ 
สิ่งที่คุณต้องทำคือ ไปที่หน้า SEO >> Tools ในฐานะผู้ดูแลระบบ เมื่อมีให้คลิกที่ลิงก์ตัวแก้ไขไฟล์ หน้าที่นำคุณไปควรมีไฟล์ robots.txt ที่มีอยู่ และในกรณีที่ไม่มี Yoast SEO จะสร้างไฟล์ให้คุณ Yoast SEO บางเวอร์ชันจะสร้างไฟล์เริ่มต้นในรูปแบบต่อไปนี้:
| 1 2 | ตัวแทนผู้ใช้: * ไม่อนุญาต: / |
เมื่อเกิดเหตุการณ์นี้ขึ้น คุณควรตรวจสอบให้แน่ใจว่าได้ ลบข้อความนี้ เนื่องจากจะบล็อกบอททั้งหมดจากการรวบรวมข้อมูลเว็บไซต์ของคุณ เมื่อคุณลบข้อความเริ่มต้น อย่าลืมป้อนสคริปต์ robots.txt เวอร์ชันของคุณเอง คุณสามารถใช้เทมเพลตที่เราแชร์ก่อนหน้านี้ได้
เมื่อคุณแก้ไขไฟล์เสร็จแล้ว คุณเพียงแค่คลิก ' บันทึกไฟล์ robots.txt ' และจัดเก็บการเปลี่ยนแปลงของคุณ
โซลูชัน #2: การใช้ FTP เพื่อแก้ไขไฟล์ robots.txt ใน WordPress . ด้วยตนเอง
วิธีการนี้ต้องใช้ไคลเอ็นต์ FTP เพื่อแก้ไขไฟล์ ดังนั้น สิ่งแรกที่คุณต้องการทำคือ ใช้ไคลเอนต์ FTP เพื่อเชื่อมต่อกับบัญชีโฮสติ้ง WordPress ของ คุณ คุณจะพบไฟล์ robots.txt ในโฟลเดอร์รูทของเว็บไซต์ของคุณ 
หากคุณไม่พบไฟล์ robots.txt แสดงว่าเว็บไซต์ WP ของคุณไม่มีไฟล์ดังกล่าว หากเป็นกรณีนี้ คุณสามารถสร้างได้เลย เนื่องจาก ไฟล์ robots.txt เป็นไฟล์ข้อความธรรมดา คุณจึงสามารถดาวน์โหลดและแก้ไขในโปรแกรมแก้ไขธรรมดาๆ เช่น Notepad หรือ TextEdit เมื่อคุณแก้ไขไฟล์แล้ว คุณสามารถอัปโหลดไฟล์กลับไปยังโฟลเดอร์รากของเว็บไซต์ได้
เมื่อคุณแก้ไขไฟล์ robots.txt ใน WordPress อย่าลืมทดสอบ
การทดสอบเป็นขั้นตอนต่อไปในการแก้ไข และนี่เป็นสิ่งสำคัญอย่างยิ่งในกรณีที่เกี่ยวข้องกับ robots.txt ด้วยเหตุผลที่เราได้กล่าวไปก่อนหน้านี้ ไม่ต้องกังวล – มีเครื่องมือที่คุณสามารถใช้เพื่อทดสอบสิ่งนี้ได้ ที่เราแนะนำมากที่สุดคือ Google Search Console
สร้างบัญชีหากคุณยังไม่มี และเมื่อเข้าสู่ระบบแล้ว ให้ เปลี่ยนไปใช้เว็บไซต์คอนโซลการค้นหาของ Google แบบเก่า เมื่อคุณมีอินเทอร์เฟซแบบเก่าแล้ว คุณจะต้อง เปิดโปรแกรมทดสอบ robots.txt เครื่องมือนี้อยู่ใต้เมนู ' รวบรวมข้อมูล ' เครื่องมือนี้จะดึงไฟล์ robots.txt ของเว็บไซต์ของคุณโดยอัตโนมัติและเน้นข้อผิดพลาดที่พบ
ความคิดสุดท้าย
โดยสรุป การมีไฟล์ robots.txt เป็นเครื่องมือที่สำคัญมากในการต่อยอดสาเหตุของกลยุทธ์ SEO ของคุณ ดังนั้น การเรียนรู้วิธีสร้างและแก้ไขไฟล์ robots.txt ใน WordPress จึงเป็นอีกก้าวหนึ่งอย่างแน่นอน สำหรับคำถามหรือบทช่วยสอนเพิ่มเติมเกี่ยวกับ WordPress โปรดไปที่บล็อกของเราหรือติดต่อเราโดยตรง