Robots.txt: วิธีเพิ่มประสิทธิภาพไฟล์นี้บนเว็บไซต์ WordPress

ถ้าฉันขอให้คุณกำหนดว่าไฟล์ robots.txt บน WordPress คืออะไร คุณสามารถให้คำตอบตรงๆ ได้ไหม

ไม่ง่ายใช่มั้ย นอกจากนี้ คุณอาจมีเว็บไซต์อยู่แล้วโดยไม่รู้ตัว

ประเด็นคือ เราไม่เข้าใจไฟล์ที่มีชื่อเสียงนี้เสมอไป ใช้ทำอะไร? ใส่อะไรลงไปในนั้น? เหตุใดรหัสจึงดูเข้าใจยาก

หากคุณเคยดูเรื่องนี้มาก่อน ฉันพนันได้เลยว่าคุณเคยถามคำถามเหล่านี้กับตัวเอง

เช่นเดียวกับไดนาไมต์ ไฟล์นี้ต้องได้รับการจัดการด้วยความระมัดระวังอย่างยิ่ง

หากคุณไม่ได้ตั้งค่าอย่างถูกต้อง คุณอาจเสี่ยงที่จะทำลาย SEO ของเว็บไซต์ของคุณ ดังนั้นระวังการระเบิด!

ในบทความนี้ ฉันจะแสดงวิธีหลีกเลี่ยงภัยพิบัติ และวิธีเพิ่มประสิทธิภาพไฟล์ WordPress robots.txt ของคุณ คุณจะค้นพบว่ามันใช้ทำอะไร วิธีการทำงาน สองวิธีในการสร้าง และสิ่งที่จะใส่เข้าไป

โครงการ WordPress ที่ดีที่สุดของคุณต้องการโฮสต์ที่ดีที่สุด!

WPMarmite แนะนำ Bluehost: ประสิทธิภาพที่ยอดเยี่ยม การสนับสนุนที่ยอดเยี่ยม ทั้งหมดที่คุณต้องการเพื่อการเริ่มต้นที่ดี

ลอง Bluehost

ไฟล์ WordPress robots.txt คืออะไร?

การนำเสนอ

ไฟล์ WordPress robots.txt เป็นไฟล์ข้อความที่อยู่ที่รากของไซต์ของคุณซึ่ง "บอกโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาว่า URL ใดที่โปรแกรมรวบรวมข้อมูลสามารถเข้าถึงได้บนไซต์ของคุณ" ตามคำจำกัดความที่กำหนดโดย Google ในเว็บไซต์ช่วยเหลือสำหรับผู้ดูแลเว็บ

เรียกอีกอย่างว่า “มาตรฐานการยกเว้นหุ่นยนต์/โปรโตคอล” ซึ่งช่วยให้เครื่องมือค้นหาหลีกเลี่ยงการจัดทำดัชนีเนื้อหาที่ไม่มีประโยชน์และ/หรือส่วนตัวบางอย่าง (เช่น หน้าเข้าสู่ระบบ โฟลเดอร์และไฟล์ที่ละเอียดอ่อน)

กล่าวโดยย่อ โปรโตคอลนี้บอกหุ่นยนต์ของเครื่องมือค้นหาว่าสามารถหรือไม่สามารถทำอะไรบนไซต์ของคุณได้

นี่คือวิธีการทำงาน เมื่อโรบ็อตกำลังจะรวบรวมข้อมูล URL ของไซต์ของคุณ (เช่น โรบ็อตจะสำรวจและเรียกข้อมูลเพื่อให้สามารถจัดทำดัชนีได้) อันดับแรกจะดูที่ไฟล์ robots.txt ของคุณ

หากพบ มันจะอ่านมัน จากนั้นปฏิบัติตามคำสั่งที่คุณให้ไว้ (จะไม่สามารถรวบรวมข้อมูลดังกล่าวและไฟล์ดังกล่าวได้ หากคุณได้ห้ามไว้)

หากไม่พบ ระบบจะรวบรวมข้อมูลไซต์ของคุณตามปกติโดยไม่ยกเว้นเนื้อหาใดๆ

ดูตัวอย่างไฟล์ WordPress robots.txt เพื่อดูว่ามีลักษณะอย่างไร:

ไม่จำเป็นต้องหยุดอยู่ที่เนื้อหา ดังที่คุณเห็นในภายหลัง ไม่มีไฟล์มาตรฐานที่สามารถปรับให้เข้ากับไซต์ใดๆ ได้ ไม่แนะนำไม่ว่าในกรณีใด

หากคุณต้องจำอีก 4 เรื่องเกี่ยวกับหัวข้อของเราในวันนี้ ให้นึกเรื่องนี้ขึ้นมา:

1. ตามที่ Google อธิบาย ข้อมูลที่คุณระบุในไฟล์ robots.txt “ไม่สามารถบังคับให้โปรแกรมรวบรวมข้อมูลปฏิบัติตามกฎของเว็บไซต์ของคุณ” หากโปรแกรมรวบรวมข้อมูลที่ "ร้ายแรง" (Google, Bing, Yahoo, Yandex, Baidu เป็นต้น) เคารพพวกเขา จะไม่เป็นกรณีของหุ่นยนต์ที่เป็นอันตรายซึ่งพยายามบ่อนทำลายความปลอดภัยของเว็บไซต์ของคุณ
   นอกจากนี้ ไม่ใช่ว่าโรบ็อตทุกตัวจะตีความคำสั่งในลักษณะเดียวกัน ดังนั้นโปรดเคารพไวยากรณ์ที่ระบุโดย Google
2. ไฟล์ robots.txt เป็นไฟล์สาธารณะ ทุกคนสามารถเข้าถึงได้โดยพิมพ์เทมเพลตต่อไปนี้: yoursite.com/robots.txt ดังนั้น อย่าใช้เพื่อซ่อนเนื้อหา จะพบได้อย่างรวดเร็วว่ามันถูกซ่อนไว้ที่ไหน... หากคุณต้องการให้เนื้อหาบางส่วนยังคงเป็นส่วนตัว อย่าใส่ไว้ในไฟล์นี้ แต่ให้ป้องกันด้วยรหัสผ่าน เป็นต้น
3. ถ้าคุณไม่ต้องการให้บางหน้าปรากฏในผลการค้นหา "อย่าใช้ไฟล์ robots.txt เพื่อซ่อนหน้าเว็บของคุณ" Google กล่าว อันที่จริง หากมีลิงก์จำนวนหนึ่งชี้ไปที่หน้านี้ เป็นไปได้ที่ Google จะทำดัชนีและแสดงในผลการค้นหา โดยไม่ทราบว่ามีอะไรอยู่ แม้ว่าคุณจะบล็อกไว้ในไฟล์ robots.txt ก็ตาม
   เพื่อป้องกันไม่ให้หน้าปรากฏในผลการค้นหา Google แนะนำให้ใช้สิ่งที่เรียกว่าแท็ก noindex (สามารถเปิดใช้งานได้ง่ายใน Yoast SEO โดยยกเลิกการเลือกช่อง "อนุญาตให้เครื่องมือค้นหาแสดงโพสต์นี้ในผลการค้นหาหรือไม่" ซึ่งอยู่ใต้แต่ละโพสต์/ ในแท็บการตั้งค่า)
4. ไฟล์ robots.txt มี ลูกพี่ลูกน้องชื่อ human.txt
   นี่คือไฟล์ TXT ซึ่งอยู่ที่รากของไซต์ของคุณด้วย ซึ่งมีข้อมูลเกี่ยวกับบุคคลต่างๆ ที่มีส่วนร่วมในการออกแบบ
   ตัวอย่างเช่น นักพัฒนา นักออกแบบเว็บไซต์ บรรณาธิการ ฯลฯ ไม่จำเป็น แต่ถ้าคุณคิดว่ามันเป็นประโยชน์ที่จะรวมเข้ากับไซต์ WordPress ของคุณ คุณจะต้องเพิ่มลงในรากของไซต์ของคุณ ถัดจาก robots.txt (ดูตัวอย่างจาก WPMarmite)

คุณต้องการไฟล์ robots.txt จริงๆ หรือ

โดยค่าเริ่มต้น เครื่องมือค้นหาจะรวบรวมข้อมูลและจัดทำดัชนีเว็บไซต์ตามปกติ แม้จะไม่มีไฟล์ robots.txt ก็ตาม

อันหลังจึงไม่บังคับ ตามที่ Daniel Roch ผู้เชี่ยวชาญด้าน SEO ของ WordPress อธิบายว่า “หากคุณต้องการจัดทำดัชนีหน้า เนื้อหา และสื่อทั้งหมดของคุณ อย่าใช้ไฟล์ robots.txt : มันไม่มีประโยชน์อะไร”

แต่แล้วไฟล์นี้จะมีประโยชน์อะไรในช่วงเวลาที่เหลือ?

ประโยชน์หลักอยู่ที่ด้าน SEO ของคุณ อันที่จริง ไฟล์ robots.txt ช่วยให้คุณบันทึกสิ่งที่เรียกว่างบประมาณการรวบรวมข้อมูลได้ โพสต์นี้จากบล็อก Yoast SEO กล่าว

ค่อนข้างเป็นเรื่องทางเทคนิค แต่พูดง่ายๆ ก็คือ การยกเลิกการจัดทำดัชนีหน้าเว็บในไซต์ของคุณซึ่งไม่สนใจ SEO คุณจะเหลือเวลาและพลังงานมากขึ้นสำหรับ Google ในการรวบรวมข้อมูลอื่นๆ

หากคุณต้องการเจาะลึกในหัวข้อนี้ Brian Dean จาก Backlinko จะพูดถึงเรื่องนี้ที่นี่

เข้าร่วมกับสมาชิก WPMarmite

รับโพสต์ WPMarmite ล่าสุด (และทรัพยากรพิเศษ)

สมัครสมาชิกตอนนี้

ตอนนี้ได้เวลาไปยังการกำหนดค่าไฟล์ของคุณแล้ว และนี่เป็นสิ่งสำคัญ เชื่อฉันสิ หากไม่ได้รับการปรับแต่งอย่างเหมาะสม คุณอาจเสี่ยงที่จะลงโทษการแสดงตนของคุณในเครื่องมือค้นหา

จะสร้างไฟล์ WordPress robots.txt ได้อย่างไร?

ตามค่าเริ่มต้น WordPress จะสร้างไฟล์ robots.txt เสมือน ไม่สามารถเข้าถึงได้บนเซิร์ฟเวอร์ของคุณ แต่คุณสามารถดูออนไลน์ได้

เข้าร่วมเว็บไซต์ของ Usain Bolt อดีตดาวรุ่งชาวจาเมกา

หากต้องการดู คุณเพียงแค่พิมพ์ในเบราว์เซอร์ของคุณ http://usainbolt.com/robots.txt

นี่คือสิ่งที่คุณจะได้รับ:

ไฟล์เสมือนนี้ใช้งานได้ แต่คุณจะแก้ไข robots.txt นี้บนเว็บไซต์ WordPress ของคุณอย่างไร

คุณจะต้องสร้างไฟล์ของคุณเองเพื่อแทนที่

มีสองวิธีในการทำเช่นนี้:

• ใช้ปลั๊กอิน
• สร้างด้วยตนเอง

ฉันจะแสดงวิธีการทำอย่างละเอียด

วิธีสร้างไฟล์ robots.txt บน WordPress ด้วย Yoast SEO

ฉันยินดีที่จะเดิมพันว่าคุณรู้จัก Yoast SEO ใช่ไหม คุณรู้ไหม มันคือปลั๊กอิน SEO หนึ่งในการดาวน์โหลดมากที่สุดตลอดกาล

WPMarmite ใช้มัน และฉันจะใช้มันเพื่อแสดงให้คุณเห็นว่ามันสามารถช่วยคุณสร้างไฟล์ WordPress robots.txt ได้อย่างไร

แน่นอน ข้อกำหนดเบื้องต้นคือคุณได้ติดตั้งและเปิดใช้งานปลั๊กอินนี้แล้ว

เริ่มต้นด้วยการไปที่แดชบอร์ด WordPress และเลือก Yoast SEO > เครื่องมือ

ดำเนินการต่อโดยคลิกที่ "ตัวแก้ไขไฟล์"

หากคุณยังไม่มีไฟล์เฉพาะ ให้คลิกที่ปุ่มเพื่อสร้างไฟล์ ฉันมีอยู่แล้วบนเว็บไซต์ของฉัน ดังนั้นฉันจึงแก้ไขได้เท่านั้น และอย่าลืมบันทึกเมื่อคุณทำเสร็จแล้ว

และไปที่นั่น

ไม่ต้องกังวล ฉันจะอธิบายในตอนท้ายของส่วนนี้ว่าต้องใส่ข้อมูลใดบ้างในไฟล์นี้

ในตอนนี้ มาดูวิธีที่สองกัน: คุณจะต้องใช้มือเล็กๆ ของคุณ

วิธีการด้วยตนเอง

ไม่ว่าคุณจะใช้ปลั๊กอินเฉพาะหรือไม่ ก็ตาม คุณสามารถเพิ่มไฟล์ robots.txt บนเว็บไซต์ WordPress ของคุณได้ด้วยตนเอง มันง่ายมาก คุณจะเห็น

ขั้นแรก คุณจะต้องมีโปรแกรมแก้ไขข้อความ ในหมู่พวกเขา ฉันสามารถแนะนำ:

• วงเล็บ
• แผ่นจดบันทึก++
• ข้อความประเสริฐ

มิฉะนั้น Notepad ตัวเก่าของคุณจะทำงานได้ดีมาก

สร้างเอกสารใหม่และบันทึกลงในคอมพิวเตอร์โดยใช้ชื่อ robots.txt

ชื่อจะต้องเป็นตัวพิมพ์เล็กเสมอ และอย่าลืมใส่ “s” ในคำว่า robots (อย่าเขียน robot.txt )

ถัดไป เชื่อมต่อกับไคลเอนต์ FTP ของคุณ นี่คือซอฟต์แวร์ที่ให้คุณสื่อสารกับเซิร์ฟเวอร์ของคุณ

ส่วนตัวผมใช้ Filezilla แต่คุณยังสามารถใช้ Cyberduck ได้อีกด้วย สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีใช้ FTP โปรดดูที่โพสต์ของเรา: วิธีใช้ FTP เพื่อเข้าถึงไฟล์ WordPress ของคุณ

นอกจากนี้ FTP จะมีประโยชน์สำหรับคุณในกระบวนการติดตั้ง WordPress อ่านคำแนะนำของเรา: วิธีติดตั้ง WordPress: คำแนะนำทีละขั้นตอน

ขั้นตอนที่สามและขั้นตอนสุดท้าย: เพิ่มไฟล์ของคุณไปที่รูทของไซต์ของคุณ ฉันขอย้ำว่าในรูทของไซต์ของคุณ ไม่ใช่ในไดเร็กทอรีย่อย มิฉะนั้น เครื่องมือค้นหาจะไม่นำมาพิจารณา

ตัวอย่างเช่น หากไซต์ของคุณสามารถเข้าถึงได้ผ่าน https://www.yoursite.com/ ไฟล์ robots.txt ควรอยู่ที่ https://www.yoursite.com/robots.txt

ตำแหน่งนี้ (ราก) อาจแตกต่างกันไปในแต่ละโฮสต์ ที่ Bluehost (ลิงค์พันธมิตร) จะเรียกว่า public_html ที่ OVH คุณจะพบได้ภายใต้ชื่อ www .

การใช้งานขั้นสุดท้ายควรมีลักษณะดังนี้บนไซต์ของคุณ:

กฎสำคัญที่ต้องรู้

ขอแสดงความยินดี ไฟล์ robots.txt ของคุณอยู่บนเซิร์ฟเวอร์แล้ว ขณะนี้ว่างเปล่า แต่คุณสามารถแก้ไขได้ทุกเมื่อที่ต้องการ

ตามหลักเหตุผล คุณต้องถามตัวเองว่าควรใส่คำแนะนำประเภทใดบ้าง

ก่อนที่เราจะไปถึงจุดนั้น จำเป็นต้องเข้าใจรูปแบบเฉพาะของไฟล์นี้

“กฎแต่ละข้อบล็อกหรืออนุญาตการเข้าถึงสำหรับโปรแกรมรวบรวมข้อมูลที่กำหนดไปยังเส้นทางไฟล์ที่ระบุในเว็บไซต์นั้น” ตามที่ Google อธิบายเกี่ยวกับความช่วยเหลือของ Search Console

กฎหลักสองข้อเรียกว่า:

• User-agent : หมายถึงชื่อของโรบ็อตของเครื่องมือค้นหาที่ใช้กฎ
• Disallow : กำหนดไดเร็กทอรีหรือเพจ สัมพันธ์กับโดเมนราก ที่ user-agent ไม่ควรรวบรวมข้อมูล โปรดจำไว้ว่า ตามค่าเริ่มต้น โรบ็อตสามารถสำรวจหน้าหรือไดเร็กทอรีที่ไม่ถูกบล็อกโดยกฎ Disallow

มาศึกษาตัวอย่างง่ายๆ ให้เข้าใจกัน

ในบรรทัดแรก เครื่องหมายดอกจัน * คือสิ่งที่เราเรียกว่าไวด์การ์ด หมายถึงโรบ็อตเครื่องมือค้นหาทั้งหมด ( user-agent )

ในบรรทัดที่สอง คุณ disallow เข้าถึงเครื่องมือค้นหาเหล่านี้ไปยังไดเร็กทอรีและหน้าทั้งหมดของไซต์ของคุณ ผ่านทางเครื่องหมายทับ /

คุณไม่จำเป็นต้องป้อนชื่อโดเมนของคุณ (เช่น mysite.com/ ) ก่อนเครื่องหมายทับ เนื่องจากไฟล์ robots.txt ใช้ URL ที่เกี่ยวข้อง พูดง่ายๆ ก็คือ มันรู้ว่าเครื่องหมายทับหมายถึงรูทของชื่อโดเมนของคุณ

เห็นได้ชัดว่าโค้ดด้านบนนี้มีประโยชน์เพียงเล็กน้อย หากคุณต้องการให้ไซต์ของคุณได้รับการรวบรวมข้อมูลและจัดทำดัชนี แต่จะมีประโยชน์เมื่อคุณอยู่ในขั้นตอนการสร้างไซต์ของคุณ

ถ้าคุณไม่ต้องการให้โรบ็อตบางประเภทรวบรวมข้อมูลเว็บไซต์ของคุณ เช่น Yahoo (Slurp เป็นชื่อที่เชื่อมโยงกับโรบ็อตของ Yahoo) คุณจะต้องดำเนินการดังนี้:

สำหรับข้อมูลเพิ่มเติมเกี่ยวกับชื่อโรบ็อต ฉันแนะนำให้คุณไปที่ภาพหน้าจอนี้จากไซต์ Yoast SEO

กฎเพิ่มเติมบางประการ

ฉันบอกคุณเกี่ยวกับ User-agent และ Disallow ซึ่งใช้มากที่สุด คุณควรรู้ว่ามีกฎไวยากรณ์อื่นๆ แต่โรบ็อตทั้งหมดจะไม่นำมาพิจารณา (โดย Google ใช่) ในหมู่พวกเขามี:

• Allow : อนุญาตให้สำรวจไดเรกทอรีย่อยหรือหน้าในไดเรกทอรีที่ไม่ได้รับอนุญาต ( Disallow )
• Sitemap : บอกหุ่นยนต์ว่าแผนผังไซต์ของคุณตั้งอยู่ที่ไหน บรรทัดนี้เป็นทางเลือก เราขอแนะนำให้คุณส่งแผนผังเว็บไซต์ไปยังเครื่องมือค้นหาผ่านเครื่องมือเฉพาะ เช่น Google Search Console ฉันอธิบายวิธีการทำในโพสต์นี้

เพื่อให้แน่ใจว่าคุณจะเข้าใจ มาต่อกันอีกหน่อยโดยให้ตัวอย่างใหม่ 3 ตัวอย่างแก่คุณ

วิธีบล็อกการเข้าถึงไดเร็กทอรี

ฉันขอให้โรบ็อตทั้งหมดไม่สำรวจเนื้อหาทั้งหมดของไดเร็กทอรี wp-admin

วิธีบล็อกการเข้าถึงหน้าหรือไฟล์

ในตัวอย่างนี้ ฉันขอให้โรบ็อตทั้งหมดไม่สร้างดัชนีหน้าเข้าสู่ระบบ WordPress รวมทั้งรูปถ่าย

คุณยังสามารถเห็นสัญลักษณ์ # ปรากฏขึ้น มันแนะนำความคิดเห็น ข้อความที่อยู่เบื้องหลังจะไม่ถูกนำมาพิจารณา

พึงระลึกไว้เสมอว่ากฎต่างๆ จะคำนึงถึงตัวพิมพ์เล็กและตัวพิมพ์ใหญ่

ตัวอย่างเช่น Disallow: /myphoto.jpg ตรงกับ http://www.mysite.com/myphoto.jpg แต่ไม่ตรงกับ http://www.mysite.com/Myphoto.jpg

วิธีสร้างกฎที่แตกต่างกันสำหรับหุ่นยนต์ที่แตกต่างกัน

กฎจะถูกประมวลผลจากบนลงล่างเสมอ โปรดจำไว้ว่า พวกเขาเริ่มต้นด้วยคำสั่ง User-agent ซึ่งระบุหุ่นยนต์ที่ใช้กฎ

ในอันแรก ฉันขอให้โรบ็อตทั้งหมดไม่สร้างดัชนีหน้าล็อกอิน ( wp-login.php )

ในข้อที่สอง ฉันขอให้โปรแกรมรวบรวมข้อมูลของ Google (Googlebot) โดยเฉพาะไม่ให้รวบรวมข้อมูลทั้งไซต์ของฉัน

วิธีอนุญาตการเข้าถึงไฟล์ในไดเร็กทอรีที่ถูกบล็อก

เราใช้คำสั่ง Allow ในตัวอย่างนี้ ไดเร็กทอรี wp-admin ทั้งหมดถูกบล็อก ยกเว้นไฟล์ widgets.php

ค้นหาผู้เชี่ยวชาญ WordPress ที่ดีที่สุด

Codeable ทุ่มเทเพื่อจับคู่คุณกับผู้เชี่ยวชาญที่สามารถช่วยคุณได้ทุกอย่างตั้งแต่การออกแบบธีม WordPress หรือการติดตั้งไปจนถึงการพัฒนาปลั๊กอินที่กำหนดเอง

ลอง Codeable

จะตรวจสอบได้อย่างไรว่าไฟล์ robots.txt ของคุณทำงานอย่างถูกต้อง

เพื่อให้แน่ใจว่าไฟล์ของคุณได้รับการตั้งค่าอย่างถูกต้อง คุณสามารถตรวจสอบและตรวจสอบได้ใน Google Search Console ซึ่งเป็นเครื่องมือที่ฟรีและจำเป็นสำหรับการจัดการ SEO ของไซต์ของคุณ (และอื่นๆ)

เปิดเครื่องมือทดสอบไฟล์ robots.txt (คุณต้องลงทะเบียนเว็บไซต์ของคุณที่นั่นก่อน)

เมื่อคุณป้อนคำแนะนำที่คุณเลือกในตัวแก้ไขที่ให้ไว้ คุณสามารถทดสอบไฟล์ของคุณได้

ถ้าทุกอย่างเรียบร้อยดี คุณควรมีข้อความต่อไปนี้ที่ด้านล่างของตัวแก้ไข

หากไม่เป็นเช่นนั้น ไฟล์ของคุณมีข้อผิดพลาดทางตรรกะหรือคำเตือนทางไวยากรณ์ สุดท้าย อย่าลืมส่งไฟล์โดยคลิกที่ปุ่ม "ส่ง"

วิธีเพิ่มประสิทธิภาพไฟล์ robots.txt ของคุณบน WordPress?

สิ่งที่คุณควรใส่หรือไม่ใส่ในไฟล์ robots.txt ของคุณ

มีเทมเพลตที่กำหนดไว้ล่วงหน้าที่สามารถปรับให้เข้ากับแต่ละไซต์ได้หรือไม่

คำตอบ: ทั้งใช่และไม่ใช่

แท้จริงแล้ว แต่ละไซต์มีความแตกต่างกัน และเป็นการยากที่จะคัดลอกและวางสิ่งที่ Peter, Paul หรือ James เสนอในเว็บไซต์ของตน ปัญหาของพวกเขามักจะแตกต่างจากปัญหาของคุณ

อย่างไรก็ตาม เราสามารถให้ไฟล์ robots.txt พื้นฐานที่เหมาะกับไซต์ส่วนใหญ่ได้:

เพื่อบอกความจริงแก่คุณ แม้แต่ในชุมชน WordPress ก็เป็นไปไม่ได้ที่จะทำให้ทุกคนเห็นด้วย ความคิดเห็นแตกต่างกัน

บางคนเช่น Joost de Valk ผู้ก่อตั้ง Yoast สนับสนุนความเรียบง่าย นี้เป็นจริงแนวโน้มปัจจุบัน

โดยพื้นฐานแล้ว พวกเขาเชื่อว่าเนื่องจาก Google สามารถตีความเว็บไซต์ของคุณได้อย่างครบถ้วน (รวมถึงโค้ด CSS และ JavaScript และไม่ใช่แค่ HTML อีกต่อไป) จึงไม่ควรบล็อกการเข้าถึงไฟล์ CSS และ JavaScript เพื่อให้มองเห็นหน้าเว็บของคุณได้ อย่างครบถ้วน มิฉะนั้น อาจส่งผลต่อ SEO ของคุณ

หากต้องการตรวจสอบว่า Google มีสิทธิ์เข้าถึงทรัพยากรทั้งหมดที่จำเป็นในการแสดงหน้าของคุณอย่างถูกต้อง คุณสามารถกลับไปที่ Google Search Console ไปที่แท็บ "การตรวจสอบ URL" คลิกที่ "ดูหน้าทดสอบ" จากนั้นคลิกที่ "ภาพหน้าจอ"

หากเว็บไซต์ของคุณไม่เป็นไปตามที่ควร (เช่น ไม่ได้ใช้รูปแบบบางอย่าง) อาจเป็นเพราะกฎบางอย่างในไฟล์ robots.txt ของคุณต้องได้รับการตรวจสอบ

แต่กลับไปที่ Yoast ดูไฟล์ robots.txt ของพวกเขา:

อย่างที่คุณเห็นไม่มีอะไรถูกบล็อก!

คนอื่นๆ สนับสนุนแนวทางที่ "ปลอดภัย" ที่กว้างขึ้นสำหรับไซต์ของคุณ พวกเขาแนะนำเหนือสิ่งอื่นใด:

• ป้องกันการเข้าถึงไดเรกทอรี WordPress หลักสองไดเรกทอรี เช่น โฟลเดอร์ wp-admin (ซึ่งเป็นที่ตั้งของรายการการดูแลระบบของเว็บไซต์ของคุณ) และโฟลเดอร์ wp-includes (ซึ่งเก็บไฟล์ WordPress ทั้งหมดไว้)
• ยกเลิกการสร้างดัชนีหน้าเข้าสู่ระบบ (wp-login.php )
• หรือเพื่อ ยกเลิกการสร้างดัชนีไฟล์ readme.html เนื่องจากมีเวอร์ชันของ WordPress ที่คุณใช้อยู่

กล่าวโดยสรุป มันไม่ง่ายเลยที่จะค้นหาคำแนะนำเหล่านี้ทั้งหมด!

สรุป ผมแนะนำให้คุณ:

• ยึดถือให้น้อยที่สุดหากคุณไม่แน่ใจว่ากำลังทำอะไร อยู่ มิฉะนั้น ผลที่ตามมาของ SEO ของคุณอาจเป็นเรื่องน่าเสียดาย
• ตรวจสอบว่าไฟล์ของคุณไม่มีข้อผิดพลาดใน Search Console ก่อนส่ง

บทสรุป

อย่างที่คุณเห็น ไฟล์ robots.txt เป็นเครื่องมือที่น่าสนใจสำหรับ SEO ของคุณ ช่วยให้คุณสามารถบอกหุ่นยนต์ของเครื่องมือค้นหาสิ่งที่พวกเขาควรและไม่ควรรวบรวมข้อมูล

แต่ต้องจัดการด้วยความระมัดระวัง การกำหนดค่าที่ไม่ถูกต้องอาจนำไปสู่การยกเลิกการจัดทำดัชนีเว็บไซต์ของคุณทั้งหมด (เช่น หากคุณใช้ Disallow: / ) ดังนั้นจงระวัง!

เพื่อจบโพสต์นี้ เรามาทำสรุปกัน ตลอดบรรทัดเหล่านี้ ฉันมีรายละเอียด:

• ไฟล์ robots.txt คืออะไร
• วิธีการติดตั้งบน WordPress .
• วิธีเพิ่มประสิทธิภาพไฟล์ robots.txt ของคุณ บน WordPress สำหรับ SEO

ตอนนี้ถึงตาคุณแล้ว บอกฉันว่าคุณใช้ไฟล์ประเภทนี้หรือไม่และตั้งค่าอย่างไร

แบ่งปันความคิดและข้อเสนอแนะของคุณในความคิดเห็น