Cara Menambahkan File Robots Txt Ke WordPress (Dalam 3 Langkah Sederhana)

Menambahkan file robots.txt ke situs WordPress Anda adalah proses sederhana yang dapat dilakukan dalam beberapa langkah. File robots.txt adalah file teks yang memberi tahu perayap mesin telusur halaman mana di situs web Anda yang harus mereka indeks dan mana yang harus diabaikan. Dengan mengecualikan halaman tertentu agar tidak diindeks, Anda dapat meningkatkan pengoptimalan mesin telusur (SEO) situs Anda. Ada beberapa cara berbeda untuk menambahkan file robots.txt ke WordPress. Cara termudah adalah dengan menggunakan plugin seperti Yoast SEO atau All in One SEO Pack, yang secara otomatis akan menghasilkan file robots.txt untuk Anda. Atau, Anda dapat membuat file robots.txt sendiri dan mengunggahnya ke situs WordPress Anda melalui FTP. Metode apa pun yang Anda pilih, pastikan untuk menguji file robots.txt Anda sebelum membuatnya aktif untuk memastikan bahwa itu berfungsi sebagaimana mestinya.

Mendapatkan kehadiran di mesin pencari untuk kata kunci tertentu sangat penting bagi pemilik situs web karena memastikan bahwa situs mereka muncul di SERP. Webmaster dapat mengatur jumlah waktu yang dihabiskan robot mesin pencari di dalam dan di luar situs web dengan memasukkan instruksi ke dalam robots.txt, file khusus. Dalam tutorial ini, saya akan menunjukkan cara menambahkan file 'robots.txt' ke situs WordPress Anda untuk mencegah mesin pencari mengakses bagian tertentu dari situs Anda. Hubungkan ke Platform Cloudways dengan menggunakan FileZilla. Anda dapat membuat file baru bernama robots.txt di /applications/ [FOLDER NAME]/public_html. Buka file dalam editor teks (Notepad adalah alternatif yang baik). Pengaturan wildcard memungkinkan pengunduhan jenis file tertentu.

Tidak ada batasan untuk opsi/pilihan yang dapat ditangani oleh tanda bintang (*. Selain itu, jika ekstensi tertentu dipilih, Anda dapat membatasi jumlah file yang dapat dimatikan. Robots.txt adalah file yang fantastis untuk digunakan untuk SEO Terserah Anda berapa banyak bagian dari situs WordPress Anda yang ingin Anda tampilkan di SERP. Jika situs Anda memiliki peta situs, Anda harus menyertakan URL untuk membantu mesin telusur menemukannya. Direktori sering kali tidak perlu diindeks oleh mesin pencari Hasilnya, halaman dapat diindeks lebih cepat.

Akibatnya, Anda harus menyertakan robots.txt dalam skrip situs web Anda agar mesin telusur tidak mengindeks bagian tertentu. Jika situs Anda tidak dikonfigurasi dengan benar (seperti hapus /), itu akan dideindeks oleh Google. Anda juga harus berhati-hati. Anda memiliki kesempatan untuk menyelesaikan tugas. Tolong beri tahu saya jika Anda menggunakan jenis file ini dan apa pengaturannya.

txt adalah salah satu format file paling sederhana untuk digunakan. Robot diprogram untuk "Izinkan" (yaitu, mengindeksnya) dan "Larang" (yaitu, menolaknya) berdasarkan halaman mana yang ingin mereka lihat. Yang terakhir hanya akan digunakan sekali untuk membuat daftar halaman yang tidak ingin dijelajahi oleh laba-laba.

File teks bernama txt dapat digunakan oleh situs web untuk memberikan instruksi kepada bot perayapan web. Google dan mesin telusur lainnya menggunakan perayap web , juga dikenal sebagai robot web, untuk mengarsipkan dan mengkategorikan situs web. Pencarian robot biasanya digunakan di bot.

Robots.txt dapat ditambahkan ke file di Internet. Untuk melihat arahan situs web (jika situs memiliki robot), ketik URL di akhir domain root apa pun.

Di mana Saya Menempatkan File Robots Txt WordPress?

Buat daftar robot FTP Anda dengan membuka bagian kiri klien FTP Anda (kami menggunakan Filezilla). Anda menyimpan file txt yang sebelumnya Anda buat di komputer. Anda dapat mengunggahnya dengan mengklik kanan dan memilih Unggah. File akan diunggah dalam beberapa saat, dan Anda akan dapat melihatnya di direktori root WordPress Anda.

File robots.txt terletak di direktori root WordPress Anda dan merupakan file teks. Untuk memberi bot mesin telusur gagasan tentang halaman mana di situs web Anda yang harus mereka jelajahi, ini akan menampilkan daftar halaman mana yang harus dan tidak boleh dirayapi. Dimungkinkan untuk menginstruksikan file untuk menghindari perayapan, daripada pengindeksan. Dalam kasus di mana bot jahat merusak situs web Anda, plugin keamanan yang baik sangat penting. WordPress membuat file robots.txt virtual untuk setiap situs web yang menggunakannya. Jika Anda ingin mengubah sesuatu, Anda memiliki tiga opsi. Plugin Yoast SEO , salah satu alat paling populer untuk mengoptimalkan situs web, adalah pilihan yang sangat baik.

All in One SEO, plugin SEO gratis lainnya, menyediakan berbagai fitur tambahan. Jika Anda pernah menggunakan FTP sebelumnya, Anda tahu bahwa Anda dapat mengunggah file robots.txt ke server Anda. Anda akan melihat bagian baru di file robots.txt bernama Robots.txt di mana Anda dapat menambahkan aturan dan arahan ke file sesudahnya. User-agent dan Disallow keduanya direktif yang terkandung dalam file ini. Jika Anda ingin menentukan satu bot (misalnya Bingbot), atau jika Anda ingin arahan diterapkan ke semua bot, masukkan tanda bintang (User-agent: *). Permintaan perayapan yang berlebihan membebani server, sehingga perintah penundaan perayapan digunakan. Karena tidak ada perayap yang mendukung arahan ini, sebaiknya gunakan dengan hati-hati.

Mesin pencari akan diarahkan ke file peta situs XML Anda jika Anda menggunakan arahan Peta Situs. Di bagian berikut, kami akan menunjukkan kepada Anda dua cuplikan contoh yang menunjukkan penggunaan perintah robots.txt. Setiap situs WordPress memiliki file robots.txt di direktori root-nya. Di dalamnya, perayap akan diberikan instruksi tentang bagian mana dari situs web Anda yang harus mereka cari. Mereka harus, atau tidak, merangkak di atas tanah. Selama diskusi kami, kami membahas cara membuat versi fisik file dan cara mengeditnya.

Haruskah Anda Menambahkan File Robots.txt ke Situs WordPress Anda?

Segera setelah WordPress diinstal, secara otomatis akan menghasilkan file robots.txt. Pengindeks mesin pencari mengarsipkan direktori ini untuk menentukan halaman mana di situs yang diindeks. File robots.txt tidak perlu ditambahkan ke situs WordPress dalam banyak kasus. Namun, untuk meningkatkan peringkat mesin pencari Anda, Anda dapat menambahkan file robots.txt untuk mengelola indeks mesin pencari.

Bagaimana Cara Membuka File Robots Txt Di WordPress?

Ada beberapa cara untuk membuka file robots.txt di WordPress. Salah satu caranya adalah cukup masuk ke folder instalasi WordPress Anda dan buka file di editor teks. Cara lain adalah dengan menggunakan plugin seperti WP Robots Txt untuk mengedit file dari dalam area admin WordPress.

Ada file robots.txt yang ditemukan di hampir setiap situs web, tetapi kebanyakan orang tidak mengerti apa fungsinya atau bagaimana menggunakannya. Dalam panduan ini, kita akan melihat file dan batasannya untuk mempelajari cara mengelola akses situs web Anda. Meskipun halaman memiliki tautan yang mengarah ke halaman tersebut, halaman tersebut masih dapat diindeks oleh mesin telusur jika diblokir oleh robots.txt. Google tidak akan mengakses area yang ditandai di situs Anda. Tag noindex dapat ditambahkan ke halaman yang belum diblokir oleh Google, menurut John Mueller, Analis Webmaster Google. Anda dapat menggunakan plugin Yoast SEO yang populer untuk membuat (dan kemudian mengedit) template SEO. Letakkan file robots.txt Anda di tempat yang tepat dengan mengklik kanan antarmuka Yoast.

Demikian pula, Anda dapat menerapkan jenis integrasi ini di plugin All in One SEO. Silakan terus membaca untuk informasi lebih lanjut tentang berbagai jenis arahan yang harus ditentukan dalam file robots.html WordPress Anda. Sebelum Anda menambahkan aturan, Anda harus terlebih dahulu memilih Agen pengguna mana yang harus menerapkan aturan, diikuti dengan berapa banyak aturan yang akan diterapkan menggunakan Disallow dan Allow. Melarang akses ke folder dan folder turunannya tetapi mengizinkan akses ke folder tertentu dari anak tertentu bisa menjadi ide yang bagus jika Anda ingin membatasi akses ke folder dan folder turunannya. Izinkan memungkinkan Anda untuk memberikan akses ke file tertentu dalam folder tertentu tetapi mencegah Anda mengakses seluruh folder. WordPress menggunakan parameter kueri bernama?s= saat menangani kueri. Anda hanya perlu menambahkan aturan berikut untuk mengonfigurasi blok pada akses.

Kesalahan 404 lunak juga dapat dihindari dengan menggunakan fitur ini, serta dengan memblokirnya jika terjadi. Bahkan jika Anda menargetkan wilayah tertentu di luar Amerika Serikat, tidak perlu memblokir Googlebot untuk memasuki negara tersebut. Google kesal karena perintah dengan karakter yang tidak terlihat tidak dipahami. Sangat disayangkan bahwa ini membatalkan baris pertama file robots.txt kami. Ini tidak sama dengan menggunakan tag noindex di file robots.txt, yang disebut sebagai perintah Disallow. Bots.txt, di sisi lain, tidak mengindeks, tetapi mencegah perayapan. Anda dapat menggunakannya untuk mengonfigurasi cara mesin telusur dan bot lain berinteraksi dengan situs web Anda dengan menambahkan aturan khusus. Tidak perlu mengubah file robots.html virtual default untuk kebanyakan orang yang tidak menggunakan WordPress sama sekali. Namun, Anda dapat menambahkan aturan Anda sendiri jika Anda memiliki masalah dengan bot atau plugin tertentu.

Cara Menambahkan File Robots.txt ke Situs Anda

Jika Anda menggunakan WordPress, Anda dapat dengan mudah menambahkan file ini ke situs Anda dengan menggunakan wizard Add New Page. Kemudian, di bidang File URL, masukkan URL untuk file robots.txt. File ini juga dapat ditambahkan ke halaman WordPress dengan mengklik item menu Kelola Halaman di dasbor.
Jika Anda tidak menggunakan WordPress, Anda mungkin perlu menambahkan robots.txt ke situs Anda dengan cara yang berbeda. Jika Anda memiliki klien FTP yang terinstal di komputer Anda, Anda dapat dengan mudah menambahkan file ini; jika Anda memiliki pengelola file yang terinstal di komputer Anda, Anda dapat dengan mudah menambahkannya.

Apakah Saya Membutuhkan File Robots Txt WordPress?

Tidak ada jawaban pasti untuk pertanyaan ini, karena itu tergantung pada situs WordPress tertentu yang dipermasalahkan dan jenis konten atau fungsi apa yang dimilikinya. Namun, secara umum, file robots.txt tidak sepenuhnya diperlukan untuk WordPress, meskipun dapat berguna dalam beberapa kasus. Misalnya, jika situs WordPress memiliki banyak informasi sensitif atau rahasia, file robots.txt dapat digunakan untuk mencegah mesin pencari mengindeks konten ini.

File robots.txt adalah file teks sederhana yang memberi tahu mesin pencari di mana dan kapan seharusnya tidak merayapi situs web Anda. Anda dapat mencegah mesin pencari mengakses file dan folder yang berbeda di situs Anda dengan menggunakan fitur ini. Pada artikel ini, kami akan menunjukkan kepada Anda cara membuatnya dan memberi Anda beberapa plugin yang kami rekomendasikan, memungkinkan Anda melakukan pekerjaan itu sendiri. Setiap mesin pencari menyertakan agen pengguna perayapan web dalam hasil pencariannya. Googlebot, misalnya, mengindeks konten situs web Anda untuk mesin pencari Google. Anda memiliki opsi untuk mengonfigurasi instruksi khusus untuk masing-masing agen pengguna ini. File robots.txt dapat diakses dengan mengetikkan '/robots.txt' setelah nama domain.

Anda dapat menginstruksikan robot untuk tidak melihat halaman apa pun di situs setelah menukarkan garis miring dengan mengikuti tautan. Perayapan anggaran didefinisikan sebagai jumlah URL yang dapat dirayapi bot mesin telusur dalam satu sesi. Setiap situs web akan memiliki anggaran perayapan khusus. Jika Anda memiliki banyak halaman di situs web Anda, Anda harus memeriksa untuk melihat apakah bot merayapi halaman Anda yang paling berharga terlebih dahulu. Plugin Yoast SEO WordPress memungkinkan Anda membuat file robots.txt dengan mudah dari dasbor Anda. Selanjutnya, gunakan klien FTP seperti Filezilla untuk mengunggah file secara manual. Jika Anda ingin menampilkan file di situs web Anda, pastikan itu ada di folder root.

Untuk membuatnya, Anda harus menggunakan editor teks seperti Notepad jika file tidak ada. File robots.txt harus selalu berada di root situs web Anda. Mesin pencari akan terus merayapi dan mengindeks situs Anda terlepas dari apakah Anda memiliki file ini atau tidak. Sangat mudah untuk menguji file robots.txt Anda di Google Search Console. Dengan mengeklik 'Tambahkan properti sekarang', Anda dapat menambahkan situs web Anda ke Google Penelusuran dalam hitungan menit. Sangat penting untuk mempertahankan anggaran perayapan tertentu di setiap situs web. Anda harus memperhitungkan jumlah halaman yang harus dikunjungi bot selama sesi. Jika bot tidak menyelesaikan crawling semua halaman di situs Anda selama sesi, bot akan kembali ke situs Anda dan melanjutkan crawling di sesi berikutnya. Perbaikan cepat adalah memblokir bot pencarian agar tidak merayapi halaman yang tidak perlu, file media, plugin, folder tema, dan sebagainya, sehingga menghemat kuota perayapan Anda.

Sederhananya, tambahkan baris berikut ke file robots.txt Anda: Agents: users. Layanan Googlebot sedang digunakan. Jika Anda tidak memiliki file robots.txt, Googlebot akan merayapi laman Anda dan mengindeksnya secara otomatis di mesin telusur.

Mengapa Anda Harus Menambahkan File Robots.txt Untuk Meningkatkan Seo Anda

Anda dapat meningkatkan peringkat mesin pencari situs web Anda dengan mengunduh file robots.txt. Crawler akan mencari file ini di root situs web Anda untuk melihat apakah konten diizinkan atau tidak dan alasannya.

Edit Robots.txt WordPress

Jika Anda ingin mengedit file robots.txt Anda, Anda dapat melakukannya dengan masuk ke dashboard WordPress Anda dan kemudian mengklik tab "Pengaturan". Dari sana, Anda akan menemukan bagian "Membaca" di mana Anda dapat mengedit file robots.txt Anda.

File robots.txt, selain memberi tahu mesin telusur ke mana situs Anda diizinkan, juga memberi tahu mereka cara merayapinya. Jika Anda menginstruksikan bot Anda untuk tidak merayapi halaman yang tidak perlu di situs Anda, Anda dapat meningkatkan kecepatan pemuatannya dan mungkin peringkatnya lebih tinggi di mesin telusur. Dalam posting ini, kami akan menunjukkan cara mengedit file robots.html Anda menggunakan WordPress. File robots.txt diperlukan karena beberapa alasan. Saat menggunakan tag meta noindex alih-alih robots.txt saat memuat situs web. Mengapa itu sangat penting dalam hidup kita. Meskipun sistem memungkinkan Anda menentukan mesin telusur dan bot lain mana yang berinteraksi dengan situs web Anda, sistem ini tidak secara eksplisit melarang mesin telusur atau bot lain mengindeks konten Anda.

Mari kita lihat cara mengedit file robots.html di WordPress langkah demi langkah menggunakan AIOSEO. Pembuat aturan memungkinkan Anda membuat aturan sendiri untuk halaman tertentu yang mungkin atau tidak boleh dikunjungi oleh robot. Saat membuat aturan khusus, Anda dapat memasukkan Agen Pengguna (misalnya, perayap Googlebot ) di bidang Agen Pengguna. Anda harus memasukkan jalur direktori atau nama file di bidang Jalur Direktori setelah menentukan bot mana yang harus diizinkan atau ditolak. Jika Anda menyimpan aturan baru, aturan tersebut akan terlihat di bagian Pratinjau Robots.txt. Anda dapat melihat file robots.txt Anda dengan mengklik Open Robots. Teks ini akan dikirim ke perangkat seluler Anda segera setelah tersedia. Hanya dengan mengetikkan detail aturan Anda, Anda dapat mengubahnya. Beberapa contoh menghapus aturan akan ditampilkan di bagian terpisah.

Robots.txt Default Untuk WordPress

Jika Anda membuat situs WordPress dan tidak membuat file robots.txt kustom, situs Anda akan secara otomatis menghasilkan file robots.txt default yang mencakup: User-agent: * Disallow: / Baris pertama, User-agent: * , berlaku untuk semua perayap web . Baris kedua, Disallow: /, menginstruksikan semua perayap web untuk tidak mengindeks halaman apa pun di situs Anda. Ini adalah pengaturan yang paling ketat, dan tidak disarankan untuk sebagian besar situs WordPress.

Menggunakan file robots.txt yang terstruktur dengan baik akan memungkinkan Anda mengarahkan bot mesin pencari ke situs web Anda. Mereka diberitahu untuk menjaga jarak dari kamar-kamar itu saat mereka melihatnya. Bahkan jika Anda bukan ahli teknis, Anda dapat membuat file ini untuk memenuhi kebutuhan Anda, bahkan jika Anda tidak tahu pengkodean apa pun. Saat Anda membuat situs web WordPress, itu membuat file robots.txt virtual untuk Anda. Bot dicegah mengakses administrator dan direktori termasuk WP berdasarkan file ini. Untuk melakukan perubahan, Anda harus membuat file baru terlebih dahulu, lalu mengunggahnya ke folder root. Robots.txt dapat diedit di WordPress dengan dua cara: melalui plugin atau secara manual.

Kami membuat seperangkat aturan baru untuk mencegah bot pencarian Bing merayapi situs kami dalam contoh ini. Instruksi Anda dalam file ini hampir pasti akan diikuti oleh sebagian besar bot, tetapi Anda tidak berusaha memaksanya. Setelah Anda menginstal dan mengaktifkan plugin Yoast SEO untuk WordPress, Anda akan dapat mengedit file robots.txt langsung dari dashboard WordPress. Paket SEO All-in-One adalah paket SEO lain yang harus diperhatikan dalam hal SEO WordPress , dan juga sangat mudah digunakan. Yoast adalah produk yang mirip dengannya, tetapi bobotnya jauh lebih ringan. Sesederhana mengetik beberapa baris teks ke Notepad atau TextEdit untuk membuat file robots.txt. Untuk menguji file, unggah melalui FTP dan kemudian gunakan Google Search Console.

Paket SEO All In One mencakup alat yang dapat digunakan untuk memblokir bot "buruk". Jika Anda ingin meningkatkan visibilitas situs Anda, bot mesin telusur harus merayapi informasi yang paling relevan. File robots.txt WordPress memudahkan untuk menentukan bagaimana bot Anda berinteraksi dengan situs Anda. Akan lebih mudah bagi mereka untuk menyajikan konten yang relevan dan bermanfaat ke mesin pencari.

Cara Memperbarui File Robots.txt WordPress Anda

Jika root situs web tidak berisi file fisik, WordPress membuat file robots.txt virtual. Untuk mengaktifkan file virtual, Anda harus terlebih dahulu menimpanya dengan mengikuti langkah-langkah berikut: Buka browser Anda dan navigasikan ke direktori root situs web Anda.
Periksa file robots.txt.
Harap buat perubahan yang diperlukan pada file.
Periksa untuk melihat apakah Anda telah menyimpan file.
Situs web Anda harus dimuat ulang.
File robots.txt dapat diperbarui dengan membuka menu 'Plugins' di bilah sisi kiri dan mencarinya. Buat perubahan apa pun pada file robots.txt dengan memilih 'Pengaturan' dari menu.