Cara mengedit file Robots.txt di WordPress

Minggu ini, kami menangani pertanyaan lain yang dimiliki pengguna WP pemula – cara mengedit file robots.txt di WordPress. Alasan di balik ini cukup sederhana – ini menguntungkan upaya SEO Anda . File robots.txt adalah alat yang sangat kuat dalam SEO karena berfungsi sebagai panduan situs web untuk bot perayapan mesin telusur . Itulah sebabnya para ahli WordPress menyadari pentingnya dan cara terbaik untuk menerapkannya ke dalam optimasi situs mereka. Di sini kami mengambil langkah demi langkah kami tentang seluruh topik .

Kita mulai dengan definisi yang lebih rinci dari file robots.txt

Bot mesin pencari memerlukan petunjuk tentang cara merayapi dan mengindeks halaman dalam situs Anda . Di situlah file robots.txt berperan. File ini memaparkan struktur halaman Anda, membuatnya mudah dibaca dan dinilai oleh bot mesin pencari.

Anda biasanya dapat menemukan file robots.txt yang tersimpan di direktori root. Direktori ini juga dikenal sebagai folder utama seluruh situs web Anda . Sebelum kita masuk ke cara mengedit file robots.txt di WordPress, pertama-tama kita perlu belajar cara mengenalinya. Jadi, berikut adalah contoh tampilan file robots.txt biasa:

File itu sendiri menawarkan banyak ruang untuk penyesuaian, seperti mengizinkan/melarang URL tertentu atau menambahkan beberapa file peta situs . Jadi, jika Anda memiliki URL yang tidak ingin dirayapi dan diberi peringkat oleh bot mesin telusur, Anda harus melarangnya melalui robots.txt. Berikut adalah contoh mengizinkan/melarang bot mesin telusur untuk merayapi URL tertentu:

Terakhir, kami menambahkan peta situs kami ke dalam campuran, membuat URL terlihat oleh bot mesin pencari.

Pentingnya memiliki file robots.txt di WordPress

Yang penting untuk dipahami adalah bahwa meskipun Anda tidak memiliki file robots.txt, bot mesin telusur akan tetap merayapi laman Anda . Namun, mereka akan merayapi semuanya. Anda tidak akan dapat mengurutkan halaman mana yang harus dan tidak boleh dirayapi.

Untuk situs web WP baru, ini mungkin tidak terlalu besar atau menjadi masalah. Namun, untuk situs-situs dengan konten tanpa akhir, Anda akan ingin memiliki kontrol yang lebih baik atas bagaimana situs tersebut dirayapi dan diindeks . File robots.txt menyediakan cara yang tepat untuk memelihara situs WordPress Anda dan bagaimana bot mesin telusur melihatnya.

Mengapa ini begitu penting, untuk memulai?

Setiap situs web memiliki kuota perayapan – begitulah fungsi bot mesin pencari. Itu berarti bot akan merayapi situs web Anda satu halaman dalam satu waktu. Jika mereka gagal menyelesaikan perayapan semua halaman Anda selama satu sesi, mereka akan melanjutkan perayapan di waktu berikutnya. Dan ini adalah sesuatu yang secara signifikan dapat memperlambat pengindeksan situs Anda ( tingkat pengindeksan ) .

Namun, ketika Anda mengedit file robots.txt di WordPress untuk melarang halaman tertentu dirayapi , Anda menghemat kuota perayapan . Halaman paling umum dan tidak perlu yang biasanya tidak diizinkan oleh pengguna WP termasuk halaman admin WordPress, plugin, dan tema. Setelah Anda menghilangkan halaman ini, Anda memberikan lebih banyak ruang bagi crawler untuk mengindeks halaman lain yang relevan di situs Anda.

Seperti apa seharusnya file robots.txt yang sempurna di WordPress?

Situs blog populer memilih contoh sederhana dari file robots.txt – formulir yang bervariasi tergantung pada kebutuhan situs tersebut:

Contoh ini menunjukkan cara mengizinkan bot untuk mengindeks semua konten, memberikannya tautan ke peta situs XML situs web dalam prosesnya.

Namun, ini adalah formulir yang direkomendasikan untuk pengguna situs WordPress cara mengedit file robots.txt di WordPress :

Di sini, Anda dapat dengan jelas melihat bahwa bot diperintahkan untuk mengindeks semua gambar dan file WP . Namun, itu juga melarang bot mesin pencari mengindeks yang berikut:

• File plugin WP
• Area admin WP
• File readme WP
• Tautan afiliasi

Alasan mengapa Anda harus menambahkan tautan ke peta situs XML Anda adalah untuk memudahkan bot menemukan semua halaman di situs Anda.

Cara membuat dan mengedit file robots.txt di WordPress

Seperti semua WordPress, ada solusi serbaguna untuk setiap tugas. Jadi, sebenarnya ada dua cara untuk membuat robots.txt di WordPress:

Solusi #1: Menggunakan Yoast SEO untuk mengedit file robots.txt di WordPress

Jika Anda menggunakan plugin Yoast SEO, Anda beruntung! Plugin ini dilengkapi dengan pembuat file robots.txt . Dan Anda dapat menggunakan generator ini untuk membuat dan mengedit file robots.txt langsung dari dasbor peran Admin Anda.

Yang harus Anda lakukan adalah pergi ke halaman SEO >> Tools sebagai Admin . Sesampai di sana, klik tautan File Editor. Halaman yang Anda tuju harus berisi file robots.txt yang ada. Dan jika tidak, Yoast SEO akan menghasilkan file untuk Anda. Beberapa versi Yoast SEO akan menghasilkan file default dalam bentuk berikut:

Setelah ini terjadi, Anda harus memastikan untuk menghapus teks ini karena jika tidak akan memblokir semua bot dari merayapi situs web Anda. Setelah Anda menghapus teks default, pastikan untuk memasukkan skrip robots.txt versi Anda sendiri. Anda dapat menggunakan template yang kami bagikan sebelumnya.

Setelah Anda selesai mengedit file, Anda hanya perlu mengklik ' Simpan file robots.txt ' dan simpan perubahan Anda.

Solusi #2: Menggunakan FTP untuk mengedit file robots.txt secara manual di WordPress

Pendekatan khusus ini menuntut penggunaan klien FTP untuk mengedit file. Jadi, hal pertama yang ingin Anda lakukan adalah menggunakan klien FTP untuk terhubung ke akun hosting WordPress Anda . Sesampai di sana, Anda akan menemukan file robots.txt di folder root situs web Anda.

Jika Anda tidak dapat menemukan file robots.txt, kemungkinan besar situs WP Anda tidak memilikinya. Jika ini masalahnya, Anda dapat melanjutkan dan membuatnya. Mengingat fakta bahwa file robots.txt adalah file teks biasa , Anda cukup mengunduhnya dan mengeditnya di editor biasa seperti Notepad atau TextEdit . Setelah Anda mengedit file, Anda cukup mengunggahnya kembali ke folder root situs web Anda.

Setelah Anda mengedit file robots.txt di WordPress, pastikan untuk mengujinya

Pengujian selalu merupakan langkah logis berikutnya untuk mengikuti pengeditan. Dan ini sangat penting dalam kasus yang melibatkan robots.txt, untuk alasan yang kami sebutkan sebelumnya. Tidak perlu khawatir – ada alat yang dapat Anda gunakan untuk menguji ini. Yang paling kami rekomendasikan adalah Google Search Console .

Buat akun jika Anda tidak memilikinya, dan setelah masuk, alihkan ke situs web konsol pencarian Google yang lama . Setelah Anda memiliki antarmuka lama, Anda harus meluncurkan penguji robots.txt . Alat ini terletak di bawah menu ' Perayapan '. Alat ini akan secara otomatis menarik file robots.txt situs web Anda dan menyoroti kesalahan yang ditemukan.

Pikiran Akhir

Kesimpulannya, memiliki file robots.txt adalah alat yang sangat penting dalam memajukan penyebab strategi SEO Anda. Oleh karena itu, mempelajari cara membuat dan mengedit file robots.txt di WordPress jelas merupakan langkah maju . Untuk pertanyaan atau tutorial tambahan tentang WordPress, kunjungi blog kami atau hubungi kami secara langsung.