WordPress'te bir Robots.txt dosyası nasıl düzenlenir

Bu hafta, yeni başlayan WP kullanıcılarının sahip olduğu başka bir sorguyu ele alıyoruz – WordPress'te bir robots.txt dosyasının nasıl düzenleneceği. Bunun arkasındaki sebep yeterince basit – SEO çabalarınıza fayda sağlıyor . Bir robots.txt dosyası, arama motoru tarama botları için bir web sitesi rehberi olarak çalıştığından, SEO'da inanılmaz derecede güçlü bir araçtır. Bu nedenle WordPress uzmanları, önemini ve bunu sitelerinin optimizasyonuna en iyi nasıl uygulayacaklarını biliyorlar. Burada tüm konuyu adım adım ele alıyoruz .

Robots.txt dosyasının daha ayrıntılı bir tanımıyla başlıyoruz

Arama motoru botları , sitenizin iç sayfalarının nasıl taranacağı ve dizine ekleneceği konusunda talimatlara ihtiyaç duyar. İşte burada robots.txt dosyaları devreye girer. Bu dosya, sayfalarınızın yapısını düzenleyerek, arama motoru botları tarafından okunmasını ve derecelendirilmesini kolaylaştırır.

Kök dizinde saklanan robots.txt dosyasını genellikle bulabilirsiniz. Bu dizin aynı zamanda tüm web sitenizin ana klasörü olarak bilinir . WordPress'te bir robots.txt dosyasını nasıl düzenleyeceğimize geçmeden önce, onu nasıl tanıyacağımızı öğrenmeliyiz. İşte tipik bir robots.txt dosyasının nasıl göründüğüne dair bir örnek:

Dosyanın kendisi, belirli URL'lere izin verme/izin vermeme veya birden çok site haritası dosyası ekleme gibi özelleştirme için bolca alan sunar. Dolayısıyla, arama motoru botlarının taramasını ve sıralamasını istemediğiniz bir URL'niz varsa, robots.txt üzerinden buna izin vermemeniz gerekir. Arama motoru botlarının belirli URL'leri taramasına izin verme/izin vermeme örneği:

Son olarak, site haritamızı karışıma ekleyerek URL'yi arama motoru botlarına görünür hale getiriyoruz.

WordPress'te bir robots.txt dosyasına sahip olmanın önemi

Anlaşılması gereken en önemli şey, bir robots.txt dosyanız olmasa bile, arama motoru botlarının sayfalarınızı taramaya devam edeceğidir . Ancak, hepsini tarayacaklar. Hangi sayfaları taramaları ve taramamaları gerektiğini sipariş edemeyeceksiniz.

Yeni WP web siteleri için bu çok büyük veya bir sorun teşkil etmeyebilir. Ancak, sonsuz içeriğe sahip siteler için, bunların nasıl tarandığı ve dizine eklendiği konusunda daha iyi kontrol sahibi olmak isteyeceksiniz. Bir robots.txt dosyası, WordPress web sitenizi korumanın uygun bir yolunu ve arama motoru botlarının onu nasıl gördüğünü sağlar.

Başlangıç ​​için bu neden bu kadar önemli?

Her web sitesinin bir tarama kotası vardır - arama motoru botları bu şekilde çalışır. Bu, botların web sitenizi her seferinde bir sayfa tarayacağı anlamına gelir. Bir oturum sırasında tüm sayfalarınızı taramayı bitiremezlerse, bir dahaki sefere taramaya devam edeceklerdir. Ve bu, sitenizin dizine eklenmesini ( dizin oluşturma hızı ) önemli ölçüde yavaşlatabilecek bir şeydir .

Ancak, belirli sayfaların taranmasına izin vermemek için WordPress'te bir robots.txt dosyasını düzenlediğinizde , tarama kotanızı kaydedersiniz. WP kullanıcılarının genellikle izin vermediği en yaygın ve gereksiz sayfalar arasında WordPress yönetici sayfaları, eklentiler ve temalar bulunur. Bu sayfaları kaldırdığınızda, tarayıcılara sitenizdeki diğer alakalı sayfaları dizine eklemeleri için daha fazla alan vermiş olursunuz.

WordPress'teki mükemmel robots.txt dosyası nasıl görünmelidir?

Popüler blog siteleri , robots.txt dosyasının basit bir örneğini tercih eder – bu sitenin ihtiyaçlarına göre değişen bir form:

Bu örnek, süreçteki web sitesinin XML site haritasına bir bağlantı vererek botların tüm içeriği dizine eklemesine nasıl izin verileceğini gösterir.

Ancak, WordPress web sitesi kullanıcıları için bir robots.txt dosyasını WordPress'te nasıl düzenleyebilecekleri önerilen formdur :

Burada, botlara tüm WP resimlerini ve dosyalarını dizine ekleme talimatı verildiğini açıkça görebilirsiniz. Ancak, arama motoru botlarının aşağıdakileri dizine eklemesine de izin vermez:

• WP eklenti dosyaları
• WP yönetici alanı
• WP beni oku dosyası
• Ortaklık bağlantıları

XML site haritanıza bir bağlantı eklemenizin nedenleri, botların sitenizdeki tüm sayfaları bulmasını kolaylaştırmaktır.

WordPress'te robots.txt dosyası nasıl oluşturulur ve düzenlenir

Tüm WordPress gibi, her görev için çok yönlü çözümler vardır. Dolayısıyla, WordPress'te robots.txt oluşturmanın aslında iki yolu vardır:

1. Çözüm: WordPress'te bir robots.txt dosyasını düzenlemek için Yoast SEO'yu kullanma

Yoast SEO eklentisini kullanıyorsanız, şanslısınız! Eklenti, bir robots.txt dosya oluşturucu ile birlikte gelir . Ayrıca, robots.txt dosyasını doğrudan Yönetici rolü gösterge tablonuzdan oluşturmak ve düzenlemek için bu oluşturucuyu kullanabilirsiniz.

Tek yapmanız gereken Yönetici olarak SEO >> Araçlar sayfasına gitmek . Bir kez orada, Dosya Düzenleyici bağlantısını tıklayın. Sizi yönlendirdiği sayfa, mevcut robots.txt dosyasını içermelidir. Olmazsa, Yoast SEO sizin için bir dosya oluşturur. Yoast SEO'nun bazı sürümleri aşağıdaki biçimde bir varsayılan dosya oluşturur:

Bu gerçekleştiğinde, bu metni sildiğinizden emin olmalısınız çünkü aksi takdirde tüm botların web sitenizi taramasını engelleyecektir. Varsayılan metni kaldırdıktan sonra, robots.txt komut dosyasının kendi sürümünüzü girdiğinizden emin olun. Daha önce paylaştığımız şablonu kullanabilirsiniz.

Dosyayı düzenlemeyi tamamladığınızda, ' robots.txt dosyasını kaydet ' seçeneğine tıklamanız ve değişikliklerinizi kaydetmeniz yeterlidir.

2. Çözüm: WordPress'te bir robots.txt dosyasını manuel olarak düzenlemek için FTP kullanma

Bu özel yaklaşım, dosyayı düzenlemek için bir FTP istemcisinin kullanılmasını gerektirir. Bu nedenle, yapmak istediğiniz ilk şey , WordPress barındırma hesabınıza bağlanmak için bir FTP istemcisi kullanmaktır . Oradayken, robots.txt dosyasını web sitenizin kök klasöründe bulacaksınız.

Bir robots.txt dosyası bulamıyorsanız, büyük olasılıkla WP sitenizde bir dosya yoktur. Bu durumda, devam edip bir tane oluşturabilirsiniz. robots.txt dosyasının bir düz metin dosyası olduğu gerçeği göz önüne alındığında, dosyayı indirebilir ve ardından Notepad veya TextEdit gibi herhangi bir düz düzenleyicide düzenleyebilirsiniz. Dosyayı düzenledikten sonra, web sitenizin kök klasörüne geri yükleyebilirsiniz.

WordPress'te bir robots.txt dosyasını düzenlediğinizde, onu test ettiğinizden emin olun.

Test, her zaman düzenlemeyi takip eden bir sonraki mantıklı adımdır. Ve bu, daha önce bahsettiğimiz nedenlerden dolayı robots.txt içeren durumlarda özellikle önemlidir. Endişelenmeyin – bunu test etmek için kullanabileceğiniz araçlar var. En çok önerdiğimiz Google Arama Konsolu .

Hesabınız yoksa bir hesap oluşturun ve oturum açtıktan sonra eski Google arama konsolu web sitesine geçin . Eski arayüzü önünüze aldıktan sonra robots.txt test aracını başlatmanız gerekecek. Araç, ' Tara ' menüsünün altında bulunur. Bu araç, web sitenizin robots.txt dosyasını otomatik olarak açar ve bulduğu hataları vurgular.

Son düşünceler

Sonuç olarak, bir robots.txt dosyasına sahip olmak, SEO stratejilerinizin amacını ilerletmede çok önemli bir araçtır. Bu nedenle, WordPress'te bir robots.txt dosyasının nasıl oluşturulacağını ve düzenleneceğini öğrenmek kesinlikle ileriye doğru bir adımdır . WordPress ile ilgili ek sorular veya eğitimler için blogumuzu ziyaret edin veya doğrudan bizimle iletişime geçin.