WordPress'e Robots Txt Dosyası Nasıl Eklenir (3 Basit Adımda)

WordPress sitenize robots.txt dosyası eklemek, birkaç adımda yapılabilecek basit bir işlemdir. Bir robots.txt dosyası, arama motoru tarayıcılarına web sitenizdeki hangi sayfaları dizine eklemeleri ve hangilerini yok saymaları gerektiğini söyleyen bir metin dosyasıdır. Belirli sayfaların dizine eklenmesini engelleyerek sitenizin arama motoru optimizasyonunu (SEO) iyileştirebilirsiniz. WordPress'e robots.txt dosyası eklemenin birkaç farklı yolu vardır. En kolay yol, sizin için otomatik olarak bir robots.txt dosyası oluşturacak olan Yoast SEO veya Hepsi Bir Arada SEO Paketi gibi bir eklenti kullanmaktır. Alternatif olarak, kendiniz bir robots.txt dosyası oluşturabilir ve bunu FTP aracılığıyla WordPress sitenize yükleyebilirsiniz. Hangi yöntemi seçerseniz seçin, amaçlandığı gibi çalıştığından emin olmak için robots.txt dosyanızı yayınlamadan önce test ettiğinizden emin olun.

Belirli anahtar kelimeler için arama motorlarında yer almak, sitelerinin SERP'de görünmesini sağladığı için web sitesi sahipleri için çok önemlidir. Web yöneticileri, özel bir dosya olan robots.txt dosyasına talimatlar ekleyerek arama motoru robotlarının web sitelerinde ve site dışında geçirdikleri süreyi ayarlayabilir. Bu eğitimde, arama motorlarının sitenizin belirli bölümlerine erişmesini önlemek için WordPress web sitenize nasıl 'robots.txt' dosyası ekleyeceğinizi göstereceğim. FileZilla kullanarak Cloudways Platformuna bağlanın. /applications/ [KLASÖR ADI]/public_html içinde robots.txt adında yeni bir dosya oluşturabilirsiniz. Dosyayı bir metin düzenleyicide açın (Not Defteri iyi bir alternatiftir). Joker karakter ayarları, belirli dosya türlerinin indirilmesine izin verir.

Bir yıldız işaretinin (* işleyebileceği seçenekler/seçimler için bir sınırlama yoktur. Ayrıca, belirli bir uzantı seçilirse, kapatılabilecek dosya sayısını sınırlayabilirsiniz. Robots.txt, SEO için kullanmak için harika bir dosyadır.) SERP'de WordPress sitenizin kaç bölümünün görünmesini istediğiniz size bağlıdır.Sitenizin bir site haritası varsa, arama motorlarının onu bulmasına yardımcı olmak için bir URL eklemelisiniz.Dizinlerin genellikle dizine eklenmesi gerekmez. Sonuç olarak, bir sayfa çok daha hızlı dizine eklenebilir.

Sonuç olarak, arama motorlarının belirli bölümleri dizine eklemekten kaçınması için web sitenizin komut dosyalarına robots.txt dosyasını eklemelisiniz. Siteniz yanlış yapılandırılmışsa (sil / gibi), Google tarafından indeksi kaldırılacaktır. Sen de dikkatli olmalısın. Görevi tamamlama şansınız var. Lütfen bu tür bir dosya kullanıyorsanız ve bunun için ayarların ne olduğunu söyleyin.

Robots.txt, kullanımı en basit dosya biçimlerinden biridir. Robotlar, görmek istedikleri sayfalara göre “İzin Ver” (yani, dizine ekleyin) ve “İzin Verme” (yani reddetme) için programlanmıştır. İkincisi, örümceklerin gezinmesini istemediğiniz sayfaları listelemek için yalnızca bir kez kullanılacaktır.

txt adlı bir metin dosyası, bir web sitesi tarafından web tarama botlarına talimatlar sağlamak için kullanılabilir. Google ve diğer arama motorları, web sitelerini arşivlemek ve kategorilere ayırmak için web robotları olarak da bilinen web tarayıcısını kullanır. Botlarda genellikle bir robot araması kullanılır.

Robots.txt, İnternet'teki bir dosyaya eklenebilir. Web sitesinin yönergelerini görmek için (sitede robotlar varsa), URL'yi herhangi bir kök alan adının sonuna yazın.

Robots Txt Dosyası WordPress'i Nereye Koyabilirim?

FTP istemcinizin sol bölümüne giderek FTP robotlarınızın bir listesini oluşturun (Filezilla kullanıyoruz). Daha önce bilgisayarınızda oluşturduğunuz bir txt dosyasını kaydettiniz. Sağ tıklayıp Yükle'yi seçerek yükleyebilirsiniz. Dosya birkaç dakika içinde yüklenecek ve onu kök WordPress dizininizde görebileceksiniz.

robots.txt dosyası, kök WordPress dizininizde bulunur ve bir metin dosyasıdır. Arama motoru botlarına web sitenizdeki hangi sayfaları taramaları gerektiği konusunda bir fikir vermek için, hangi sayfaların taranması ve hangi sayfaların taranmaması gerektiğinin bir listesini görüntüler. Dosyaya indeksleme yerine taramadan kaçınması talimatını vermek mümkündür. Kötü botların web sitenizi bozduğu durumlarda, iyi bir güvenlik eklentisi şarttır. WordPress, onu kullanan her web sitesi için sanal bir robots.txt dosyası oluşturur. Bir şeyi değiştirmek istiyorsanız, üç seçeneğiniz var. Web sitelerini optimize etmek için en popüler araçlardan biri olan Yoast SEO eklentisi mükemmel bir seçimdir.

Başka bir ücretsiz SEO eklentisi olan All in One SEO, çeşitli ek özellikler sunar. Daha önce FTP kullandıysanız, robots.txt dosyalarını sunucunuza yükleyebileceğinizi bilirsiniz. Robots.txt dosyasında Robots.txt adlı yeni bir bölüm göreceksiniz, burada daha sonra dosyaya kurallar ve yönergeler ekleyebilirsiniz. User-agent ve Disallow, bu dosyada bulunan yönergelerdir. Tek bir bot (örneğin Bingbot) belirtmek istiyorsanız veya direktiflerin tüm botlara uygulanmasını istiyorsanız, bir yıldız işareti girin (User-agent: *). Aşırı tarama istekleri, sunucuyu aşırı yükleyerek bir Tarama gecikmesi yönergesinin kullanılmasına neden olur. Bu yönergeyi destekleyen tarayıcılar olmadığı için dikkatli kullanmak en iyisidir.

Site Haritası yönergesini kullanırsanız, arama motorları XML site haritası dosyanıza yönlendirilecektir. Aşağıdaki bölümlerde size robots.txt yönergelerinin kullanımını gösteren iki örnek parça göstereceğiz. Her WordPress sitesinin kök dizininde bir robots.txt dosyası vardır. İçinde, tarayıcılara web sitenizin hangi bölümlerini aramaları gerektiği konusunda talimatlar verilecektir. Yerde sürünmeliler ya da gitmemeliler. Tartışmamız sırasında, dosyanın fiziksel bir sürümünü oluşturmanın yollarını ve nasıl düzenleneceğini ele aldık.

WordPress Web Sitenize Bir Robots.txt Dosyası Eklemeli misiniz?

WordPress kurulur kurulmaz otomatik olarak bir robots.txt dosyası oluşturacaktır. Bir arama motoru dizin oluşturucusu, bir sitedeki hangi sayfaların dizine ekleneceğini belirlemek için bu dizini dosyalar. Robots.txt dosyalarının çoğu durumda WordPress web sitelerine eklenmesi gerekmez. Ancak arama motoru sıralamalarınızı yükseltmek için arama motoru dizinini yönetmek için bir robots.txt dosyası ekleyebilirsiniz.

WordPress'te Robots Txt Dosyasını Nasıl Açabilirim?

WordPress'te bir robots.txt dosyasını açmanın birkaç yolu vardır. Bunun bir yolu, WordPress kurulum klasörünüze gidip dosyayı bir metin düzenleyicide açmaktır. Başka bir yol, dosyayı WordPress yönetici alanından düzenlemek için WP Robots Txt gibi bir eklenti kullanmaktır.

Hemen hemen her web sitesinde bulunan bir robots.txt dosyası vardır, ancak çoğu insan ne yaptığını veya nasıl kullanılacağını anlamıyor. Bu kılavuzda, web sitenizin erişimini nasıl yöneteceğinizi öğrenmek için dosyaya ve kısıtlamalarına bakacağız. Bir sayfanın kendisine işaret eden bağlantıları olsa bile, robots.txt tarafından engellenmişse arama motorları tarafından dizine eklenebilir. Google, sitenizdeki işaretli alanlara erişmeyecektir. Google Web Yöneticisi Analisti John Mueller'e göre Google tarafından engellenmemiş bir sayfaya noindex etiketi eklenebilir. Bir SEO şablonu oluşturmak (ve daha sonra düzenlemek) için popüler Yoast SEO eklentisini kullanabilirsiniz. Yoast'ın arayüzüne sağ tıklayarak robots.txt dosyanızı uygun yere koyun.

Benzer şekilde, bu tür bir entegrasyonu Hepsi Bir Arada SEO eklentisine uygulayabilirsiniz. WordPress robots.html dosyanızda belirtilmesi gereken farklı direktif türleri hakkında daha fazla bilgi için lütfen okumaya devam edin. Kural eklemeden önce, önce kuralın hangi Kullanıcı aracısına uygulanacağını, ardından İzin Verme ve İzin Ver seçeneklerini kullanarak kaç kuralın uygulanacağını seçmelisiniz. Bir klasöre ve alt klasörlerine erişimi kısıtlamak, ancak belirli bir alt öğenin belirli klasörüne erişime izin vermek, bir klasöre ve alt klasörlerine erişimi kısıtlamak istiyorsanız iyi bir fikir olabilir. İzin ver, belirli bir klasör içindeki belirli bir dosyaya erişim vermenize izin verir, ancak bir klasörün tamamına erişmenizi engeller. WordPress, sorguları işlerken?s= adlı bir sorgu parametresi kullanır. Erişimde bir blok yapılandırmak için yalnızca aşağıdaki kuralı eklemeniz gerekir.

Soft 404 hataları da bu özellik kullanılarak ve meydana geldiklerinde engellenerek önlenebilir. Amerika Birleşik Devletleri dışında belirli bir bölgeyi hedefliyor olsanız bile, Googlebot'un ülkeye girmesini engellemeniz gerekmez. Google, görünmez karaktere sahip bir komutun anlaşılmamasından rahatsız olur. Bunun robots.txt dosyamızın ilk satırını geçersiz kılması üzücü. Disallow komutları olarak adlandırılan robots.txt dosyalarında noindex etiketi kullanmakla aynı şey değildir. Bots.txt ise indeksleme yapmaz, ancak taramayı engeller. Belirli kurallar ekleyerek arama motorlarının ve diğer botların web sitenizle nasıl etkileşime gireceğini yapılandırmak için kullanabilirsiniz. WordPress kullanmayan çoğu kişi için varsayılan sanal robots.html dosyasını değiştirmek gerekli değildir. Ancak, belirli bir bot veya eklentiyle ilgili sorunlarınız varsa kendi kurallarınızı ekleyebilirsiniz.

Sitenize Robots.txt Dosyası Nasıl Eklenir

WordPress kullanıyorsanız, Yeni Sayfa Ekle sihirbazını kullanarak bu dosyayı sitenize kolayca ekleyebilirsiniz. Ardından, Dosya URL'si alanına robots.txt dosyasının URL'sini girin. Bu dosya, panodaki Sayfaları Yönet menü öğesini tıklatarak da bir WordPress sayfasına eklenebilir.
WordPress kullanmıyorsanız, robots.txt dosyasını sitenize farklı bir şekilde eklemeniz gerekebilir. Bilgisayarınızda yüklü bir FTP istemciniz varsa bu dosyayı kolayca ekleyebilirsiniz; Bilgisayarınızda yüklü bir dosya yöneticiniz varsa kolayca ekleyebilirsiniz.

Bir Robots Txt Dosyası WordPress'e İhtiyacım Var mı?

Söz konusu WordPress sitesine ve ne tür içerik veya işlevselliğe sahip olduğuna bağlı olduğundan, bu sorunun kesin bir cevabı yoktur. Bununla birlikte, genel olarak, bazı durumlarda yararlı olabilmesine rağmen, bir robots.txt dosyası WordPress için kesinlikle gerekli değildir. Örneğin, bir WordPress sitesinde çok fazla hassas veya gizli bilgi varsa, arama motorlarının bu içeriği dizine eklemesini önlemek için bir robots.txt dosyası kullanılabilir.

robots.txt dosyası, arama motorlarına web sitenizi nerede ve ne zaman taramaması gerektiğini söyleyen basit bir metin dosyasıdır. Bu özelliği kullanarak arama motorlarının sitenizdeki farklı dosya ve klasörlere erişmesini engelleyebilirsiniz. Bu yazıda size nasıl bir tane oluşturacağınızı göstereceğiz ve size önerdiğimiz bazı eklentileri sunacağız ve bu işi kendiniz yapmanıza izin vereceğiz. Her arama motoru, arama sonuçlarında bir web tarama kullanıcı aracısı içerir. Örneğin Googlebot, web sitenizin içeriğini Google'ın arama motoru için dizine ekler. Bu kullanıcı aracılarının her biri için özel bir talimat yapılandırma seçeneğiniz vardır. Robots.txt dosyasına, alan adından sonra '/robots.txt' yazılarak erişilebilir.

Bağlantıyı izleyerek eğik çizgiyi kullandıktan sonra robota sitedeki hiçbir sayfayı görüntülememesi talimatını verebilirsiniz. Bütçe taraması, bir arama motoru botunun bir oturumda tarayabileceği URL sayısı olarak tanımlanır. Her web sitesinin belirli bir tarama bütçesi olacaktır. Web sitenizde çok sayıda sayfa varsa, öncelikle botun en değerli sayfalarınızı tarayıp taramadığını kontrol etmelisiniz. WordPress'in Yoast SEO eklentisi, kontrol panelinizden kolayca robots.txt dosyaları oluşturmanıza olanak tanır. Ardından, dosyayı manuel olarak yüklemek için Filezilla gibi bir FTP istemcisi kullanın. Dosyayı web sitenizde görüntülemek istiyorsanız, kök klasörde olduğundan emin olun.

Bir tane oluşturmak için, dosya orada değilse Not Defteri gibi bir metin düzenleyici kullanmanız gerekir. robots.txt dosyası her zaman web sitenizin kökünde bulunmalıdır. Bu dosyaya sahip olsanız da olmasanız da arama motorları sitenizi taramaya ve dizine eklemeye devam edecektir. Robots.txt dosyanızı Google Arama Konsolunda test etmek kolaydır. 'Şimdi mülk ekle'yi tıklayarak web sitenizi birkaç dakika içinde Google Arama'ya ekleyebilirsiniz. Her web sitesinde belirli bir tarama bütçesi sağlamak çok önemlidir. Bir oturum sırasında bir botun ziyaret etmesi gereken sayfa sayısını hesaba katmanız gerekir. Bot, oturum sırasında sitenizdeki tüm sayfaları taramayı tamamlamazsa, sitenize geri döner ve bir sonraki oturumda taramaya devam eder. Hızlı bir düzeltme, arama botlarının gereksiz sayfaları, medya dosyalarını, eklentileri, tema klasörlerini vb. taramasını engelleyerek tarama kotanızdan tasarruf etmektir.

Basitçe söylemek gerekirse, robots.txt dosyanıza aşağıdaki satırı ekleyin: Agents: users. Googlebot hizmeti şu anda kullanımda. Bir robots.txt dosyanız yoksa, Googlebot sayfalarınızı tarar ve arama motorunda otomatik olarak dizine ekler.

Seo'nuzu Geliştirmek İçin Neden Bir Robots.txt Dosyası Eklemelisiniz?

Robots.txt dosyası indirerek web sitenizin arama motoru sıralamasını yükseltebilirsiniz. Tarayıcılar, içeriğe izin verilip verilmediğini ve nedenini görmek için web sitenizin kök dizininde bu dosyayı arayacaktır.

Robots.txt WordPress'i düzenleyin

Robots.txt dosyanızı düzenlemek istiyorsanız, bunu WordPress kontrol panelinize gidip “Ayarlar” sekmesine tıklayarak yapabilirsiniz. Oradan robots.txt dosyanızı düzenleyebileceğiniz “Okuma” bölümünü bulacaksınız.

Bir robots.txt dosyası, arama motorlarına sitenizin nereye gitmesine izin verildiğini söylemenin yanı sıra sitenin nasıl taranacağını da söyler. Botlarınıza sitenizdeki gereksiz sayfaları taramamalarını söylerseniz, yükleme hızını artırabilir ve muhtemelen arama motorlarında daha üst sıralarda yer alabilirsiniz. Bu gönderide, WordPress kullanarak robots.html dosyanızı nasıl düzenleyeceğinizi göstereceğiz. robots.txt dosyası bazı nedenlerle gereklidir. Bir web sitesi yüklenirken robots.txt yerine meta noindex etiketi kullanıldığında. Hayatımızda neden bu kadar önemli. Sistem, web sitenizle hangi arama motorlarının ve diğer botların etkileşime gireceğini belirlemenize izin verirken, arama motorlarının veya diğer botların içeriğinizi dizine eklemesini açıkça yasaklamaz.

AIOSEO kullanarak adım adım WordPress'te robots.html dosyalarının nasıl düzenleneceğine bir göz atalım. Kural oluşturucu, robotların ziyaret edebileceği veya ziyaret edemeyeceği belirli sayfalar için kendi kurallarınızı oluşturmanıza olanak tanır. Özel bir kural oluştururken, Kullanıcı Aracıları alanına Kullanıcı Aracısı'nı (örneğin, Googlebot tarayıcısı ) girebilirsiniz. Hangi botlara izin verileceğini veya reddedileceğini belirledikten sonra Dizin Yolu alanına dizin yolunu veya dosya adını girmelisiniz. Yeni kurallarınızı kaydederseniz, Robots.txt Önizleme bölümünde görünürler. Open Robots'a tıklayarak robots.txt dosyanızı görebilirsiniz. Bu metin hazır olur olmaz mobil cihazınıza gönderilecektir. Sadece kurallarınızın ayrıntılarını girerek onları değiştirebilirsiniz. Birkaç silme kuralı örneği ayrı bir bölümde gösterilecektir.

WordPress için Varsayılan Robots.txt

Bir WordPress sitesi oluşturur ve özel bir robots.txt dosyası oluşturmazsanız, siteniz otomatik olarak aşağıdakileri içeren bir varsayılan robots.txt dosyası oluşturur: User-agent: * Disallow: / İlk satır, User-agent: * , tüm web tarayıcıları için geçerlidir . İkinci satır, İzin Verme: /, tüm web tarayıcılarına sitenizdeki hiçbir sayfayı dizine eklememeleri talimatını verir. Bu en kısıtlayıcı ayardır ve çoğu WordPress sitesi için önerilmez.

İyi yapılandırılmış bir robots.txt dosyası kullanmak, arama motoru botlarını web sitenize yönlendirmenize olanak tanır. Onlara bakarken o odalardan uzak durmaları söyleniyor. Teknik bir sihirbaz olmasanız bile, herhangi bir kodlama bilmeseniz bile ihtiyaçlarınızı karşılamak için bu dosyayı oluşturabilirsiniz. Bir WordPress web sitesi oluşturduğunuzda, sizin için sanal bir robots.txt dosyası oluşturur. Botların yöneticiye erişmesi engellenir ve bu dosyaya dayalı WP-include dizinleri. Değişiklik yapmak için önce yeni bir dosya oluşturmanız ve ardından onu kök klasöre yüklemeniz gerekir. Robots.txt, WordPress'te iki şekilde düzenlenebilir: bir eklenti aracılığıyla veya manuel olarak.

Bu örnekte, Bing'in arama botunun sitemizde gezinmesini önlemek için yeni bir kurallar dizisi oluşturduk. Bu dosyadaki talimatlarınızı neredeyse kesinlikle çoğu bot izleyecektir, ancak onları zorlamaya çalışmıyorsunuz. WordPress için Yoast SEO eklentisini kurup etkinleştirdikten sonra, robots.txt dosyalarını doğrudan WordPress panosundan düzenleyebilirsiniz. Hepsi Bir Arada SEO Paketi, WordPress SEO söz konusu olduğunda dikkat edilmesi gereken diğer SEO paketidir ve kullanımı da çok basittir. Yoast buna benzer bir üründür, ancak ağırlık olarak çok daha hafiftir. Robots.txt dosyası oluşturmak için Not Defteri'ne veya TextEdit'e birkaç satır metin yazmak kadar basittir. Dosyayı test etmek için FTP yoluyla yükleyin ve ardından Google Arama Konsolunu kullanın.

Hepsi Bir Arada SEO Paketi, “kötü” botları engellemek için kullanılabilecek bir araç içerir. Sitenizin görünürlüğünü artırmak istiyorsanız, arama motoru botlarının en alakalı bilgileri taraması çok önemlidir. WordPress robots.txt dosyaları, botlarınızın sitenizle nasıl etkileşime gireceğini belirlemeyi kolaylaştırır. Arama motorlarına alakalı ve faydalı içerik sunmaları onlar için daha kolay olacaktır.

WordPress Robots.txt Dosyanızı Nasıl Güncellersiniz?

Web sitesinin kökü fiziksel bir dosya içermiyorsa, WordPress sanal bir robots.txt dosyası oluşturur. Sanal dosyayı etkinleştirmek için önce şu adımları izleyerek geçersiz kılmalısınız: Tarayıcınızı açın ve web sitenizin kök dizinine gidin.
robots.txt dosyasını kontrol edin.
Lütfen dosyada gerekli değişiklikleri yapın.
Dosyayı kaydedip kaydetmediğinizi kontrol edin.
Web siteniz yeniden yüklenmelidir.
robots.txt dosyası, sol kenar çubuğundaki 'Eklentiler' menüsüne gidip onu arayarak güncellenebilir. Menüden 'Ayarlar'ı seçerek robots.txt dosyasında herhangi bir değişiklik yapın.