Robots.txt: Bu dosya bir WordPress web sitesinde nasıl optimize edilir

WordPress'te robots.txt dosyasının ne olduğunu tanımlamanızı istesem bana net bir cevap verebilir misiniz?

Kolay değil, değil mi? Ayrıca, bilmeden, muhtemelen web sitenizde zaten bir tane var.

Mesele şu ki, bu ünlü dosyayı her zaman anlamıyoruz. Ne için kullanılır? İçine ne koyarsın? Kodu neden anlaşılması zor görünüyor?

Konuyu daha önce incelediyseniz, bahse girerim bu soruları kendinize sormuşsunuzdur.

Biraz dinamit gibi olan bu dosya çok dikkatli kullanılmalıdır .

Doğru şekilde kurmazsanız, sitenizin SEO'suna zarar verme riskiniz vardır. Bu yüzden patlamaya dikkat edin!

Bu yazıda size felaketten nasıl kaçınacağınızı ve WordPress robots.txt dosyanızı nasıl optimize edeceğinizi göstereceğim. Ne için kullanıldığını, nasıl çalıştığını, onu yaratmanın iki yolunu ve içine ne koyacağınızı keşfedeceksiniz.

En iyi WordPress projelerinizin en iyi ana bilgisayara ihtiyacı var!

WPMarmite, Bluehost'u önerir: harika performans, harika destek. Harika bir başlangıç ​​için ihtiyacınız olan her şey.

Bluehost'u deneyin

WordPress robots.txt dosyası nedir?

Sunum

Bir WordPress robots.txt dosyası, Google'ın web yöneticisi yardım sitesinde verdiği tanıma göre, "arama motoru tarayıcılarına, tarayıcının sitenizde hangi URL'lere erişebileceğini söyleyen" sitenizin kökünde bulunan bir metin dosyasıdır.

"Robot Hariç Tutma Standardı/Protokol" olarak da anılır, arama motorlarının belirli yararsız ve/veya özel içerikleri (örneğin oturum açma sayfanız, hassas klasörler ve dosyalar) dizine eklemesini önlemesine olanak tanır.

Kısacası bu protokol, bir arama motorunun robotlarına sitenizde neler yapıp yapamayacaklarını söyler.

İşte nasıl çalıştığı. Bir robot sitenizin URL'sini taramak üzereyken (yani, onu dizine ekleyebilmek için bilgileri keşfedecek ve alacaktır), önce robots.txt dosyanıza bakacaktır.

Eğer bulursa okuyacak, sonra verdiğin direktifleri takip edecek (eğer yasakladıysan falan filan dosyayı tarayamayacaktır).

Bulmazsa, sitenizi normal bir şekilde, herhangi bir içeriği hariç tutmadan tarar.

Nasıl göründüğünü görmek için bu WordPress robots.txt dosyası örneğine bakın:

Mutlaka içeriğinde durmayın. Daha sonra göreceğiniz gibi, herhangi bir siteye uyarlanabilecek standart bir dosya yoktur. Her durumda, tavsiye edilmez.

Bugünkü konumuzla ilgili 4 şeyi daha hatırlamanız gerekiyorsa, bunu kafanıza sokun:

1. Google'ın açıkladığı gibi, robots.txt dosyanızda sağladığınız bilgiler “tarayıcıyı sitenizin kurallarına uymaya zorlayamaz” . "Ciddi" tarayıcılar (Google, Bing, Yahoo, Yandex, Baidu, vb.) onlara saygı gösterecekse, sitenizin güvenliğini baltalamaya çalışan kötü niyetli robotlar için durum böyle olmayacaktır.
   Ayrıca, tüm robotlar talimatları aynı şekilde yorumlamaz, bu nedenle Google tarafından belirtilen sözdizimine uyduğunuzdan emin olun.
2. robots.txt dosyası genel bir dosyadır . Aşağıdaki şablonu yazarak herkes buna erişebilir: yoursite.com/robots.txt . Bu nedenle, içeriği gizlemek için kullanmayın, nerede saklandığını çabucak bulur… Bazı içeriğin gizli kalmasını istiyorsanız, bu dosyaya koymayın, örneğin bir şifre ile koruyun.
3. Google, belirli sayfaların arama sonuçlarında görünmesini istemiyorsanız “web sayfanızı gizlemek için robots.txt dosyasını kullanmayın” diyor. Gerçekten de, bir dizi bağlantı bu sayfaya işaret ediyorsa, robots.txt dosyanızda engellemiş olsanız bile, Google'ın ne içerdiğini bilmeden onu dizine eklemesi ve arama sonuçlarında görüntülemesi mümkündür.
   Bir sayfanın arama sonuçlarında görünmesini önlemek için Google, noindex etiketi denen şeyin kullanılmasını önerir (her gönderinin altında bulunan “Arama motorlarının bu Gönderiyi arama sonuçlarında göstermesine izin ver?” kutusunun işaretini kaldırarak Yoast SEO'da kolayca etkinleştirilebilir) Ayarlar sekmesindeki sayfa).
4. robots.txt dosyasının human.txt adında bir kuzeni vardır.
   Bu, aynı zamanda sitenizin kökünde bulunan ve tasarımına katkıda bulunan farklı kişiler hakkında bilgiler içeren bir TXT dosyasıdır.
   Örneğin geliştiriciler, web tasarımcıları, editörler vb. Zorunlu değildir ancak WordPress sitenize entegre etmenin faydalı olduğunu düşünüyorsanız, sitenizin kök dizinine, robots.txt robots.txt dosyası oluşturun (örneğin, robots.txt bakın).

Gerçekten bir robots.txt dosyasına ihtiyacınız var mı?

Varsayılan olarak, bir web sitesi bir robots.txt dosyası olmasa bile bir arama motoru tarafından normal şekilde taranır ve dizine eklenir.

Bu nedenle ikincisi zorunlu değildir. Bir WordPress SEO uzmanı olan Daniel Roch'un açıkladığı gibi, “tüm sayfalarınızı, içeriğinizi ve medyanızı dizine eklemek istiyorsanız, robots.txt dosyasını kullanmayın: size hiçbir faydası olmaz” .

Ama o zaman, bu dosya zamanın geri kalanında ne işe yarayabilir?

Ana fayda, SEO'nuzun yanında bulunmaktır . Aslında, bir robots.txt dosyası, tarama bütçesi denilen şeyi kaydetmenize izin verir, diyor Yoast SEO blogundan bu gönderi.

Oldukça teknik, ancak basitçe söylemek gerekirse, sitenizdeki SEO ile ilgisi olmayan sayfaların indeksini kaldırarak, Google'ın diğerlerini taraması için daha fazla zaman ve enerji bırakacaksınız.

Konuyu daha derine inmek istiyorsanız, Backlinko'dan Brian Dean burada anlatıyor.

WPMarmite abonelerine katılın

Son WPMarmite gönderilerini (ve ayrıca özel kaynakları) alın.

ŞİMDİ ABONE OL

Şimdi dosyanızın yapılandırmasına geçme zamanı. Ve bu önemli, inan bana. Düzgün bir şekilde optimize edilmemişse, arama motorlarındaki varlığınızı ciddi şekilde cezalandırma riskiniz vardır.

WordPress robots.txt dosyası nasıl oluşturulur?

Varsayılan olarak, WordPress sanal bir robots.txt dosyası oluşturur . Sunucunuzda erişilebilir değil, ancak çevrimiçi olarak görüntüleyebilirsiniz.

Usain Bolt'un sitesindeki eski Jamaikalı sprint yıldızı olanı alın.

Görmek için tarayıcınıza http://usainbolt.com/robots.txt yazmanız yeterli.

İşte alacağınız şey:

Bu sanal dosya çalışır. Peki bu robots.txt WordPress web sitenizde nasıl değiştirirsiniz?

Eh, değiştirmek için kendi dosyanızı oluşturmanız gerekecek.

Bunu yapmanın iki yolu vardır:

• Bir eklenti kullanın
• Manuel olarak oluşturun

Size nasıl yapılacağını ayrıntılı olarak göstereceğim.

Yoast SEO ile WordPress'te robots.txt dosyası nasıl oluşturulur

Yoast SEO'yu bildiğinize bahse girerim, değil mi? Biliyorsunuz, bu bir SEO eklentisi, tüm zamanların en çok indirilenlerinden biri.

WPMarmite bunu kullanıyor ve ben de bunu bir WordPress robots.txt dosyası oluşturmanıza nasıl yardımcı olabileceğini göstermek için kullanacağım.

Elbette ön koşul, bu eklentiyi kurmuş ve etkinleştirmiş olmanızdır.

WordPress Kontrol Panelinize giderek başlayın ve Yoast SEO > Tools öğesini seçin.

“Dosya düzenleyici”ye tıklayarak devam edin.

Henüz özel bir dosyanız yoksa, bir tane oluşturmak için düğmeye tıklayın. Sitemde zaten bir tane vardı, bu yüzden sadece düzenleyebildim. Ve işiniz bittiğinde kaydetmeyi unutmayın.

Ve işte gidiyorsun.

Merak etmeyin, bu dosyaya hangi bilgileri koyacağınızı bu bölümün sonunda açıklayacağım.

Şimdilik ikinci yönteme geçelim: Küçük ellerinizi kullanmanız gerekecek.

manuel yöntem

Özel bir eklenti kullansanız da kullanmasanız da, WordPress web sitenize manuel olarak bir robots.txt dosyası eklemek de mümkündür . Çok basit, göreceksin.

İlk olarak, bir metin düzenleyiciye ihtiyacınız olacak. Bunlar arasında şunları önerebilirim:

• Parantez
• not defteri++
• Yüce metin

Aksi takdirde, eski güzel Not Defteriniz de çok iyi sonuç verecektir.

Yeni bir belge oluşturun ve robots.txt adıyla bilgisayarınıza kaydedin.

Adı her zaman küçük harf olmalıdır ve robots kelimesine “s” koymayı unutmayın ( robot.txt yazmayın).

Ardından, FTP istemcinize bağlanın. Bu, sunucunuzla iletişim kurmanızı sağlayan bir yazılımdır.

Şahsen ben Filezilla kullanıyorum. Ancak Cyberduck'u da kullanabilirsiniz. FTP'nin nasıl kullanılacağı hakkında daha fazla bilgi için yazımıza göz atın: WordPress dosyalarınıza erişmek için FTP nasıl kullanılır.

Ayrıca FTP, WordPress kurulum sürecinde işinize yarayacaktır. Bununla ilgili kılavuzumuzu okuyun: WordPress nasıl kurulur: adım adım kılavuz.

Üçüncü ve son adım: Dosyanızı sitenizin kök dizinine ekleyin . Tekrar ediyorum, sitenizin kökünde, bir alt dizinde değil. Aksi takdirde arama motorları bunu dikkate almayacaktır.

Örneğin, sitenize https://www.yoursite.com/ üzerinden erişilebiliyorsa robots.txt dosyası https://www.yoursite.com/robots.txt bulunmalıdır.

Bu konum (kök) bir ana bilgisayardan diğerine değişebilir. Bluehost'ta (bağlı kuruluş bağlantısı), public_html olarak adlandırılır. OVH'de www adı altında bulacaksınız.

Son uygulaması sitenizde şöyle görünmelidir:

Bilinmesi gereken temel kurallar

Tebrikler, robots.txt dosyanız artık sunucunuzda. Şu an için boş ama istediğiniz zaman düzenleyebilirsiniz.

Mantıksal olarak, oraya ne tür talimatlar koyacağınızı kendinize sormalısınız.

Buna ulaşmadan önce, bu dosyanın belirli sözdizimini anlamak gerekir.

Google'ın Search Console yardımında açıkladığı gibi , "Her kural, belirli bir tarayıcının o web sitesinde belirli bir dosya yoluna erişimini engeller veya buna izin verir" .

İki ana kural denir:

• User-agent : Kuralın geçerli olduğu bir arama motoru robotunun adını ifade eder.
• Disallow : Kök etki alanına göre user-agent tarafından taranmaması gereken bir dizin veya sayfa belirler. Varsayılan olarak, bir robotun bir Disallow kuralı tarafından engellenmeyen bir sayfayı veya dizini keşfedebileceğini unutmayın.

Anlamanız için basit bir örnek çalışalım.

İlk satırda, yıldız işareti * joker olarak adlandırdığımız şeydir. Tüm arama motoru robotlarını ( user-agent ) ifade eder.

İkinci satırda, eğik çizgi ile bu arama motorlarına sitenizin / dizinlerine ve sayfalarına erişim disallow .

robots.txt dosyası göreli URL'ler kullandığından, alan adınızı (örneğin mysite.com/ ) eğik çizgiden önce girmeniz gerekmez. Basitçe söylemek gerekirse, eğik çizginin alan adınızın kökünü ifade ettiğini bilir.

Açıkçası, sitenizin taranmasını ve dizine eklenmesini istiyorsanız yukarıdaki kodun pek bir faydası yoktur. Ancak sitenizin oluşturulma aşamasındayken işinize yarayabilir.

Belirli bir robot türünün sitenizi, örneğin Yahoo'nun (Slurp, Yahoo'nun robotuyla ilişkilendirilen adıdır) taramasını istemiyorsanız, şunu yapmanız gerekir:

Robot adları hakkında daha fazla bilgi için Yoast SEO sitesinden bu ekran görüntüsüne yönlendiriyorum.

Bazı ek kurallar

En çok kullanılan User-agent ve Disallow bahsetmiştim. Başka sözdizimi kuralları olduğunu bilmelisiniz, ancak bunlar tüm robotlar tarafından dikkate alınmaz (Google tarafından evet). Bunlar arasında şunlar vardır:

• Allow : İzin verilmeyen bir dizindeki bir alt dizinin veya sayfanın keşfedilmesine izin verir ( Disallow ).
• Sitemap : Robotlara site haritanızın nerede olduğunu söyler. Bu satır isteğe bağlıdır. Site haritanızı Google Arama Konsolu gibi özel bir araç aracılığıyla arama motorlarına göndermenizi öneririm. Bu yazıda nasıl yapacağınızı anlatıyorum.

Anladığınızdan emin olmak için size 3 yeni örnek vererek biraz daha ileri gidelim.

Bir dizine erişim nasıl engellenir

Tüm robotlardan wp-admin dizininin tüm içeriğini keşfetmemelerini rica ediyorum.

Bir sayfaya veya dosyaya erişim nasıl engellenir

Bu örnekte, tüm robotlardan bir fotoğrafın yanı sıra WordPress giriş sayfasını dizine eklememelerini istiyorum.

Ayrıca # sembolünün göründüğünü de görebilirsiniz. Bir yorum sunar. Arkasındaki metin dikkate alınmayacaktır.

Ayrıca kuralların büyük/küçük harfe duyarlı olduğunu unutmayın.

Örneğin, Disallow: /myphoto.jpg , http://www.mysite.com/myphoto.jpg http://www.mysite.com/Myphoto.jpg eşleşmez.

Farklı robotlar için farklı kurallar nasıl oluşturulur?

Kurallar her zaman yukarıdan aşağıya işlenir. Unutmayın, her zaman kuralın uygulandığı robotu belirten User-agent deyimiyle başlarlar.

İlkinde, tüm robotlardan giriş sayfasını indekslememelerini istiyorum ( wp-login.php ).

İkincisinde, özellikle Google'ın tarayıcısından (Googlebot) sitemin tamamını taramamasını rica ediyorum.

Engellenen bir dizindeki bir dosyaya erişime nasıl izin verilir

Allow ifadesini kullanıyoruz. Bu örnekte, widgets.php dosyası dışında tüm wp-admin dizini engellenmiştir.

En iyi WordPress uzmanlarını bulun

Codeable, sizi WordPress tema tasarımı veya kurulumundan özel eklenti geliştirmeye kadar her konuda size yardımcı olabilecek uzmanlarla eşleştirmeye kendini adamıştır.

Codeable'ı deneyin

robots.txt dosyanızın düzgün çalışıp çalışmadığını nasıl kontrol edebilirsiniz?

Dosyanızın doğru şekilde ayarlandığından emin olmak için, sitenizin SEO'sunu (diğerlerinin yanı sıra) yönetmek için ücretsiz ve gerekli bir araç olan Google Arama Konsolunda kontrol edebilir ve doğrulayabilirsiniz.

robots.txt dosya test aracını açın (önce web sitenizi oraya kaydettirmeniz gerekir).

Sağlanan düzenleyiciye istediğiniz talimatları girdikten sonra dosyanızı test edebilirsiniz.

Her şey yolundaysa, editörün altında aşağıdaki mesaj olmalıdır.

Değilse, dosyanız mantık hataları veya sözdizimi uyarıları içeriyor. Son olarak, “Gönder” düğmesine tıklayarak dosyayı göndermeyi unutmayın.

WordPress'te robots.txt dosyanızı nasıl optimize edebilirsiniz?

robots.txt dosyanıza ne koymalısınız veya koymamalısınız?

Her siteye uyarlanabilecek önceden tanımlanmış bir şablon var mı?

Cevap: hem evet hem hayır.

Aslında, her site farklıdır ve Peter, Paul veya James'in sitelerine önerdiklerini kopyalayıp yapıştırmak zor olacaktır. Onların sorunları büyük olasılıkla sizinkilerden farklı olacaktır.

Yine de size çoğu siteye uygun temel bir robots.txt dosyası verebiliriz:

Gerçeği söylemek gerekirse, WordPress topluluğu içinde bile herkesin aynı fikirde olmasını sağlamak imkansızdır. Görüşler farklıdır.

Yoast'ın kurucusu Joost de Valk gibi bazıları minimalizmi savunuyor. Bu aslında mevcut eğilim .

Özünde, Google'ın sitenizi bütünüyle yorumlayabildiğinden (artık yalnızca HTML değil, CSS ve JavaScript kodu dahil), sayfalarınızı görebilmesi için CSS ve JavaScript dosyalarına erişimi engellememesi gerektiğine inanırlar. bütünlükleri içinde. Aksi takdirde, SEO'nuzu etkileyebilir.

Google'ın sayfanızı düzgün bir şekilde görüntülemek için ihtiyaç duyduğu tüm kaynaklara erişimi olduğunu doğrulamak için Google Arama Konsolu'na geri dönebilirsiniz. “URL Denetleme” sekmesine gidin, “Test Edilen Sayfayı Görüntüle”ye tıklayın ve ardından “Ekran Görüntüsü”ne tıklayın.

Siteniz olması gerektiği gibi görünmüyorsa (örneğin bazı stiller uygulanmıyorsa), bunun nedeni muhtemelen robots.txt dosyanızdaki bazı kuralların gözden geçirilmesi gerekmesidir.

Ama Yoast'a geri dönelim. robots.txt dosyasına bakın:

Gördüğünüz gibi, hiçbir şey engellenmedi!

Diğerleri, siteniz için daha geniş, "güvenli" bir yaklaşımı savunuyor. Diğer şeylerin yanı sıra şunları tavsiye ederler:

• wp-admin klasörü (web sitenizin yönetim öğelerinin bulunduğu yer) ve wp-includes klasörü (tüm WordPress dosyalarını barındıran) gibi iki önemli WordPress dizinine erişimi engelleyin .
• Giriş sayfasının indeksini (wp-login.php ).
• Veya, kullandığınız WordPress sürümünü içerdiğinden readme.html dosyasının dizinini kaldırmak için.

Kısacası, tüm bu öneriler arasında yolunuzu bulmak kolay değil!

Özetlemek gerekirse, size tavsiyem:

• Ne yaptığınızdan emin değilseniz minimum düzeyde tutun . Aksi takdirde, SEO'nuz üzerindeki sonuçlar talihsiz olabilir.
• Dosyanızı göndermeden önce Search Console'da hata olup olmadığını kontrol edin .

Çözüm

Gördüğünüz gibi robots.txt dosyası SEO'nuz için ilginç bir araçtır. Arama motoru robotlarına neyi taramaları ve neyi taramamaları gerektiğini söylemenizi sağlar.

Ama dikkatli bir şekilde ele alınmalıdır. Kötü bir yapılandırma, sitenizin tamamen indekslenmesine neden olabilir (örneğin, Disallow: / kullanıyorsanız). Yani dikkatli ol!

Bu yazıyı bitirmek için bir özet yapalım. Bu satırlar boyunca ayrıntılı olarak anlattım:

• robots.txt dosyası nedir.
• WordPress'e nasıl kurulur .
• SEO için WordPress'te robots.txt dosyanızı nasıl optimize edebilirsiniz .

Şimdi senin sıran. Bu tür bir dosya kullanıp kullanmadığınızı ve nasıl kurduğunuzu söyleyin.

Düşüncelerinizi ve geri bildirimlerinizi yorumlarda paylaşın.