Hiç robots.txt dosyası terimini duydunuz mu? Çoğu web sitesinde bir robots.txt bulunur. Ama çoğu web site sahibi ne anlama geldiğini bilmemektedir.

WordPress Robots.txt nedir?

WordPress robots.txt hakkında konuşmadan önce “robots” kelimesinin ne anlama geldiğini tanımak önemlidir. Robotlar İnternetteki web sitelerini ziyaret eden her tür “bot” olarak tanımlanır. En yaygın örneği arama motoru tarayıcılarıdır. Bu botlar Google gibi arama motorlarının İnternetteki milyarlarca sayfayı indeksleyip sıralamasına yardımcı olmak için webte gezinir.
Botlar genel olarak iyi bir şey gibi görünsede botların etrafta özgürce dolaşması web yöneticileri tarafından istendiği anlamına gelmez.

Botları tamamen engelleyebilir, sitenizin belirli alanlarına erişimlerini kısıtlayabilir ve daha fazlasını yapabilirsiniz. Ancak yinede kötü amaçlı botlar robots.txt dosyasını yok sayarak web sitenizden uzaklaştıramayabilirsiniz.

Örneğin, Google tarayıcılarının ne sıklıkla ziyaret ettiğiyle ilgili robots.txt dosyanıza eklediğiniz tüm kuralları yok sayacaktır. Botlarla ilgili çok fazla sorun yaşıyorsanız Cloudflare gibi güvenlik çözümü işe yarayabilir.

Robots.txt dosyanın önemi nedir?

Çoğu web site yöneticisi için iyi yapılandırılmış bir robots.txt dosyasının en önemli iki avantajı vardır.

Çoğu web site yöneticisi için iyi yapılandırılmış bir robots.txt dosyasının en önemli iki avantajı vardır.

• Kaynakları israf eden botları engelemeksunucu kullanımınızı optimize ederek sunucularınızdaki yükü hafifletir.
• Arama motorlarınıntarama kaynakları istemediğiniz sayfalarda zaman kaybetmemesini sağlayarak, en çok ilgilendiğiniz sayfaları taramasına odaklanmasına yardımcı olur.

NOINDEX

Robots.txt arama motorlarının web site indekslerinizi yönetmede sorun yaşıyorsanız bir mete etiketi olan “noindex” etiketini kullanabilirsiniz. Google, işaretli alanları sitenizin içinden taramayacak olsa da, Google‘ın kendisi , harici bir site Robots.txt dosyanızla hariç tuttuğunuz bir sayfaya bağlanırsa, Google‘ın yine de bu sayfayı dizine ekleyebileceğini belirtir.

WordPress Robots.txt Dosyanızı Nasıl Oluşturur ve Düzenlersiniz?

WordPress siteniz için otomatik olarak bir “robots.txt” dosyası oluşturur. Alan adınızın sonuna “/robots.txt” ekleyerek test edebilirsiniz.

Yoast SEO ile Robots.txt

Dünya’da ki en popüler olan SEO eklentisi olan Yoast SEO’yu kullanıyorsanız, robots.txt dosyanızı Yoast arayüzünden oluşturabilir veya düzenleyebilirsiniz. Sırasıyla; SEO > Araçlar > Dosya Düzenleyicisi sayfasından geçiş yapmanız gerekiyor.

All in One SEO ile Robots.txt

Eğer All in One SEO eklentisini kullanıyorsanız. WordPress robots.txt dosyanızı; All in One SEO > Özellik Yöneticisi > robots.txt giriş yaparak aktif edebilirsiniz. Daha sonra All in One SEO menüsünde robots.txt bölümü açılacaktır.

Rank Math SEO ile Robots.txt

Rank Math SEO eklentisini kullanıyorsanız. Sırasıyla Rank Math menüsünde, Genel Ayarlar sekmesinden Düzenle robots.txt‘e girerek robots.txt dosyasını düzenleyebilirsiniz. Genel ayarlarda Düzenle robots.txt bölüm gözükmüyorsa kurulum yapılırken gelişmiş kurulum seçilmelidir.

FTP üzerinden Robots.txt dosyası oluşturma ve düzenleme

Robots.txt işlevi sunan bir SEO eklentisi kullanmıyor ama robots.txt dosyası oluşturma ve robots.txt dosyasını düzenlemek için FTP hesabınıza robots.txt adlı bir dosya oluşturabilir ve düzenleyebilirsiniz.

Robots.txt dosyasında olması gerekenler nelerdir?

Yazımın başında belirttiğim gibi robots.txt, robotların sitenizle nasıl etkileşim kurduğunu kontrol etmenizi sağlar. Bu kontrolü iki temel komutla yapabilirsiniz. “User-agent(kullanıcı aracısı)  ve Disallow(izin verme)”

User-agent: Belirli botları hedeflememizi sağlar. User-agent, botların kendilerini tanımlamak için kullandığı koddur. Örneğin Google için geçerli olan, Yandex için geçerli olmayan bir kural oluşturabilirsiniz.

Disallow: Robotlara sitenizin belirli alanlarına erişmesini söylediği koddur.

Varsayılan olarak sitenizdeki her şey Allow (izin ver) olarak işaretlenmiştir. Bu nedenle kuralların neredeyse tamamına izin verildiği için gereksiz yere tekrar kullanılmasına gerek kalmaz. Örneğin, bir klasöre ve alt klasörlerine erişime izin vermemek, ancak belirli bir alt klasöre erişime izin vermek istediğinizde işe yarar.

İlk olarak kuralın hangi User-agent (Kullanıcı aracısına) uygulanacağını belirtmek adına Disallow(İzin verme) ve Allow (İzin ver) komutlarını kullanarak kurallar ekleyerek listeleyebilirsiniz.

Bazı özel kullanım örnekleri

Tüm sitenize bot erişimini engellemek için WordPress robots.txt dosyanıza eklersiniz şu satırı eklemelisiniz;

User-agent: *
Disallow: /

User-agent’ın yanındaki * (yıldız) işareti “tüm kullanıcı aracılar(botlar)” anlamına gelir. Yıldız bir joker karakteridir ve her kullanıcı aracısı için geçerlidir. / işaretinin yanındaki Disallow size erişim vermek ist

Tek bir botun sitenize erişmesini engellemek için;

Varsayalım ki web sitemizden sadece Bing‘in botlarını uzak tutmak istiyoruz. Yalnızca Bing’in sitenizi taramasını engellemek için, joker karakter * yıldız işaretini Bingbot ile değiştirmelisiniz:

User-agent: Bingbot
Disallow: /

Belirli bir klasöre veya dosyaya erişimi engellemek için;

Yalnızca belirli bir dosya, klasöre veya tüm alt klasörlere erişimi engellemek için örneğin; Wordrpress için wp-admin klasörünün tamamı ve wp-login.php dosyasını engellemek istediğimizi varsayalım.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php

İzin verilmeyen bir klasörün içindeki bir dosyaya izin vermek için;

Klasörün tamamını engellemek istiyorsunuz, ancak yine de o klasörün içindeki belirli bir dosyaya erişime izin vermek istiyorsanız şu örneği kullanabilirsiniz.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Robots.txt dosyasına eklediğiniz bu kod parçası, /wp-admin/admin-ajax.php dosyası dışında /wp-admin/ klasörünün tamamına erişimi engeller.

Robotların WordPress arama sonuçlarını taramasını engellemek için;

WordPress web sitenizde arama satırı botlar tarafından çokça kullanılmaktadır. Robots.txt dosyasında ince bir ayar ile bu botları arama çubuğundan uzak tutabilmemiz mümkündür.

User-agent: *
Disallow: /?s=
Disallow: /search/

Robots.txt dosyasında farklı botlar için farklı kurallar oluşturma;

Şimdiye kadarki örnekler tek bir seferde tek bir kuralla ilgiliydi. Farklı botlarla farklı kurallara uygulanmak istenildiğinde robots.txt dosyasında yapmanız gereken güncelleme şu şekildedir:

User-agent: *
Disallow: /wp-admin/
User-agent: Bingbot
Disallow: /

Bu örnekte, tüm botların /wp-admin/ erişimi engellenecek , ancak Bingbot‘un tüm sitenize erişimi engellenecektir.

Robots.txt Dosyanızı Test Etme

Doğru şekilde kurulduğundan emin olmak için WordPress robots.txt dosyanızı Robots Testing Tool adresine giriş yaparak test edebilirsiniz.