Robots.txt Nedir? Tarama Kuralları, Örnekler ve Yapay Zeka Botları

Robots.txt, bir sitenin kök dizininde duran ve arama motoru tarayıcılarına sitenin hangi adreslerine erişebileceklerini bildiren düz metin dosyasıdır. Robots.txt dosyası taramayı yönetir, dizine eklemeyi değil: bir sayfayı Google sonuçlarından tamamen çıkarmak için doğru araç noindex ya da şifre korumasıdır.

Bu rehber tanımı Google Search Central belgelerine dayandırıyor ve ardından pratik tarafa geçiyor: dosyanın söz dizimi, kuralların nasıl eşleştiği, engelleme ile noindex arasındaki fark, sık kullanılan örnekler, WordPress’te düzenleme, Search Console ile test ve son dönemde çok sorulan konu olan GPTBot, OAI-SearchBot ve Google-Extended gibi yapay zeka botlarının yönetimi.

Robots.txt Dosyası Ne İşe Yarar?

Bu dosya, esas olarak tarayıcı trafiğini yönetmek ve sitenin önemsiz ya da birbirine çok benzeyen bölümlerinin taranmasını önlemek için kullanılır. Google’ın konuya giriş belgesi, bu dosyanın web sayfalarını Google’ın dışında tutmaya yarayan bir mekanizma olmadığını ayrıca vurgular.

Robots.txt nedir sorusunun cevabı, dosyanın neyi etkilediğiyle tamamlanır ve bu etki içerik türüne göre değişir. Web sayfalarında tarama yükünü azaltmak ya da filtre ve arama sonucu sayfaları gibi sonsuz sayıda adres üreten bölümleri taramadan çıkarmak için kullanılır. Görsel, video ve ses dosyalarında ise bu dosyaların Google arama sonuçlarında görünmesini engelleyebilir. Stil ve komut dosyası gibi kaynaklar da engellenebilir, ancak sayfanın doğru görüntülenmesi bu kaynaklara bağlıysa engellemek Google’ın sayfayı anlamasını zorlaştırır.

Dosya bir güvenlik aracı da değildir. Kurallar tarayıcıyı zorlamaz; Googlebot ve diğer güvenilir tarayıcılar uyar, kötü niyetli botlar uymayabilir. Üstelik dosya herkese açıktır; gizli kalması gereken bir klasörün adını buraya yazmak, onu herkese duyurmak anlamına gelir.

Robots.txt Nasıl Yazılır? Temel Söz Dizimi

Dosya bir veya daha fazla kural grubundan oluşur; her grup bir user-agent satırıyla başlar ve o tarayıcının erişebileceği ya da erişemeyeceği yolları satır satır listeler. Dosya UTF-8 kodlamalı düz metin olmalı, robots.txt adını taşımalı ve geçerli olacağı ana makinenin kök dizininde yayınlanmalıdır; örneğin https://www.example.com/robots.txt. Alt klasöre konan bir kopya dikkate alınmaz.

Google’ın desteklediği alanlar şunlardır:

• user-agent: kuralın hangi tarayıcı için geçerli olduğu. Yıldız (*) tüm tarayıcılarla eşleşir, ancak Google’ın AdsBot tarayıcıları bunun dışındadır ve adıyla ayrıca belirtilmelidir.
• disallow: taranmaması istenen yol; / ile başlar, bir klasörü gösteriyorsa / ile biter.
• allow: engellenmiş bir klasörün içindeki belirli bir alt yolun taranmasına izin verir.
• sitemap: site haritasının tam adresi; isteğe bağlıdır ve dosyada birden fazla kez kullanılabilir.

Crawl-delay gibi başka alanlar Google tarafından desteklenmez. Aşağıda iki gruptan oluşan basit bir dosya görülüyor: ilk grup tüm tarayıcılara yönetim paneli klasörünü kapatıyor, ikinci satır site haritasının yerini bildiriyor.

User-agent: *
Disallow: /yonetim/

Sitemap: https://www.example.com/sitemap.xml

Robots.txt Kuralları Nasıl Eşleşir?

Bir tarayıcı dosyada kendisiyle eşleşen en ayrıntılı user-agent grubunu seçer ve diğer grupları yok sayar; grup içinde ise yol uzunluğuna göre en ayrıntılı kural uygulanır. Google’ın robots.txt spesifikasyonunu nasıl yorumladığını anlatan belgeye göre, eşit ayrıntıda çakışan allow ve disallow kurallarında daha az kısıtlayıcı olan allow uygulanır.

Bu kuralın pratik bir sonucu vardır: Googlebot için ayrı bir grup yazıldığında, Googlebot artık yıldızlı genel grubu okumaz. Genel gruba eklenen bir engelin Googlebot’u da kapsaması isteniyorsa kuralın Googlebot grubuna da yazılması gerekir. Yollar büyük-küçük harfe duyarlıdır; /Urun/ ile /urun/ farklı yollardır. Yolda yıldız (*) herhangi bir karakter dizisini, dolar işareti ($) ise adresin sonunu ifade eder.

Dosyanın kendisiyle ilgili sınırlar da bilinmelidir. Google bu dosya için 500 KiB boyut sınırı uygular ve bu sınırı aşan kısmı yok sayar; dosyanın içeriğini genellikle 24 saate kadar önbellekte tutar. Dosya 404 gibi bir 4xx hatası döndürüyorsa (429 hariç) Google herhangi bir tarama kısıtlaması olmadığını varsayar; sunucu hatası (5xx) döndürüyorsa önce taramayı durdurur, sonra bir süre son geçerli sürümü kullanır. Yani sunucu hatası veren bir dosya, hiç olmayan bir dosyadan daha fazla sorun çıkarabilir.