Robots.txt Dosyasında Desteklenmeyen Yönergeler ve Yazım Hataları

Özet: Google, robots.txt dosyasında yalnızca dört yönergeyi okur: User-agent, Disallow, Allow ve Sitemap. Crawl-delay, dosyanın içine yazılan noindex ve Host satırları dikkate alınmaz. Yanlış yazılmış bir satır ise sessizce atlanır, yani bir şeyi engellediğinizi düşünürsünüz ama aslında hiçbir şey engellenmez.

Google robots.txt'de neyi tanır

Robots.txt, sitenin kök adresinde duran basit bir metin dosyasıdır, örneğin https://siteniz.az/robots.txt. Görevi botlara hangi yolları tarayabileceklerini bildirmektir. Google'ın belgelerinde tanınan yönergelerin listesi kısadır:

• User-agent, kuralın hangi bota ait olduğunu gösterir
• Disallow, belirtilen yolun taranmasını engeller
• Allow, engellenmiş bir klasörün içindeki belirli bir yolu yeniden açar
• Sitemap, site haritasının tam adresini verir ve hangi botun altında durduğuna bağlı değildir

Yollarda yıldız işareti ve satır sonunu belirten $ işareti çalışır, yollar ise büyük ve küçük harfe duyarlıdır. Google için /Blog ile /blog iki ayrı yoldur.

Tanınmayan satırlar ve Google'ın gerçek davranışı

Bu listenin dışında kalan her satır tanınmayan bir yönergedir. Google bunlar için hata döndürmez, satırı okumadan geçer. Sorun da tam burada: dosya çalışıyormuş gibi görünür.

Satır	Google'ın davranışı	Ne yapmalı
Crawl-delay	Tanınmaz, tarama hızını etkilemez	Silin. Sunucu zorlanıyorsa sorunu sunucu tarafında çözün
Dosya içinde noindex	Tanınmaz, sayfa dizinden çıkmaz	Silin. Sayfanın kendi meta robots etiketine taşıyın
Host	Yandex yönergesidir, Google okumaz	Silin. Ana alan adını yönlendirmeyle belirleyin

Bazı kaynaklar bu yönergelerin er geç resmîleşeceğini yazıyor. Böyle bir söz yok. Google'ın güncel belgeleri bu yönergeleri tanımıyor ve bir değişiklik duyurulmadı. Dosyayı gelecekteki beklentiye göre değil, bugünkü belgelere göre kurmak gerekir.

Tek bir harf hatası tüm kuralı geçersiz kılar

Dissalow, Diallow, Disalow gibi yazımlara sık rastlanır. Google bunları düzeltmez. Satır tanınmadığı için dikkate alınmaz ve engellediğinizi düşündüğünüz bölüm tamamen açık kalır. User-agent satırı olmadan yazılmış bir kural bloğu da aynı sonucu verir, çünkü kuralın kime ait olduğu belli değildir.

En pahalı hata: taramayı dizine eklemeyle karıştırmak

Robots.txt taramayı engeller, dizine eklemeyi değil. Engellenmiş bir sayfaya başka sitelerden bağlantı verilmişse Google o adresi içeriğini görmeden dizine ekleyebilir. Sonuçta aramada açıklaması olmayan boş bir satır görünür.

Daha kötüsü de var. Sayfayı Disallow ile engellerseniz Google içindeki noindex etiketini okuyamaz, çünkü sayfayı hiç açmaz. Yani sayfayı dizinden çıkarmak istiyorsanız tersini yapmalısınız: taramaya izin verin ve noindex etiketini sayfanın kendisine koyun.

Dosyayı on dakikada kontrol etmek

1. Adresi tarayıcıda açın. Dosya kök klasörde değilse Google onu bulamaz.
2. Tanınan dört yönergenin dışındaki her satırı işaretleyin ve silin.
3. Disallow kelimesinin yazımını harf harf kontrol edin.
4. Site haritasının tam adresini Sitemap satırıyla ekleyin.
5. Test ve canlı ortamı ayırın. En yaygın felaket, site yayına alınırken test dosyasındaki Disallow: / satırının canlı siteye taşınmasıdır.
6. Search Console'da dizine ekleme raporunu açın ve robots.txt ile engellenen adreslerin listesine bakın.

Değişiklikten sonra sonuç hemen görünmez. Google dosyanın bir kopyasını bir süre önbellekte tutar, bu yüzden düzeltmenin etkisini birkaç gün boyunca izlemek gerekir.

Bu iş kime verilmeli

Robots.txt tek başına bir strateji değildir. Teknik SEO'nun en küçük, en ucuz ve en kolay bozulan parçasıdır. Siteniz bir serbest çalışan tarafından kurulduysa ya da dosyaya yayın gününden beri dokunulmadıysa, bir kez baktırmak pahalıya mal olmaz.

SaytPro, 2023'ten beri Bakü'de çalışan bir geliştirici ekibidir ve 120'den fazla proje teslim etmiştir. Aylık SEO hizmetimiz 700 ₼'dir, teknik denetim de buna dahildir. Yeni site siparişlerinde teslimden sonra 2 ay resmî garanti ve teknik destek verilir. Dosyanızın durumunu konuşmak için ücretsiz danışmanlığa yazın.