Robots.txt Faylında Dəstəklənməyən Direktivlər və Yazılış Səhvləri

AI Xülasə: Google robots.txt faylında yalnız dörd direktivi oxuyur: User-agent, Disallow, Allow və Sitemap. Crawl-delay, fayl daxilində yazılan noindex və Host sətirləri nəzərə alınmır. Yanlış yazılmış sətir isə səssizcə ötürülür, yəni siz nəyisə bağladığınızı düşünürsünüz, əslində heç nə bağlanmır.

Google robots.txt-də nəyi tanıyır

Robots.txt saytın kök ünvanında duran sadə mətn faylıdır, məsələn https://saytiniz.az/robots.txt. Onun işi botlara hansı yolları gəzə biləcəyini bildirməkdir. Google-un sənədləşməsində tanınan direktivlərin siyahısı qısadır:

• User-agent, qaydanın hansı bota aid olduğunu göstərir
• Disallow, göstərilən yolun gəzilməsini bağlayır
• Allow, bağlı qovluğun içindən konkret yolu geri açır
• Sitemap, sayt xəritəsinin tam ünvanını verir və hansı bota aid olmasından asılı deyil

Yol yazılışında ulduz işarəsi və sətrin sonunu bildirən $ işarəsi işləyir, yollar isə böyük və kiçik hərfə həssasdır. /Blog ilə /blog Google üçün iki ayrı yoldur.

Tanınmayan sətirlər və Google-un real davranışı

Bu siyahıdan kənarda qalan hər sətir tanınmayan direktivdir. Google onlara görə xəta qaytarmır, sadəcə sətri oxumadan keçir. Problem elə buradadır: fayl işləyir kimi görünür.

Sətir	Google-un davranışı	Nə etməli
Crawl-delay	Tanınmır, gəzmə sürətinə təsir etmir	Sil. Server yüklənirsə problemi server tərəfində həll et
noindex fayl daxilində	Tanınmır, səhifə indeksdən çıxmır	Sil. Səhifənin öz meta robots teqinə köçür
Host	Yandex direktividir, Google oxumur	Sil. Əsas domeni yönləndirmə ilə həll et

Bəzi mənbələr bu direktivlərin gec-tez rəsmiləşəcəyini yazır. Belə bir vəd yoxdur. Google-un hazırkı sənədlərində bu direktivlər tanınmır və dəyişiklik barədə açıqlama verilməyib. Faylı bugünkü sənədləşməyə görə qurmaq lazımdır, gələcək gözləntisinə görə yox.

Bir hərf səhvi bütün qaydanı ləğv edir

Dissalow, Diallow, Disalow kimi yazılışlara tez-tez rast gəlinir. Google bunları düzəltmir. Sətir tanınmadığı üçün nəzərə alınmır və bağladığınızı düşündüyünüz bölmə tam açıq qalır. Eyni nəticəni User-agent sətri olmadan yazılmış qayda bloku da verir, çünki qaydanın kimə aid olduğu bilinmir.

Ən bahalı səhv: gəzməni indeksləmə ilə qarışdırmaq

Robots.txt gəzməni bağlayır, indeksləməni yox. Bağlanmış səhifəyə kənardan link verilibsə, Google həmin ünvanı məzmununu görmədən indeksə sala bilər. Nəticədə axtarışda təsvirsiz, boş bir sətir görünür.

Bundan da pisi var. Səhifəni Disallow ilə bağlasanız, Google onun içindəki noindex teqini oxuya bilmir, çünki səhifəni ümumiyyətlə açmır. Yəni səhifəni indeksdən çıxarmaq istəyirsinizsə, əksini etməlisiniz: gəzməyə icazə verin və noindex teqini səhifənin özünə qoyun.

Faylı on dəqiqəyə yoxlamaq

1. Ünvanı brauzerdə açın. Fayl kök qovluqda deyilsə, Google onu tapmır.
2. Dörd tanınan direktivdən kənar hər sətri işarələyin və silin.
3. Disallow sözünün yazılışını hərf-hərf yoxlayın.
4. Sayt xəritəsinin tam ünvanını Sitemap sətri ilə əlavə edin.
5. Test və canlı mühiti ayırın. Ən geniş yayılmış fəlakət, sayt açılanda test faylındakı Disallow: / sətrinin canlıya köçürülməsidir. Keçid gününün tam yoxlama siyahısı redizaynda Google trafikini qoruyan 7 addımda var.
6. Search Console-da indeksləmə hesabatını açın və robots.txt ilə bağlanmış ünvanların siyahısına baxın.

Dəyişiklikdən sonra nəticə dərhal görünmür. Google faylın nüsxəsini bir müddət yaddaşda saxlayır, ona görə düzəlişin təsirini bir neçə gün ərzində izləmək lazımdır.

Bu iş kimə tapşırılır

Robots.txt tək başına strategiya deyil. O, texniki SEO-nun ən kiçik, ən ucuz və ən tez sınan hissəsidir. Saytınız freelancer tərəfindən qurulubsa və ya fayla açılış günündən bəri əl dəyməyibsə, bir dəfə baxılması bahaya başa gəlmir.

SaytPro 2023-cü ildən Bakıda işləyən developer komandasıdır və 120-dən çox layihə təhvil verib. Aylıq SEO xidmətimiz 700 ₼-dir, texniki audit də bura daxildir. Yeni sayt sifarişlərində təhvildən sonra 2 ay rəsmi zəmanət və texniki dəstək verilir. Faylınızın vəziyyətini danışmaq üçün pulsuz konsultasiyaya yazın.