Cloudflare AI Crawler Qaydalari Googlebot-u Bloklaya Biler
Cloudflare AI Crawler qaydalari veb saytlarin bot trafikini Search, Agent ve Training kateqoriyalarina ayirmaqla idare etmesine imkan verir. Training kateqoriyasini bloklayan saytlar Googlebot, Bingbot ve Applebot kimi qarisiq botlari da yanlisliqla bloklaya biler.
Search Engine Journal-in (Matt G. Southern, 2025) melumatina gore, Cloudflare artiq pulsuz hesablar da daxil olmaqla butun musterilere AI crawler-leri uc kateqoriyaya bolmek imkani verir. 15 sentyabrdan quvveye minen "en sert qayda" (strictest-rule) prinsipine gore, Training kateqoriyasini bloklayan saytlar Googlebot kimi kombinə edilmis botlari da bloklaya biler ki, bu da axtaris gorunmesine ciddi zerbe vurur.
Cloudflare AI Crawler qaydasi nedir?
Bu, Cloudflare panelinde bot trafikinin uc esas kateqoriyaya bolunerek ayri-ayri idare edilmesi sistemidir: Search (axtaris indekslesdirmesi), Agent (AI agent sorgulari) ve Training (AI modellerinin telimi). Sayt sahibleri her kateqoriya ucun icaze ve ya blok teyin ede biler.
- Search: Googlebot, Bingbot kimi klassik indekslesdirme botlari
- Agent: ChatGPT, Perplexity kimi AI cavab agentleri
- Training: AI modellerini oyretmek ucun melumat toplayan botlar
- Riskli hal: Bezi botlar (Googlebot, Applebot) eyni anda hem indekslesdirir, hem de telim ucun melumat toplayir
Esas problem burada yaranir: Training-i bloklamaq isteyen sayt sahibi bilmeden Googlebot-un indekslesdirmesini de dayandira biler ve bu, saytin Google axtarisindan yoxa cixmasina sebeb ola biler.
Bu deyisiklik saytiniza nece tesir edir?
15 sentyabrdan sonra "en sert qayda" prinsipi tetbiq olunur. Eger crawler hem Search, hem de Training kateqoriyasina duserse ve siz Training-i bloklamisinizsa, sistem daha sert qaydani secir ve botu tamamile bloklayir. Netice: organik trafik, indekslesme ve reytinq itkisi.
- Cloudflare panelinizde AI crawler ayarlarini yoxlayin
- Googlebot, Bingbot, Applebot-un Search kateqoriyasinda icaze aldigina emin olun
- Yalniz te) melumat toplanmasini dayandirmaq isteyirsinizse, dogru kateqoriyani secin
- Deyisikliklerden sonra Google Search Console-da indekslesmeni izleyin
Saytpro ile texniki SEO ve server konfiqurasiyasi: 1300 AZN-den, Birkart/Tamkart ile 0% faizle. Pulsuz meslehet al.
Azerbaycan saytlari ucun neye diqqet etmeli?
Bakida ve butun Azerbaycanda Cloudflare istifade eden korporativ saytlar ve onlayn magazalar ucun bu deyisiklik xususile vacibdir. Yanlis konfiqurasiya reqemsal cevrilme prosesinde qazandiginiz organik gorunmeni bir gecede itire biler. KOBI-ler ucun tovsiye: 15 sentyabrdan evvel Cloudflare panelini audit edin.
- Robots.txt ve Cloudflare qaydalarinin ziddiyyet teskil etmediyini yoxlayin
- Server terefli bloklama ile SEO gorunmeni balanslasdirin
- Texniki auditi mutexessise heval edin, teхniki bilik teleb olunur
- 95+ PageSpeed performansini qorumaq ucun CDN ayarlarini duzgun qurun
Tez-tez verilen suallar
Cloudflare pulsuz hesabimda bu ayarlar var?
Beli, Cloudflare bu funksiyani pulsuz hesablar da daxil olmaqla butun musterilere acib. Panelin bot idareetme bolmesinden ayarlari deyise bilersiniz.
Googlebot sehven bloklanarsa ne olar?
Saytiniz Google indeksinden cixmaga baslayir, organik trafik dusur ve reytingleriniz zeifleyir. Bunu qarsisini almaq ucun Search kateqoriyasinda Googlebot-a icaze verildiyini yoxlayin.
Bu deyisikliyi kim etmelidir?
Cloudflare istifade eden her sayt sahibi ayarlari 15 sentyabra qeder yoxlamalidir. Texniki teref emin deyilsinizse, Saytpro komandasi audit ve konfiqurasiya destegi teklif edir.
