Неподдерживаемые директивы и опечатки в файле robots.txt

Кратко: В файле robots.txt Google читает только четыре директивы: User-agent, Disallow, Allow и Sitemap. Crawl-delay, noindex внутри файла и строки Host не учитываются. Строка с ошибкой в написании пропускается молча: вы думаете, что что-то закрыли, а на самом деле ничего не закрыто.

Что Google распознаёт в robots.txt

Robots.txt представляет собой простой текстовый файл в корне сайта, например https://vash-sayt.az/robots.txt. Его задача сообщить ботам, какие пути им можно обходить. Список директив, которые признаёт документация Google, короткий:

• User-agent указывает, к какому боту относится правило
• Disallow закрывает обход указанного пути
• Allow снова открывает конкретный путь внутри закрытой папки
• Sitemap даёт полный адрес карты сайта и не зависит от того, под каким ботом стоит

В путях работают звёздочка и знак $, обозначающий конец строки, а сами пути чувствительны к регистру. Для Google /Blog и /blog являются двумя разными путями.

Нераспознанные строки и реальное поведение Google

Каждая строка вне этого списка считается нераспознанной директивой. Google не выдаёт из-за неё ошибку, он просто пропускает строку, не читая её. В этом и проблема: файл выглядит рабочим.

Строка	Что делает Google	Что делать
Crawl-delay	Не распознаётся, на скорость обхода не влияет	Удалить. Если сервер перегружен, решать это на стороне сервера
noindex внутри файла	Не распознаётся, страница остаётся в индексе	Удалить. Перенести в собственный тег meta robots страницы
Host	Директива Яндекса, Google её не читает	Удалить. Главный домен задать редиректом

Некоторые источники пишут, что эти директивы рано или поздно станут официальными. Такого обещания нет. Текущая документация Google их не признаёт, и об изменениях ничего не объявлялось. Собирайте файл по сегодняшней документации, а не по ожиданиям.

Одна опечатка отменяет всё правило

Написания вроде Dissalow, Diallow и Disalow встречаются часто. Google их не исправляет. Раз строка не распознана, она не учитывается, и раздел, который вы считаете закрытым, остаётся полностью открытым. Тот же результат даёт блок правил без строки User-agent, потому что непонятно, к кому правило относится.

Самая дорогая ошибка: путать обход с индексацией

Robots.txt закрывает обход, а не индексацию. Если на закрытую страницу ведут ссылки с других сайтов, Google может добавить этот адрес в индекс, не видя его содержимого. В результате в поиске появляется пустая строка без описания.

Есть и хуже. Если закрыть страницу через Disallow, Google не сможет прочитать тег noindex внутри неё, потому что вообще её не открывает. То есть если вы хотите убрать страницу из индекса, нужно сделать наоборот: разрешить обход и поставить тег noindex на саму страницу.

Проверка файла за десять минут

1. Откройте адрес в браузере. Если файл лежит не в корневой папке, Google его не находит.
2. Отметьте и удалите каждую строку за пределами четырёх распознаваемых директив.
3. Проверьте написание слова Disallow по буквам.
4. Добавьте полный адрес карты сайта строкой Sitemap.
5. Разделите тестовую и рабочую среду. Самая распространённая катастрофа: в день запуска строка Disallow: / из тестового файла переезжает на рабочий сайт.
6. Откройте отчёт об индексации в Search Console и посмотрите список адресов, закрытых в robots.txt.

После изменения результат виден не сразу. Google какое-то время хранит копию файла в кэше, поэтому следите за эффектом правки несколько дней.

Кому поручить эту работу

Robots.txt сам по себе не стратегия. Это самая маленькая, самая дешёвая и легче всего ломающаяся часть технического SEO. Если ваш сайт делал фрилансер или файл никто не трогал со дня запуска, одна проверка обойдётся недорого.

SaytPro с 2023 года работает в Баку как команда разработчиков и сдала больше 120 проектов. Наша ежемесячная SEO-услуга стоит 700 ₼, технический аудит входит в неё. Для новых сайтов после сдачи действуют 2 месяца официальной гарантии и технической поддержки. Напишите нам, чтобы бесплатно обсудить состояние вашего файла.