Файл robots.txt - это небольшой текстовый файл в корне хоста, который сообщает сканерам, какие пути URL-адресов они могут получать. Это не пароль, не тег noindex и не способ скрыть секреты. Если вы настроите его правильно, Googlebot, Bingbot и другие будут тратить бюджет сканирования на страницы, которые вас интересуют. Если вы сделаете это неправильно, вы заблокируете CSS, скроете карту сайта или раскроете staging-сайт в поиске. Это руководство охватывает правила, которые по-прежнему актуальны в 2026 году, разницу между Disallow и noindex, а также ошибки, которые приводят к потере позиций. Если вам нужен файл, который можно вставить по адресу https://your-domain/robots.txt, используйте Генератор Robots.txt - он работает в вашем браузере и никогда не загружает пути.
Краткий ответ
Сохраните robots.txt в корне сайта каждого хоста (https://www.example.com/robots.txt). Используйте группы User-agent с префиксами путей Allow и Disallow, а также строку Sitemap: с абсолютным HTTPS-URL. Allow: / - это обычный вариант для публичного сайта. Disallow: / - для staging. robots.txt только просит сканеры не получать; заблокированные URL-адреса могут по-прежнему появляться в поиске, если на них есть ссылки. Используйте метатег noindex (или X-Robots-Tag), когда вам нужно, чтобы URL-адрес не попадал в результаты. Никогда не используйте robots.txt для скрытия личных данных - сам файл общедоступен.
Что такое robots.txt (и чем он не является)
robots.txt - это протокол исключения роботов: добровольный набор правил, которые сканеры проверяют перед запросом других URL-адресов на этом хосте. Послушные боты (Googlebot, Bingbot, многие SEO-сканеры) соблюдают его. Скрейперы и некоторые AI-фетчеры могут игнорировать его. Относитесь к файлу как к подсказке для сканирования, а не как к средству контроля безопасности.
- Это общедоступный текстовый файл. Любой может открыть https://your-host/robots.txt и прочитать все директивы Disallow, которые вы написали.
- Он относится к конкретному хосту. www.example.com и example.com требуют отдельный файл, если оба предоставляют контент.
- Он не аутентифицирует пользователей. Строка Disallow не остановит браузер, скрейпер или человека с URL-адресом.
- Он сам по себе не удаляет URL-адреса из Google. Для этого предназначены noindex (и удаления в Search Console).
Поисковым системам по-прежнему необходимо загружать CSS, JavaScript и изображения, чтобы отображать страницу так, как ее видит человек. Блокировка этих ресурсов - классический способ ухудшить понимание макета страницы Google. Хороший robots.txt - это скучно: разрешите доступ к общедоступному сайту, заблокируйте несколько префиксов администратора, укажите ссылку на карту сайта.
Где должен находиться файл
Сканеры запрашивают только один путь: /robots.txt на этом хосте. Файл, расположенный где-либо еще, будет проигнорирован.
- Правильно: https://www.example.com/robots.txt
- Игнорируется: https://www.example.com/blog/robots.txt или https://www.example.com/static/robots.txt
- www и корневой домен - это разные хосты. Если оба отвечают, каждому нужен свой файл (или один должен перенаправлять на другой до того, как сканеры начнут поиск).
- Отдавайте его как text/plain с HTTP 200. HTML-ответ с ошибкой 404, страница входа или ошибка 500 выглядят как отсутствующий или неработающий файл.
- Разместите его в корне сайта основного хоста, который вы хотите индексировать, соответствующего хосту в Search Console.
Синтаксис, который действительно имеет значение
Файл robots.txt состоит из групп правил. Каждая группа начинается с одной или нескольких строк User-agent, затем следуют строки Allow и Disallow для этой группы. Строки Sitemap находятся вне групп и применяются ко всем сканерам, которые их понимают.
- User-agent: * - группа по умолчанию для сканеров, у которых нет более конкретной группы.
- User-agent: Googlebot - именованная группа. Google использует наиболее конкретную совпадающую группу, а не * вместе с Googlebot.
- Disallow: /admin/ - пропустить URL-пути, начинающиеся с /admin/.
- Allow: / - разрешить весь сайт. Пустая строка Disallow - это старый способ сказать то же самое.
- Sitemap: https://www.example.com/sitemap.xml - абсолютный HTTPS URL вашего XML-файла карты сайта.
- Комментарии начинаются с #. Пустые строки разделяют группы. Пути чувствительны к регистру.
Google поддерживает * (любую последовательность) и $ (конец URL) в путях Allow и Disallow. Bing близок к этому. Не придумывайте директивы, которые Google игнорирует. Crawl-delay - обычный пример: Google его не использует. Используйте настройки сканирования в Search Console, если вам нужно замедлить Googlebot.
Allow против Disallow
Disallow перечисляет префиксы путей, которые краулер должен пропустить. Allow перечисляет префиксы, которые он может получить, что полезно, когда родительский путь запрещен. Google выбирает наиболее длинный совпадающий путь, а не первую строку в файле.
- Disallow: / означает пропустить всё на этом хосте. Используйте это на staging, а не на публичном сайте.
- Allow: / (или отсутствие строк Disallow) означает сканирование всего хоста.
- Disallow: /tmp плюс Allow: /tmp/public/ позволяет Googlebot получить доступ к папке public, пропуская остальную часть /tmp.
- Более конкретный Allow может снова открыть путь, который закрыл более короткий Disallow.
- Слеши в конце имеют значение. /admin и /admin/ - это разные префиксы. Сопоставляйте URL-адреса, которые фактически обслуживает ваша CMS.
Побеждает самое длинное совпадение
Если одна строка гласит Disallow: /blog, а другая - Allow: /blog/how-to, Google обрабатывает /blog/how-to как разрешенный, потому что этот префикс длиннее. Не полагайтесь на порядок строк. Запишите нужные вам префиксы, а затем протестируйте несколько URL-адресов в Search Console.
robots.txt против noindex
Это различие, которое спасает (или губит) индексацию. robots.txt и noindex выполняют разные задачи. Их смешивание приводит к тому, что URL застревают в поиске без заголовка и сниппета.
- robots.txt Disallow - пожалуйста, не скачивайте этот URL. Краулер все равно может добавить URL в список, если на него ссылаются другие страницы.
- noindex (meta robots или X-Robots-Tag) - вы можете скачивать этот URL, но не показывайте его в результатах.
- Если вы используете Disallow для URL, Google часто не может увидеть noindex на этой странице, потому что он никогда не загружает HTML.
- Чтобы удалить общедоступный URL из индекса, разрешите сканирование и добавьте noindex на страницу. Затем дождитесь повторного сканирования.
- Чтобы скрыть частный хост, не полагайтесь только на robots.txt. Используйте HTTP-аутентификацию, списки разрешенных IP-адресов или держите его вне общедоступного интернета.
Страница благодарности, URL с фасетными фильтрами или страница внутренних результатов поиска обычно требуют noindex (и сканирования), чтобы Google мог увидеть тег. Стейджинговый хост требует Disallow: / плюс реальный контроль доступа. Область администрирования CMS может использовать оба варианта: Disallow префикс, чтобы не тратить бюджет сканирования, и noindex, если эти URL когда-либо доступны без входа в систему.
Лучшие практики для публичного сайта
Большинству сайтов-визиток и инструментов нужен короткий, неинтересный файл. Начните с разрешения всего, добавьте карту сайта, а затем запретите только префиксы, которые не должны сжигать бюджет сканирования.
- Разрешите всему публичному сайту (User-agent: * и Allow: /).
- Добавьте одну строку Sitemap: с абсолютным https URL вашей XML-карты сайта.
- При необходимости запретите пути администратора CMS, такие как /admin/ или /wp-admin/.
- Не запрещайте папки CSS, JavaScript, шрифтов или изображений, которые Google необходимы для отрисовки страницы.
- Не запрещайте префиксы локалей (/es/, /pt/, /fr/, /de/), если эти URL предназначены для ранжирования.
- Очистку параметров оставьте в Search Console или тегах canonical, а не в лабиринте правил Disallow.
- Перепроверяйте активный файл после каждого развертывания. Оставленный Disallow: / из staging - частая причина сбоев.
Стейджинг, предпросмотр и приватные хосты
Если хост никогда не должен появляться в поиске, Disallow: / - это половина работы robots.txt. Это не вся работа. Ссылки, карты сайта и свойства в Search Console по-прежнему могут выводить URL.
- Разместите стейджинг на собственном хосте (staging.example.com), а не в общедоступном пути продакшена.
- Используйте Disallow: / на этом хосте и отдавайте noindex в каждом HTML-ответе, если хост вообще доступен.
- Предпочитайте HTTP-аутентификацию или VPN. robots.txt не остановит краулер, игнорирующий протокол.
- Не отправляйте карту сайта стейджинга в свойство Search Console продакшена.
- При клонировании продакшена в стейджинг немедленно замените robots.txt продакшена. Файл allow-all здесь опасен.
Строка Sitemap
Директива Sitemap: не зависит от групп User-agent. Google, Bing и другие используют ее как подсказку для обнаружения. Она не отменяет Disallow. Если вы указываете URL в карте сайта и одновременно запрещаете его, вы посылаете противоречивые сигналы.
- Используйте абсолютный https URL. Sitemap: /sitemap.xml недействителен.
- Вы можете указать несколько карт сайта (индекс плюс дочерние карты сайта или файлы для конкретных языков).
- Хост карты сайта должен совпадать с хостом robots.txt, когда это возможно. Карты сайта для разных хостов требуют дополнительной настройки в Search Console.
- Включайте в карту сайта только индексируемые URL. Страницы благодарности, URL корзины и клоны для тестирования там не должны находиться.
Wildcards, end anchors, and comments
Парсер robots.txt Google поддерживает два дополнительных токена в путях. Используйте их экономно. Длинный файл с подстановочными знаками сложнее протестировать, чем несколько точных префиксов.
- * соответствует любой последовательности символов. Disallow: /*.json$ пропускает URL-адреса, заканчивающиеся на .json.
- $ соответствует концу URL-адреса. Без него *.json также соответствовал бы .json.html.
- # начинает комментарий до конца строки. Не помещайте секреты, API-ключи или внутренние имена хостов в комментарии.
- Если сканер не поддерживает * или $, он может рассматривать эти символы как литералы. Придерживайтесь простых префиксов, когда это возможно.
Рабочий пример
Публичный маркетинговый сайт, который также имеет административную область CMS, может использовать этот файл. Предустановка генератора 'разрешить все' плюс карта сайта и две строки 'Запретить' дают ту же структуру.
- User-agent: *
- Allow: /
- Disallow: /admin/
- Disallow: /wp-admin/
- Sitemap: https://www.example.com/sitemap.xml
Этот файл указывает каждому сканеру загружать общедоступный сайт, пропускать два префикса администратора и просматривать XML-карту сайта. Он не устанавливает noindex для URL-адресов администратора (вход в систему уже должен скрывать их). Он не блокирует /_next/ или /images/. После вставки откройте URL-адрес /robots.txt в браузере и убедитесь, что байты соответствуют скопированным вами.
Распространенные ошибки
- Размещение файла в подкаталоге. Сканеры загружают только /robots.txt.
- Запрет путей к CSS, JavaScript или шрифтам, чтобы Google не мог отрисовать страницу.
- Использование Disallow для 'скрытия' страницы, которую вы все еще хотите удалить из индекса. Используйте noindex и разрешите сканирование.
- Оставление Disallow: / в рабочей среде после клонирования staging.
- Относительная строка Sitemap:. Это должен быть абсолютный URL https.
- Блокировка путей к og:image. Сканеры социальных сетей по-прежнему должны загружать изображение. См. Полное руководство по тегам Open Graph.
- Несоответствие регистра (/Admin против /admin/). Пути чувствительны к регистру.
- Строки Crawl-delay, которые Google игнорирует, создавая ложное ощущение контроля скорости.
- Запись секретов в комментариях. Файл общедоступен.
- Предположение, что каждый бот соблюдает файл. Некоторые парсеры игнорируют его. Это проблема контроля доступа, а не проблема robots.txt.
Часто задаваемые вопросы
Скрывает ли robots.txt страницы от Google?
Нет. Он просит Googlebot не загружать эти URL-адреса. Если другие страницы ссылаются на заблокированный URL, Google все равно может его проиндексировать с кратким описанием или без него. Чтобы URL не отображался в результатах поиска, разрешите сканирование и добавьте директиву noindex.
Куда поместить robots.txt?
В корневой каталог сайта: https://www.example.com/robots.txt. Только этот путь запрашивают сканеры. Файл в папке игнорируется.
Должен ли каждый сайт разрешать всем сканерам?
Публичные сайты, которые хотят ранжироваться, обычно начинают с User-agent: * и Allow: /. Стейджинговые, предпросмотровые и приватные хосты должны использовать Disallow: / и добавить реальный контроль доступа. Именованные группы (Googlebot, Bingbot) предназначены для исключений, а не для обычных файлов.
Нужна ли мне строка Sitemap?
Да, если у вас есть XML-карта сайта. Это подсказка для обнаружения, а не переключатель ранжирования, и она не отменяет Disallow. Используйте абсолютный https URL. Вы также можете отправить ту же карту сайта в Search Console.
Полезен ли еще Crawl-delay?
Не для Google. Google игнорирует Crawl-delay. Если Googlebot слишком агрессивен, используйте настройки сканирования в Search Console. Другие боты могут уважать Crawl-delay, но это руководство (и генератор) придерживаются User-agent, Allow, Disallow и Sitemap.
Как протестировать файл?
Откройте URL /robots.txt в реальном времени и прочитайте его. Затем используйте Инструмент проверки URL в Search Console для нескольких разрешенных и запрещенных URL. Создайте файл с помощью Генератора Robots.txt.
Создайте файл в браузере
Начните с «разрешить все», «заблокировать все» или «заблокировать администратора», затем скопируйте вывод в реальном времени. Ничего не загружается:
- Генератор robots.txt - пресеты, пути Allow/Disallow и необязательный URL карты сайта.
- Генератор Open Graph Tag - карточки для шаринга, которые социальные краулеры все еще должны иметь возможность получать.
- Генератор Slug - чистые URL-слаги для страниц, которые вы хотите, чтобы краулеры сканировали.
- Все SEO-инструменты - полный индекс категории.
Сгенерируйте robots.txt - бесплатно
Откройте Генератор Robots.txt, выберите пресет, добавьте пути и URL карты сайта, а затем скопируйте файл. Сохраните его в корне сайта. Все работает в вашем браузере.