Файл robots.txt — это текстовый файл, расположенный в корне сайта и предназначенный для управления поисковыми роботами при индексации сайта.
Через настройки файл robots.txt можно разрешить или запретить поисковым роботам двигаться по сайту и индексировать его содержимое.
Хотя для настройки robots.txt и нужны некоторые знания, не стоит пренебрегать его использованием.
Зачем нужен robots.txt?
Данный файл настройки, как было сказано ранее, нужен для управления индексацией сайта роботами и некоторых других настроек сайта.
Обычно поисковые роботы следуют правилам, установленным в robots.txt. Хотя иногда бывает, что правила прописанные в настройках игнорируются. Гугл частенько этим грешит.
При отсутствии данного файла, иногда могут возникнуть трудности с индексацией сайта. Также в файл robots.txt прописывают основной домен (с WWW или без WWW):
Host: pro-internetmarketing.ru
Дополнительно в файл прописывают путь к карте сайта:
Sitemap: https://pro-internetmarketing.ru/sitemap.xml
Как проверить и отредактировать robots.txt?
Для проверки наличия данного файла и просмотра его содержимого нужно ввести в адресную строку браузера следующий URL site.ru/robots.txt (вместо site.ru впишете свой адрес сайта).
Файл robots.txt пример:
Для просмотра содержания фала можно также воспользоваться бесплатной программой SiteAuditor.
Для того чтобы проверить robots.txt можно воспользоваться бесплатным сервисом от яндексе:
http://webmaster.yandex.ru/robots.xml
Для редактирования файла нужен доступ к серверу.
Что нужно прописать в robots.txt?
Для создания правил индексации в файле прописываются конструкции «Allow-Disallow». Закрывать от индексации стоит малоинформативные страницы, технические страницы и страницы содержимое которых вы не хотите скрыть от попадания в поисковую базу.
Пример robots.txt — запрет индексации:
Disallow: /user/*
В данном примере в файле robots.txt прописан запрет индексации профилей пользователей.Но нужно быть аккуратными, чтобы не закрыть от индексации полезные страницы с уникальным контентом.
Если необходимо в robots.txt запретить индексацию всего сайта, нужно прописать следующую конструкцию:
User-agent: *
Основатель веб-студии «Про Интернет-Маркетинг». Опыт в SEO с 2011 года, Работал в должностях: SEO-специалист, руководитель SEO-отдела, инвестиционный консультант, интернет-маркетолог, руководитель отдела интернет-маркетинга, маркетолог, веб-аналитик.
