Внутренняя оптимизация сайта — файл robots.txt

Файл robots.txt — это текстовый файл, расположенный в корне сайта и предназначенный для управления поисковыми роботами при индексации сайта.

 

Через настройки файл robots.txt можно разрешить или запретить поисковым роботам двигаться по сайту и индексировать его содержимое.

 

Хотя для настройки robots.txt и нужны некоторые знания, не стоит пренебрегать его использованием.

 

Зачем нужен robots.txt?

 

Данный файл настройки, как было сказано ранее, нужен для управления индексацией сайта роботами и некоторых других настроек сайта.

 

Обычно поисковые роботы следуют правилам, установленным в robots.txt. Хотя иногда бывает, что правила прописанные в настройках игнорируются. Гугл частенько этим грешит.

 

При отсутствии данного файла, иногда могут возникнуть трудности с индексацией сайта. Также в файл robots.txt прописывают основной домен (с WWW или без WWW):

 

Host: pro-internetmarketing.ru

 

Дополнительно в файл прописывают путь к карте сайта:

 

Sitemap: https://pro-internetmarketing.ru/sitemap.xml

 

Как проверить и отредактировать robots.txt?

 

Для проверки наличия данного файла и просмотра его содержимого нужно ввести в адресную строку браузера следующий URL site.ru/robots.txt (вместо site.ru впишете свой адрес сайта).

 

Файл robots.txt пример:

Для просмотра содержания фала можно также воспользоваться бесплатной программой SiteAuditor.

 

Для того чтобы проверить robots.txt можно воспользоваться бесплатным сервисом от яндексе:
http://webmaster.yandex.ru/robots.xml

 

Для редактирования файла нужен доступ к серверу.

 

Что нужно прописать в robots.txt?

 

Для создания правил индексации в файле прописываются конструкции «Allow-Disallow». Закрывать от индексации стоит малоинформативные страницы, технические страницы и страницы содержимое которых вы не хотите скрыть от попадания в поисковую базу.

 

Пример robots.txt — запрет индексации:

 

Disallow: /user/*

 

В данном примере в файле robots.txt прописан запрет индексации профилей пользователей.Но нужно быть аккуратными, чтобы не закрыть от индексации полезные страницы с уникальным контентом.

Если необходимо в robots.txt запретить индексацию всего сайта, нужно прописать следующую конструкцию:

 

User-agent: *