Внутренняя оптимизация сайта — файл robots.txt

Файл robots.txt

Файл robots.txt — это текстовый файл, расположенный в корне сайта и предназначенный для управления поисковыми роботами при индексации сайта.

 

Через настройки файл robots.txt можно разрешить или запретить поисковым роботам двигаться по сайту и индексировать его содержимое.

 

Хотя для настройки robots.txt и нужны некоторые знания, не стоит пренебрегать его использованием.

 

Зачем нужен robots.txt?

 

Данный файл настройки, как было сказано ранее, нужен для управления индексацией сайта роботами и некоторых других настроек сайта.

 

Обычно поисковые роботы следуют правилам, установленным в robots.txt. Хотя иногда бывает, что правила прописанные в настройках игнорируются. Гугл частенько этим грешит.

 

При отсутствии данного файла, иногда могут возникнуть трудности с индексацией сайта. Также в файл robots.txt прописывают основной домен (с WWW или без WWW):

 

Host: pro-internetmarketing.ru

 

Дополнительно в файл прописывают путь к карте сайта:

 

Sitemap: https://pro-internetmarketing.ru/sitemap.xml

 

Как проверить и отредактировать robots.txt?

 

Для проверки наличия данного файла и просмотра его содержимого нужно ввести в адресную строку браузера следующий URL site.ru/robots.txt (вместо site.ru впишете свой адрес сайта).

 

Файл robots.txt пример:

Файл robots.txt пример

Для просмотра содержания фала можно также воспользоваться бесплатной программой SiteAuditor.

 

Для того чтобы проверить robots.txt можно воспользоваться бесплатным сервисом от яндексе:
http://webmaster.yandex.ru/robots.xml

 

Для редактирования файла нужен доступ к серверу.

 

Что нужно прописать в robots.txt?

 

Для создания правил индексации в файле прописываются конструкции «Allow-Disallow». Закрывать от индексации стоит малоинформативные страницы, технические страницы и страницы содержимое которых вы не хотите скрыть от попадания в поисковую базу.

 

Пример robots.txt — запрет индексации:

 

Disallow: /user/*

 

В данном примере в файле robots.txt прописан запрет индексации профилей пользователей.Но нужно быть аккуратными, чтобы не закрыть от индексации полезные страницы с уникальным контентом.

Если необходимо в robots.txt запретить индексацию всего сайта, нужно прописать следующую конструкцию:

 

User-agent: *

Рейтинг
( Пока оценок нет )
Сергей Ковалев/ автор статьи
Понравилась статья? Поделиться с друзьями:

Мои услуги

blank

Продвижение в ТОП

blank

SEO-консультация

blank

SEO-обучение

blank

Контроль SEO-специалиста

Мои кейсы

blank

Кейс по SEO-продвижению сайта туристического агентства

blank

Кейс по SEO-продвижению сайта РосИнтеграции

blank

Продвижение московского сайта «Речного агентства»

blank

Продвижение интернет-магазина кальянов

Отзывы Моих клиентов

blank

Отзыв от владельца сети отелей и туристического портала

blank

Отзыв от клиента «ВЕСЕЛЫЙ ТУРИСТ»

blank

Отзыв от клиента — Московское «Речное Агентство»

blank

Отзыв от партнера «Бизнес Код»

Про Интернет-Маркетинг
Добавить комментарий

;-) :| :x :twisted: :smile: :shock: :sad: :roll: :razz: :oops: :o :mrgreen: :lol: :idea: :grin: :evil: :cry: :cool: :arrow: :???: :?: :!: