Robots.txt – это текстовый файл, в нем указывается информация для поисковых роботов. Он должен находиться в корневой папке самого сайта. В этом документе указываются страницы, закрытые от индексации. В нем также прописывается «зеркалирование» домена.
Robots.txt – это неотъемлемая часть сайта, его наличие обязательно.
Понравилась статья? Поделиться с друзьями:
Мои услуги
Мои кейсы
Кейс по SEO-продвижению сайта туристического агентства
Кейс по SEO-продвижению сайта РосИнтеграции
Продвижение московского сайта «Речного агентства»
Продвижение интернет-магазина кальянов
Отзывы Моих клиентов
Отзыв от владельца сети отелей и туристического портала
Отзыв от клиента «ВЕСЕЛЫЙ ТУРИСТ»
Отзыв от клиента — Московское «Речное Агентство»
Отзыв от партнера «Бизнес Код»