Robots.txt – это текстовый файл, в нем указывается информация для поисковых роботов. Он должен находиться в корневой папке самого сайта. В этом документе указываются страницы, закрытые от индексации. В нем также прописывается «зеркалирование» домена.
Robots.txt – это неотъемлемая часть сайта, его наличие обязательно.
