Robots.txt
Robots.txt — это текстовый файл, который используется для указания поисковым роботам какие части веб сайта необходимо посещать, а какие игнорировать. Этот файл обычно располагается в корневой директории сайта, например http://example.com/robots.txt. Файл содержит инструкции для поисковых роботов в формате, понятном для человека. Например, вы можете указать поисковым роботам, чтобы они игнорировали определенную директорию, или даже все…
Читать дальше


















