Внутренняя оптимизация сайта — файл robots.txt
Файл robots.txt — это текстовый файл, расположенный в корне сайта и предназначенный для управления поисковыми роботами при индексации сайта. Через настройки файл robots.txt можно разрешить или запретить поисковым роботам двигаться по сайту и индексировать его содержимое. Хотя для настройки robots.txt и нужны некоторые знания, не стоит пренебрегать его использованием. Зачем нужен robots.txt?…
Читать дальше