Как управлять поисковым роботом в границах сайта
Данная статья будет полезна для мастеров, которые только начинают заниматься seo оптимизацией своих сайтов.
Общеизвестно, что время от времени поисковые роботы анализируют сайты той или иной тематики с целью обнаружения новых материалов и каких-либо изменений в уже опубликованных статьях.
В итоге такого анализа, проведенного поисковыми роботами, автоматически корректируются и обновляются все базы данных поисковых систем. Если владелец сайта захочет подкорректировать действия поисковых роботов, он сможет сделать это с помощью предназначенных для этой цели файлов и тегов.
Как осуществляется управление
Смысл манипулирования поисковым роботом сводится к тому, чтобы разрешать или запрещать индексирование различных составляющих вашего сайта.
В число таких элементов входят:
- блоки контекстной рекламы;
- совокупность внешних ссылок;
- отдельные выдержки из текста;
- те или иные рубрики;
- вновь написанные статьи;
- шаблоны, стандартные формы и их компоненты, которые можно часто встретить на других сайтах.
Загадочный «robots.txt»
Именно файл «robots.txt», который можно создать с помощью любого текстового редактора, является инструментом управления роботами любой поисковой системы. Его помещают в корневую директорию сайта. Именно здесь его находят поисковые роботы и далее следуют его командам.
Если «robots.txt» пуст или вообще отсутствует на сайте, робот индексирует все страницы и компоненты сайта без исключения. Такая индексация захламляет поисковые системы стандартными программами, рекламными ссылками, различными каталогами и прочее, прочее, прочее.
Из чего состоит файл «robots.txt»
Файл создается специально для поисковых систем, поэтому в первой его строке указываются те системы, рейтинг в которых важен для владельца сайта: User-agent: *
User-agent – обозначение робота поисковой системы, а звездочка означает, что запись относится ко всем системам. Можно указать конкретную систему: User-agent: Googlebot. В данном случае указан робот поиска в интернете системы Google (в этой системе используются несколько роботов).
Чтобы запретить индексирование какого-то элемента сайта, нужно указать команду Disallow. Разрешить – allow. Далее указывается адрес нужного раздела, каталога либо страницы. Например:
User-agent: *
Disallow: /folder/
…
User-agent: Googlebot
Disallow: /katalog/
Важно! Если речь идет о каталоге или папке в целом, то используют две косые черты — /…/, отдельные файлы имеют расширение: .doc, .xls, .ppt, .gif, .avi и так далее.
Использование одной косой черты означает блокирование всего сайта: Disallow: /
Прямое указание на карту сайта — Sitemap: /sitemap.xml – сократит время индексации поисковиками новых статей или любых других опубликованных материалов.
Какие части сайта лучше закрывать от индексации
Аксиома: исключительно полезный контент должен попадать в индекс поисковых систем. Поэтому от индексации лучше закрывать:
- RSS ленты, потому что они фактически дублируют опубликованный на сайте контент, однако, с другой стороны, RSS ленты очень нравятся Гуглу.
- Личные данные пользователей, так как они, чаще всего, никакой полезной информации не содержат.
- Повторяющийся контент, как правило, это сортировки по каким-либо параметрам. Убрав неинформативные страницы, владелец сайта оптимизирует его наполнение, упростит индексацию, а, следовательно, увеличит узнаваемость и популярность сайта.
- Различные технические элементы: счетчики, скрипты.
Теги noindex, nofollow
Тег noindex придуман и распознается только Яндексом и предназначен для того, чтобы исключить из индексации часть текста, расположенную между .
Тег nofollow запрещает передачу веса по ссылке. С помощью этого тега можно закрыть ссылку от индексации в тех случаях, если автор сайта:
- ссылается на ресурс, к которому поисковые системы относятся с недоверием;
- не хочет передавать вес на ресурсы сомнительного качества;
- хочет сократить количество ссылок со страницы.
Применение вышеперечисленных способов управления поисковыми роботами на сайте обязательно поможет оптимизировать ваш ресурс.
Чтобы получить бесплатную консультацию от нашей компании по продвижению именно вашего сайта — заполните форму, расположенную ниже.
Основатель веб-студии «Про Интернет-Маркетинг». Опыт в SEO с 2011 года, Работал в должностях: SEO-специалист, руководитель SEO-отдела, инвестиционный консультант, интернет-маркетолог, руководитель отдела интернет-маркетинга, маркетолог, веб-аналитик.
