Быстрая индексация сайта в поисковых системах

Индексация сайта в поисковых системах первейшее условие получение позиций и трафика, ведь как бы ваш сайт не был проработан, улучшен или продвинут, все это бесполезно, если он не попадёт в индекс поисковых систем. Крайне желательно при этом, чтобы индексация была быстрой и особенно это важно для целого ряда сайтов, например новостных сайтов. Для интернет-магазинов это также играет большую роль, но проблема заключается в том, что многие страницы могут просто не индексироваться. Так как же сделать индексацию не только возможной, но и быстрой?

Индексация сайта: основные проблемы

Прежде чем переходить к комплексным проблемам, рассмотрим основные причины отсутствия индексации:

• правила запрещают индексировать сайт. В основном, эти правила прописываются в robots.txt, но встречаются и в других местах;
• сайт имеет наложенный фильтр «Песочница» за слишком молодой возраст (до 6 месяцев);
• сайт не зарегистрирован в Яндекс.Вебмастере или GoogleSearchConsole;
• отсутствует файл sitemap.xlm или html карта сайта;
• сайт дублируется: например не настроен редирект с www.site.ru на site.ru или с http на https;
• некачественный домен, наложенный фильтр или заброшенный надолго сайт будут значительно замедлять индексацию;
• работоспособность сайта.

Правила запрещают индексировать сайт

Правила, прописанные в robots.txt, могут закрыть сайт от индексации. Для решения данной проблемы, достаточно изменить файл robots.txt с указанием верных правил.

Пример содержимого готового файла robots.txt:

# Пример файла robots.txt для настройки гипотетического сайта https://site.ru
User-agent: *
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: */?s=
Disallow: *sort=
Disallow: *view=
Disallow: *utm=
Crawl-Delay: 5

User-agent: GoogleBot
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: */?s=
Disallow: *sort=
Disallow: *view=
Disallow: *utm=
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif

User-agent: Yandex
Disallow: /admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: */?s=
Disallow: *sort=
Disallow: *view=
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif
Clean-Param: utm_source&utm_medium&utm_campaign
Crawl-Delay: 0.5

Sitemap: https://site.ru/sitemap.xml
Host: https://site.ru

Чтобы этот файл начал действовать, достаточно скопировать его в корневую папку сайта с заменой предыдущего.

На WordPresse также есть отдельный запрет к индексации сайта, который можно не заметить:

Некоторые плагины также могут иметь в настройках закрытие страниц, категорий или меток от индексирования. Это плагины типа: All in One SEO или Yoast SEO.

Сайт имеет наложенный фильтр «Песочница»

«Песочница» – это фильтр, накладываемый на молодые сайты возрастом до 6-9 месяцев. Он предназначен для отсеивания спамных сайтов, которые раньше создавались в большом количестве, наполнялись некачественным материалом и заполняли топы выдачи путем сомнительных манипуляций.

Отследить этот фильтр нигде нельзя, но его влияние будет заметно. Страницы такого сайта не смогут занять высокие позиции в поисковой выдаче. Есть три способа избежать проблем с этим фильтром:

• подождать отведенное время до снятия фильтра;
• купить старый возрастной домен;
• подклеить старый домен к новому.

Если у вас нет привязки к времени, то можете просто подождать. Это самый безопасный и «белый» вариант, который в перспективе на 5-10 лет может быть лучшим.

Покупка возрастного домена с уже имеющейся историей имеет как преимущества, так и недостатки. Преимуществом является отсутствие фильтра и потенциальная хорошая репутация домена. Но есть много нюансов, связанных с доменами, которые лежали слишком долго или имели ранее проблемы с репутацией. Например, если сайт продавал ссылки или занимался серыми методами продвижения, то далее могут возникнуть проблемы. К этому варианту следует подходить осторожно.

Далее идет способ «состаривания» сайта, который заключается в покупке более возрастного домена с последующей подклейкой его к новому. При правильном выборе домена можно не только состарить сайт, но и получить прибавку к тематичности и авторитету. Но неправильный выбор домена может негативно сказаться на репутацию нового домена.

Первый вариант подойдет для новичков. Остальные для тех, кто имеет более продвинутый уровень.

Сайт не зарегистрирован в Яндекс.Вебмастере и GoogleSearchConsole

Тут все просто – если у вас есть аккаунты с подтвержденными доступами к сайту это хорошо. Если нет, то следует зарегистрироваться и добавить сайты путем внедрения кода в файлы внутри корневой папки.

Отсутствует sitemap.xlm или html карта сайта

sitemap.xlm – это файл в котором прописаны все страницы сайта согласно иерархии. Это очень важно для поисковых роботов, так как через этот файл они просматривают все страницы сайта в поисках изменения, удаления или добавления страниц. При отсутствии этого файла может возникнуть ряд orphan-страниц, то есть страниц, которые не имеют связей с главной страницей ни напрямую, ни через внутренние страницы. Это значит, что вес сайта такой странице передаваться не будет, а сама она не будет индексироваться, так как поисковой бот её не найдет.

Низкокачественный сайт, наложенный фильтр или заброшенный сайт

Низкокачественный сайт – это сайт с малополезным, генерированным, ворованным или некачественным контентом. Сайт может быть признан некачественным из-за плохой структуры, дизайна или технических ошибок.

Наложенный фильтр практически полностью останавливает индексирование страниц в поисковой выдаче. Особенно, если это бан. Каждый фильтр имеет свои причины и способы снятия. Например фильтр «МПК» накладывается за агрессивную рекламу и малополезный контент, а снимается путем доработки контента или уменьшения рекламы. Или «Минусинск» – накладывается за использование ссылок для продвижения сайта. Убирается путем удаления ссылок. Фильтр может быть убран в течении месяца, а может остаться навсегда. Поэтому следует внимательно относиться к избранным способам продвижения вашего ресурса.

Заброшенный сайт будет намного дольше индексировать новые страницы, так как логика поисковых ботов такова, что они реже заходят на те сайты, которые не обновляются или обновляются редко. Если бот не видит изменений – интервал его посещений сайта увеличивается. Поэтому заброшенные сайты могут испытывать трудности с восстановлением трафика и индексацией.

Работоспособность сайта

Последним вариантом из простых является отсутствие стабильной работоспособности сайта. Проверьте ваш сайт не только из панели администратора, но из другого браузера или мобильного телефона. Слишком долгая загрузка (больше 10 секунд) считается для поисковых ботов причиной прерывания попытки сканировать страницу.

Как ускорить индексацию сайта?

Разобравшись с основными проблемами, мы можем перейти к более комплексным:

• ограниченный краулинговый бюджет
• слишком большая вложенность страниц
• большое количество страниц при отсутствии перелинковки
• неактуальный материал
• отсутствие авторитета для YMYL/E-A-T тематик

Ограниченный краулинговый бюджет

У поисковых ботов есть определенное количество страниц, которое они просматривают. Чем больше страниц на вашем сайте, тем больше нужно ботам времени, чтобы их обойти отправить данные страницы на оценку для индексации. Если ваш сайт медленный или у него плохая структура – боты будут не находить многие страницы.

Слишком большая вложенность страниц

Если страницы имеют большой уровень вложенности – это негативно может сказаться на скорость индексации. Уровень вложенности это количество знаков / на которые страница удалена от главной. Например:

https://site.ru/page – первый уровень вложенности
https://site.ru/category/page – второй уровень вложенности
https://site.ru/category/subcategory/page – третий уровень вложенности
https://site.ru/category/subcategory/subsubcategory/page – четвёртый уровень вложенности

Крайне не рекомендуется иметь более чем третий уровень вложенности, так как поисковой бот может попросту не дойти до последней страницы в уровнях вложенности. Например, поисковой бот просматривает 4 страницы. Первой страницей будет главная, второй страница категории, а третьей страница подкатегории. Четвертая будет подподкатегория. Но саму конечную страницу он не будет просматривать. Индексация будет проведена только на страницы категории, на которых и так было достаточно поисковых ботов.

Пример неправильного уровня вложенности: сайторужия.ру/холодноеоружие/мечи/сабли/сабля1.html будет индексироваться плохо, хотя логика в делении присутствует.

Другой неправильный пример: добавление даты. сайтюру/01/01/2022/статья.html будет также индексироваться плохо.

Правильный пример: сайторужия.ру/сабли/сабля1.html.

Большое количество страниц при отсутствии перелинковки

Перелинковка создана не только для того, чтобы пользователь мог перейти на другую страницу, но и для того, чтобы связи между страницами помогали поисковым ботам быстрее находить другие страницы. Большое количество страниц (больше 5000) будут медленно индексироваться, если отсутствует перелинковка. Ручная перелинковка нецелесообразна, поэтому добавляют сквозные блоки, то есть элементы, который присутствуют на всех конечных страницах сайта. Например, блок «Похожие товары» или «Случайные товары» или «Похожие записи» предназначен как для посетителей, так и для поискового бота. В таких блоках каждый раз формируется набор страниц на который поисковой бот перейдет. Следующий поисковой бот перейдет уже на другие страницы из этого же блока и таким образом увеличивается охват тех страниц, которые боты обойдут быстро.

Соответственно, необходимо создать такие блоки в размере 1-2 штуки на страницу. Больше нецелесообразно и будет создавать негативное влияние на структуру и дизайн при неправильном оформлении.

Неактуальный материал

Индексация также зависит от актуальности, качества и периодичности обновления материала. Поисковые боты могут и найти вашу страницу, но если на ней предоставлен неактуальный материал – она просто не попадет в индекс. Написание качественного и актуального материала решает эту проблему.

Отсутствие авторитета для E-A-T/YMYL факторов

Многие тематики требуют авторитета для индексирования. За это отвечают YMYL (your-money-your-life) и E-A-T (Expertise-Authority-Trustworthiness) факторы, которые не позволяют попасть в поисковую выдачу сайтам, которые не проходят по критерию авторитета.

Например, медицинские, финансовые и юридические сайты наиболее требовательны к факторам авторитета. Хотя список тематик, который так или иначе требовательны к данным факторам намного шире. С этим списком и способом решения проблемы вы можете ознакомиться в статье посвященной влиянию авторства на авторитет сайта.

Быстрая индексация страниц: итоги

Чтобы решить остальные проблемы с индексацией необходимо понять принцип самой индексации. Поисковой бот сообщает поисковой системе о наличии страницы. Эти данные обрабатываются алгоритмами поисковой системы по огромному количеству критериев поэтапно. Сначала идут самые базовые факторы: наличие релевантности или ключевого слова в любой словоформе. По мере прохождения испытаний, алгоритмы становятся сложнее и сложнее. В зависимости от того, какому количеству алгоритмов и в какой степени соответствует страница – настолько она и будет высоко ранжироваться.

Индексация имеет в основе отправление данных поискового бота со страницы в базу данных поисковой системы. Если у бота есть какие-то препятствия в виде правил или недоступности страницы – он не сможет отправить данные. Вы можете направить бота в ручную на страницу через Яндекс.Вебмастер или GoogleSearchConsole, но лучше настроить сайт так, чтобы поисковые боты сами доходили до всех страниц. Заботьтесь о поисковых ботах и они добавят в индекс ваш сайт.