Индексация сайта: как проверить и ускорить попадание страниц в поиск

Что такое индексация сайта простыми словами

Представьте библиотеку с каталогом. Книга может стоять на полке, но если её нет в каталоге, библиотекарь её не найдёт. Поисковик работает похоже, в три шага:

1. Обход. Робот заходит на страницу по ссылке или из Sitemap и скачивает её код.
2. Индексирование. Поисковик разбирает страницу: текст, заголовки, ссылки, картинки — и решает, добавлять ли её в базу. Дубли, пустые и малоценные страницы туда могут не попасть.
3. Ранжирование. Когда человек вводит запрос, поисковик выбирает из базы подходящие страницы и сортирует их.

Индексация — это второй шаг. Страница может быть обойдена, но не проиндексирована. И может быть проиндексирована, но стоять на 80-й позиции. Это три разные проблемы с разными решениями, и путать их — самая частая ошибка владельцев, которые приходят к нам с вопросом «почему нас нет в Яндексе».

Как проверить индексацию сайта в Яндексе

Быстрый способ: оператор site:

Откройте Яндекс и введите site:вашсайт.ru без пробела после двоеточия. Поиск покажет страницы сайта, которые есть в индексе. Для конкретной страницы есть оператор url: с полным адресом. Синтаксис описан в справке о языке запросов Яндекса.

У этого способа есть ограничения. Число результатов в выдаче — приблизительное, а для большого сайта поиск покажет не все страницы. Для быстрой оценки «есть сайт в поиске или нет» хватает, для точных цифр — нет.

Точный способ: Яндекс Вебмастер

Если сайт ещё не добавлен, начните с этого: пошагово разобрали в статье как добавить сайт в Яндекс Вебмастер. Дальше вам нужны три места в разделе индексирования:

Мониторинг важных страниц удобен тем, что Вебмастер сам предупредит, если ключевая страница выпала из поиска. По справке данные о ней собираются за несколько минут, иногда за несколько часов.

Индексация в Google

В Google то же самое делается через Search Console: инструмент проверки URL показывает, есть ли адрес в индексе Google и почему его там нет (справка Google). Для малого бизнеса в России главный — Яндекс, но заглянуть в Google стоит: если страница не индексируется в обоих поисковиках, проблема почти наверняка на стороне сайта. Настройка кабинета занимает минут двадцать: подтверждаете права на сайт и добавляете Sitemap.

Если в Вебмастере видны исключённые страницы, а причины непонятны, или в site: подозрительно мало адресов, — посмотрим ваш сайт вместе.

Как поисковик находит новые страницы

Робот узнаёт о страницах из четырёх источников. Чем больше из них вы используете, тем быстрее индексация.

• Ссылки. Робот переходит по ссылкам с уже известных страниц. Страница, на которую не ведёт ни одна ссылка с сайта, индексируется хуже всего. Об этом подробно — в статье про внутреннюю перелинковку.
• Файл Sitemap. Список адресов сайта для робота. По справке Яндекса в одном файле до 50 000 адресов и до 50 МБ, обрабатывается он обычно в течение двух недель после добавления в Вебмастер. Яндекс отдельно оговаривает: попадание адреса в Sitemap не гарантирует, что страница окажется в поиске.
• Переобход. Инструмент Вебмастера, куда вы вручную отправляете адреса. Число адресов в день ограничено, лимит обновляется ежедневно.
• IndexNow и обход по счётчикам. Протокол IndexNow позволяет сайту самому сообщать поисковику об изменениях. Обход по счётчикам включается в Вебмастере, если сайт связан с Метрикой: робот узнаёт о страницах, на которых стоит счётчик.

Мы на своих проектах первым делом проверяем две вещи: есть ли новая страница в меню или в разделе и попала ли она в Sitemap. В половине случаев «Яндекс не видит страницу» объясняется тем, что на неё нельзя попасть ни с одной другой страницы сайта.

Сайт закрыт от индексации: как проверить и чем это опасно

«Сайт закрыт от индексации» — значит, владелец или разработчик запретил роботу индексировать сайт целиком или частично. Иногда это делают специально, например для тестовой копии. Иногда запрет забывают снять после запуска, и сайт месяцами живёт без поиска.

Запрет ставится тремя способами:

Как правильно настроить robots.txt и Sitemap, чтобы не закрыть лишнее, разобрали в отдельной статье про robots.txt и sitemap.xml.

Обратная ситуация тоже бывает: в индекс попадает то, чему там не место. Тестовый поддомен, страницы корзины, результаты поиска по сайту, адреса с метками. Они конкурируют с основными страницами и размывают сайт в глазах поисковика.

Если оказалось, что сайт полгода жил с запретом, не паникуйте: после снятия запрета индексация обычно восстанавливается, но не за один день. Снимите запрет, отправьте главные страницы на переобход и следите за отчётом «Страницы в поиске».

Сколько времени занимает индексация сайта

Сроков, обязательных для поисковика, нет. Есть ориентиры из справки Яндекса.

Последняя строка — не из справки, а из практики. Небольшой сайт услуг с нормальной структурой обычно появляется в поиске в течение пары недель после добавления в Вебмастер. Если прошёл месяц, а в поиске одна главная, — пора разбираться.

Условный пример: сайт ремонтной компании

Пример условный, не кейс студии. Компания по ремонту квартир в Самаре запустила сайт на 25 страниц: главная, 12 услуг, 8 статей, контакты, цены, отзывы, политика.

Через месяц в site: видно 9 страниц. В Вебмастере картина такая:

• 6 страниц услуг не обходились вовсе — на них не было ссылок из меню, только кнопки внутри одного блока на главной, сделанные скриптом;
• 4 статьи исключены как дубли — у всех был одинаковый title «Блог»;
• 6 страниц в индексе, но Яндекс пока не показывает их в поиске как малоценные.

Исправления: страницы услуг вынесли в меню и в Sitemap, отправили на переобход 12 адресов, у статей прописали уникальные title. Через три недели в поиске 21 страница из 25. Заметьте: ни одна из причин не была «Яндекс плохо относится к новым сайтам».

Как ускорить индексацию сайта: пошагово

1. Добавьте сайт в Яндекс Вебмастер и подтвердите права. Без этого вы не увидите ни причин исключения, ни статистики обхода.
2. Проверьте, что сайт не закрыт. robots.txt, метатег noindex, галочка в конструкторе.
3. Сделайте Sitemap и добавьте его в Вебмастер. На конструкторах он обычно создаётся автоматически — убедитесь, что в нём есть все нужные страницы.
4. Поставьте ссылки на каждую важную страницу. Меню, раздел услуг, связанные статьи. Страниц-сирот быть не должно.
5. Отправьте новые адреса на переобход. Только важные: услуги, цены, новые разделы. Robots.txt, Sitemap и фиды туда не отправляют — у них свои механизмы.
6. Свяжите Вебмастер с Метрикой и включите обход по счётчикам.
7. Дайте страницам содержание. Страница из заголовка и кнопки — кандидат в малоценные. Нужен ответ на вопрос клиента: что, сколько стоит, как заказать.
8. Через 2–3 недели проверьте «Страницы в поиске» и разберите исключённые адреса по причинам.

На этом шаге большинство проблем решается. Если нет — дело глубже, в дублях или качестве страниц.

Почему страницы есть в обходе, но нет в поиске

Это отдельная большая тема, и мы разобрали её в статье почему страницы сайта не индексируются: там все статусы исключения и что делать с каждым. Здесь — короткая выжимка.

• Дубли. Две страницы с одинаковым содержимым или адреса с параметрами. Яндекс оставляет одну, вторую исключает.
• Малоценные и маловостребованные страницы. Пустые или дублирующие другие сайты. Подробно — в статье про малоценные страницы.
• Ошибки сервера и редиректы. Страница отдаёт 404, 500 или перенаправляет на другую.
• Канонический адрес указывает на другую страницу. Робот послушно индексирует ту, на которую указали.

Если в поиске нет вообще ничего, даже главной, — это другая ситуация, и для неё есть разбор сайта нет в поиске Яндекса.

Какие страницы не нужно индексировать

Полная индексация — не цель. Цель — чтобы в поиске были страницы, которые приводят клиентов, и не было мусора.

Закрывать стоит:

• служебные страницы: корзина, личный кабинет, страница «спасибо за заявку»;
• результаты поиска по сайту и фильтры с параметрами, если они не несут отдельного смысла;
• тестовые копии и поддомены разработки;
• технические дубли: версии для печати, адреса с метками рекламы.

Индексировать нужно:

• каждую услугу на отдельной странице;
• страницы с ценами, если они отвечают на запрос «цена»;
• статьи, которые отвечают на вопросы клиентов;
• контакты и страницы филиалов, если у вас несколько адресов.

Хороший признак здоровья сайта — когда число страниц в поиске примерно совпадает с числом полезных страниц на сайте. Если в поиске в три раза больше, в индекс лезет мусор. Если в три раза меньше, поисковик часть сайта не принимает.

Что делать, если новых страниц нет в поиске неделями

Пройдите по порядку:

1. Проверьте адрес в Вебмастере. Обходил ли робот страницу и что увидел?
2. Если не обходил — ведут ли на страницу ссылки, есть ли она в Sitemap, не закрыта ли в robots.txt?
3. Если обходил, но исключил — какая причина указана? Дальше действуйте по ней.
4. Если обходил и не исключил, но в поиске нет — подождите две недели после обхода. Это нормальный срок обновления.
5. Если прошло больше месяца, а страница так и не в поиске, — сравните её с соседними страницами конкурентов в выдаче. Часто разница в объёме и полезности содержания.

Когда индексация в порядке, следующий вопрос — почему страницы есть в поиске, но стоят низко. Это уже про продвижение, а не про индексацию. Если хотите, проверим оба вопроса на вашем сайте и скажем, что мешает ему расти.