Почему страницы сайта не индексируются в Яндексе и как это исправить

Сначала уточните: проблема с сайтом или с отдельными страницами

Это разные ситуации и разная диагностика.

Если сайт новый и ещё ни разу не был в Вебмастере, начните с добавления сайта в Вебмастер: без него большую часть причин не увидеть.

Как проверить конкретную страницу

1. Проверьте адрес в Вебмастере. В разделе индексирования есть инструмент проверки статуса адреса. Вставьте адрес страницы — Вебмастер покажет, когда робот её обходил, какой получил ответ сервера и находится ли она в поиске. Если не находится, будет указана причина.
2. Посмотрите список исключённых страниц. В отчёте о страницах в поиске есть вкладка с исключёнными страницами. По справке Вебмастера там видна причина исключения для каждого адреса. Отфильтруйте по нужному разделу.
3. Проверьте ответ сервера. Инструмент проверки ответа сервера покажет код: должно быть 200 OK. Код 404, 500 или 301 объясняет, почему страницы нет.
4. Проверьте robots.txt. Инструмент анализа robots.txt в Вебмастере покажет, разрешён ли конкретный адрес для робота.
5. Откройте код страницы. Найдите метатег robots: если там noindex, страница сама просит её не индексировать. Посмотрите и тег canonical: если он указывает на другую страницу, Яндекс может индексировать ту, другую.
6. Проверьте Sitemap. Есть ли адрес в файле Sitemap, и нет ли в файле ошибок.

После этих шести шагов причина находится в большинстве случаев. Дальше — что делать с каждой.

Статусы исключения и что с ними делать

Технические причины из верхней части таблицы встречаются после запуска сайта, смены CMS и редизайна. Например, на время разработки разработчик закрыл сайт целиком в robots.txt или поставил noindex во всех шаблонах — и забыл убрать. Про правильную настройку robots.txt и Sitemap подробно — в статье robots.txt и sitemap.xml.

Важная деталь из справки о метатегах: если страница запрещена в robots.txt, директивы в метатегах на ней не действуют — робот их просто не видит. Поэтому, если вы хотите убрать страницу из индекса через noindex, её нельзя одновременно закрывать в robots.txt.

Малоценные и маловостребованные страницы

Это самая частая и самая неприятная причина для сайтов услуг. Технически со страницей всё в порядке, но в поиск она не попадает.

По справке Вебмастера различают два случая:

• Малоценная страница — дубль или страница, на которой робот не видит содержимого. Например, весь текст выведен картинкой или подгружается скриптом, который робот не выполнил.
• Маловостребованная страница — с ней всё в порядке, но алгоритм не видит пользователей и запросов, на которые она могла бы ответить.

Яндекс подчёркивает, что это автоматическая регулярная проверка: решение может измениться, если страница изменится или изменится спрос.

Типичные примеры с сайтов услуг:

• десять страниц «Ремонт в районе X» с одинаковым текстом, где отличается только название района;
• страница услуги из одного абзаца и кнопки;
• страница тега в блоге, на которой только список ссылок;
• карточка товара без описания, у которой есть десяток почти одинаковых соседей;
• страница под услугу, которую никто не ищет в такой формулировке.

Что делать:

1. Проверьте спрос. Ищут ли вообще то, чему посвящена страница? Посмотрите формулировку в Wordstat. Если спроса нет, страница может быть полезна людям на сайте, но в поиск она не попадёт — и это нормально.
2. Проверьте, видит ли робот текст. Откройте сохранённую копию или проверьте страницу в Вебмастере. Если основное содержание — картинки или скрипт, выведите его обычным текстом.
3. Дополните содержание. Цена, сроки, что входит в услугу, фото работ, ответы на вопросы. Страница должна отвечать на запрос лучше, чем страницы конкурентов из топа.
4. Объедините близнецов. Пять одинаковых страниц лучше слить в одну сильную с редиректами со старых адресов.
5. Отправьте на переобход после изменений и подождите две-три недели.

Если на сайте десятки маловостребованных страниц и непонятно, какие дорабатывать, а какие объединять, это работа на одну-две встречи со специалистом. Её стоит сделать до того, как писать новые тексты.

Дубли: когда Яндекс выбирает не ту страницу

Если на сайте две страницы с одинаковым содержанием, Яндекс оставит в поиске одну из них. Беда в том, что выбрать он может не ту: например, адрес с параметром из рекламы вместо чистого адреса или страницу для печати вместо основной.

Где берутся дубли на сайтах услуг: адреса со слешем и без, с www и без, UTM-метки, параметры сортировки, страницы пагинации, копии услуг в разных разделах. Способы убрать их — 301-редирект, тег canonical, директива Clean-param в robots.txt — подробно разобраны в отдельной статье про дубли страниц. Здесь важно одно: если нужная страница исключена как дубль, сначала решите, какой адрес главный, и сделайте так, чтобы все ссылки, Sitemap и canonical указывали на него.

Как ускорить индексацию новых страниц

Робот находит новые страницы тремя путями: по ссылкам с уже известных страниц, из Sitemap и из ваших прямых сигналов. Используйте все три.

1. Внутренние ссылки. Поставьте ссылку на новую страницу из меню, раздела или тематических статей. Страница-сирота, на которую никто не ссылается, индексируется хуже всего. Подробнее — в статье про внутреннюю перелинковку.
2. Sitemap. Новая страница должна появиться в файле Sitemap автоматически. Если CMS этого не делает, это повод её настроить.
3. Переобход. В Вебмастере есть инструмент переобхода страниц. По справке число адресов в день ограничено, лимит обновляется ежедневно. Обход занимает не больше трёх дней, обычно быстрее. Не отправляйте туда robots.txt, Sitemap и фиды — у них свои механизмы.
4. IndexNow. Если страниц много и они часто меняются, сайт может сам сообщать поисковику об изменениях через протокол IndexNow. Это делается плагином CMS или разработчиком.

Сроки индексации: чего ждать

Эти сроки — не гарантия. Яндекс прямо пишет, что обход не означает обязательного попадания в поиск. Если через три-четыре недели страница так и не появилась, а технических причин нет, — скорее всего, дело в содержании или в дублях.

Условный пример: почему не индексируются новые услуги

Условный пример, не кейс студии. Компания по монтажу натяжных потолков в Самаре добавила 14 новых страниц: по типам потолков и по районам города. Через месяц в поиске 4 из 14.

Что показала проверка:

• 6 страниц по районам исключены как маловостребованные: текст на них одинаковый, отличается только название района;
• 3 страницы по типам потолков не обходились роботом: на них нет ни одной ссылки, а в Sitemap их забыли добавить, потому что CMS формирует файл вручную;
• 1 страница отдаёт код 301: при публикации ей поменяли адрес, а старый остался в меню.

Решение: 6 районных страниц объединили в одну страницу «Районы выезда» с картой и ценой выезда, на старых адресах поставили редиректы. Типы потолков добавили в меню и Sitemap, отправили на переобход. Ссылку в меню поправили.

В итоге из 14 страниц осталось 9 нужных, и все 9 через три недели были в поиске. Меньше страниц — не потеря: каждая из пяти удалённых страниц всё равно не получала бы показов.

Каким исключённым страницам там и место

Не все исключённые страницы нужно возвращать. Нормально, если вне поиска:

• страницы корзины, личного кабинета, оформления заказа;
• результаты поиска по сайту;
• страницы фильтров и сортировок, если для них нет отдельного спроса;
• версии страниц с UTM-метками и другими параметрами;
• технические страницы CMS, страницы авторизации;
• старые адреса, которые перенаправляют на новые.

Если в исключённых много таких адресов, это говорит о правильной настройке, а не о проблеме. Тревожиться стоит, когда в списке оказываются услуги, категории и статьи, ради которых сайт существует.

Чек-лист: что проверить, если страница не в поиске

1. Страница отдаёт код 200 OK?
2. Адрес не запрещён в robots.txt?
3. На странице нет метатега noindex и заголовка X-Robots-Tag с запретом?
4. Тег canonical указывает на эту же страницу?
5. Страница есть в Sitemap и на неё есть внутренние ссылки?
6. На странице есть текст, который видит робот, а не только картинки и скрипты?
7. Содержание отличается от других страниц сайта?
8. По теме страницы есть поисковый спрос?
9. В Вебмастере нет нарушений?
10. Прошло больше двух недель после обхода?

Если на все вопросы ответ «да», а страницы нет, — нужен разбор вживую. Оставьте контакты: посмотрим Вебмастер и скажем, почему страницы не попадают в поиск.