Сайта нет в поиске Яндекса: почему не находится и как это проверить

Сначала разберитесь: сайта нет совсем или он просто низко

Фраза «нас нет в Яндексе» означает одно из трёх:

1. Сайта нет в индексе совсем. Поисковик о нём не знает или не включил ни одной страницы.
2. В индексе есть часть страниц. Например, главная находится, а страницы услуг — нет.
3. Сайт в индексе, но не находится по нужным запросам. По названию компании находится, по «ремонт холодильников Казань» — нет.

Первые два случая — про индексацию: здесь ищем технические причины. Третий — про ранжирование и конкуренцию: здесь техника обычно в порядке, а работать нужно с содержимым и структурой. Если сайт новый и вы его только добавили, начните с инструкции как добавить сайт в Яндекс Вебмастер — эта статья её продолжение, для случаев, когда всё сделано, а результата нет.

Быстрая проверка за 5 минут без Вебмастера

Откройте Яндекс и введите запрос site:вашсайт.ru — без пробела после двоеточия. Поиск покажет страницы этого сайта, которые есть в индексе. Для проверки конкретной страницы используют оператор url: с её адресом. Справка Яндекса о поиске по сайтам отдельно предупреждает: в операторах указывают главный адрес сайта.

Что может показать проверка:

• Ничего не найдено. Сайт не в индексе, либо вы проверяете не тот адрес (с www вместо без www, http вместо https).
• Найдено несколько страниц, но не те. Часть сайта исключена — идём в Вебмастер.
• Найдены все нужные страницы. Индексация в порядке, проблема в ранжировании.

Эта проверка — ориентир, а не точный диагноз. Количество результатов по site: приблизительное. Точные данные — только в Вебмастере.

Алгоритм диагностики в Вебмастере: 8 шагов

Если прав на сайт в Вебмастере нет, сначала подтвердите их — без этого данные недоступны. Дальше идите по порядку: каждый шаг отсекает группу причин.

1. «Диагностика сайта». Посмотрите критичные ошибки: главная страница возвращает ошибку, сайт закрыт в robots.txt, проблемы с DNS или SSL. Если что-то есть — это почти наверняка ответ.
2. «Безопасность и нарушения». Если здесь есть сообщение, сайт или его разделы ограничены в поиске за нарушения. Остальные шаги вторичны.
3. «Страницы в поиске» → исключённые страницы. Список страниц, которые робот знает, но не включил в поиск, с причиной для каждой.
4. «Проверить статус URL». Введите адрес конкретной страницы. По описанию в блоге Вебмастера, инструмент показывает дату последней загрузки, ошибки, исключена ли страница, какая версия попала в поиск и ссылки на неё.
5. «Анализ robots.txt». Проверьте, не закрыты ли нужные страницы директивой Disallow.
6. «Проверка ответа сервера». Рабочие страницы должны отдавать 200 OK, а не 301, 404 или 5xx.
7. «Статистика обхода». Ходит ли робот на сайт вообще и с каким результатом.
8. «Файлы Sitemap». Добавлен ли файл, обработан ли он, нет ли ошибок.

Восемь шагов занимают около получаса. По нашему опыту, чаще всего ответ находится уже на первых трёх.

Симптом → причина → что делать

Причины исключения в таблице взяты из справки Вебмастера об исключённых страницах. Там же указано: если страница исключена из-за изменений на сайте, после их исправления она может вернуться в поиск в течение двух недель после того, как робот это заметит.

Если на этом этапе причина уже понятна, но непонятно, как её исправить на вашей платформе, — это тот случай, когда проще показать сайт специалисту.

Шесть причин подробно

Причина 1. Робот ещё не обошёл сайт

Новый сайт поисковик не находит мгновенно. По справке Яндекса после обхода роботом страницы могут появиться в поиске в течение двух недель — но это не гарантировано. Если робот узнаёт о сайте только по ссылкам с других ресурсов, это может занять больше времени.

Что ускоряет:

• файл Sitemap со всеми страницами, добавленный в Вебмастер;
• привязка счётчика Метрики и включённый «Обход по счетчикам»;
• отправка ключевых страниц на переобход — по справке робот посещает их в течение трёх дней;
• протокол IndexNow, если страниц много и они часто обновляются.

Если прошло больше месяца, а в «Статистике обхода» нет обращений робота, — проверьте, доступен ли сайт: не блокирует ли его защита хостинга, правильно ли настроен DNS.

Причина 2. Сайт закрыт от индексации

Самая обидная причина: сайт сделан, а запрет индексации, который ставили на время разработки, так и остался.

Где искать:

• robots.txt. Строка Disallow: / для User-agent: * или User-agent: Yandex закрывает весь сайт.
• Метатег в коде страницы. <meta name="robots" content="noindex"> в шаблоне закрывает все страницы на этом шаблоне.
• HTTP-заголовок X-Robots-Tag: noindex. Встречается реже, его видно в «Проверке ответа сервера».
• Настройки конструктора или CMS. Во многих системах есть переключатель «скрыть сайт от поисковых систем» — его включают на этапе разработки.

После исправления отправьте главные страницы на переобход, чтобы робот быстрее увидел изменения.

Причина 3. Ошибки сервера и редиректы

Страница, которая отдаёт роботу не 200 OK, а редирект или ошибку, в поиск не попадёт. По справке страницы с кодами 3xx, 4xx и 5xx исключаются.

Частые варианты:

1. Сайт временно лежал, когда пришёл робот, — ошибка 5xx.
2. Страница переехала, а редирект ведёт на главную или по цепочке из нескольких адресов.
3. Защита от ботов на хостинге блокирует робота Яндекса.
4. Закончился SSL-сертификат, и сайт по https не открывается.
5. Не продлён домен.

Проверьте ключевые адреса через «Проверку ответа сервера». Если сайт работает нормально, а робот получает ошибку, — это вопрос к хостингу.

Причина 4. Дубли, зеркала и canonical

Если один и тот же сайт открывается по адресам site.ru, www.site.ru, http://site.ru, Яндекс считает их отдельными сайтами-зеркалами и показывает в поиске только главный. Если вы проверяете не тот адрес, кажется, что сайта нет.

Похожая история с дублями внутри сайта: одна и та же страница доступна по нескольким адресам (с UTM-метками, со слешем и без, с параметрами фильтров). Яндекс оставляет в поиске одну, остальные исключает как дубли или неканонические. Опасно, когда в поиске остаётся «не та» версия, а нужная исключена.

Решение: выбрать главный адрес, настроить на него 301-й редирект, проверить атрибут rel="canonical" на страницах и добавить Clean-param для параметров в robots.txt.

Причина 5. Малоценные и маловостребованные страницы

Это не ошибка в привычном смысле. Яндекс исключает страницу, если считает, что она вряд ли будет нужна пользователям. По справке малоценная страница — та, что дублирует другие или не содержит видимого роботу содержимого; маловостребованная — та, на содержимое которой нет запросов.

Что делать:

• для малоценных — проверить, видит ли робот текст (не подгружается ли всё скриптом), объединить дубли или закрыть страницу от индексации;
• для маловостребованных — переписать страницу под реальные запросы: что люди ищут, какими словами, что хотят узнать.

Типичный пример — страница услуги из трёх строк и кнопки. Для пользователя она пустая, для Яндекса тоже. Если таких страниц на сайте много, это ещё и одна из причин, почему сайт не приносит заявки даже при хорошем трафике.

Причина 6. Нарушения и угрозы безопасности

Если сайт пропал резко и целиком, а технических ошибок нет, откройте «Оптимизация сайта» → «Безопасность и нарушения». По справке Вебмастера среди нарушений — SEO-тексты, неожиданные перенаправления, мимикрия, клоакинг, нежелательное ПО, обман пользователей, малополезный контент и имитация действий пользователей. Ограничения могут касаться всего сайта или отдельных разделов.

Порядок действий:

1. Прочитайте описание нарушения и примеры страниц.
2. Устраните причину на всём сайте, а не только на примерах.
3. Отметьте, что нарушение исправлено, опишите изменения и отправьте на проверку.

По справке проверка занимает до 30 дней. Если ограничение не сняли, следующий запрос можно отправить только через 30 дней после предыдущего. Поэтому исправлять стоит сразу полностью.

Отдельно про угрозы безопасности: если сайт взломали и на нём появился вредоносный код, Вебмастер сообщит об этом там же. Здесь нужен хостинг или разработчик — и срочно.

Пример: как выглядит диагностика на практике

Условный пример, не кейс студии. Сайт салона штор в Краснодаре перезапустили на новом конструкторе, через месяц владелец заметил, что сайт не находится даже по названию.

• Шаг 1, «Диагностика». Сообщение: «Сайт закрыт для индексирования в файле robots.txt». Конструктор по умолчанию скрывал сайт, пока шла разработка.
• Шаг 3, «Страницы в поиске». В индексе остались 4 старые страницы из 25, остальные исключены с пометкой о запрете.
• Исправление. Выключили «скрыть от поисковиков», проверили robots.txt, обновили Sitemap, отправили на переобход 20 ключевых страниц.
• Результат. Через несколько дней робот обошёл страницы, в течение двух недель они начали появляться в поиске.

На диагностику ушло 20 минут, на исправление — 10. Месяц без поискового трафика — это цена одной галочки в настройках. Если же сайт был в поиске и трафик резко просел, порядок проверки другой — см. статью упал трафик из Яндекса.

Если всё проиндексировано, а сайт всё равно не находится

Если индексация в порядке, ограничений нет, а по нужным запросам сайта нет даже в первых пяти страницах, проблема в ранжировании. Тут помогают уже другие инструменты: страница под каждую услугу и город, содержимое, которое отвечает на вопросы клиентов, указанный регион, удобство на телефоне, коммерческие факторы — цены, контакты, отзывы.

Это долгая работа, и пока она идёт, заявки обычно приносит реклама. Как совмещать каналы, мы разбирали в статье SEO или контекстная реклама.

Если не хочется разбираться в отчётах самостоятельно — оставьте контакты, посмотрим ваш сайт в Вебмастере и скажем, какая из причин ваша.