Коротко
- Дубль — не «ворованный текст», а одна страница по нескольким адресам внутри вашего сайта.
- Дубли путают поиск: в выдачу может попасть не та версия страницы, а сигналы делятся между копиями.
- Главный инструмент поиска дублей — Вебмастер: исключённые страницы со статусом «Удалено: Дубль» и уведомления в диагностике.
- 301-редирект — для лишних адресов, canonical — для нужных людям вариантов, Clean-param — для параметров.
- После исправлений Яндексу нужно время: робот должен заново обойти страницы, исключение может занять до трёх недель.
Что такое дубли и чем они мешают
Дублями Яндекс называет страницы одного сайта с одинаковым содержимым, доступные по разным адресам (справка Вебмастера о дублях). Важно: речь именно о вашем сайте. Если кто-то скопировал ваш текст к себе — это другая история, к дублям в этом смысле не относится.
Чем дубли мешают на практике:
- В поиске показывается не та страница. Яндекс сам выбирает, какой адрес из копий оставить. Это может оказаться адрес с меткой рекламы или версия без слеша, на которую не ведут ссылки.
- Сигналы делятся. Ссылки, переходы и поведение людей распределяются между несколькими адресами вместо одного.
- Робот тратит обход на мусор. На большом сайте тысячи копий с параметрами могут замедлить индексацию нужных страниц.
- Отчёты врут. В Метрике одна страница разбивается на несколько адресов, и трудно понять, что на самом деле работает.
Для сайта на 15 страниц пара дублей — не катастрофа. Для магазина с фильтрами и сортировками это бывает главной технической проблемой.
Откуда берутся дубли
Справка Яндекса приводит типичные примеры: разные адреса с одинаковым содержимым, главная по адресу / и /index.php, адрес со слешем на конце и без, лишние слеши в адресе, параметры вроде UTM-меток. На практике мы чаще всего встречаем вот что.
| Источник | Пример | Как появился |
|---|---|---|
| Слеш на конце | /uslugi/remont/ и /uslugi/remont |
Движок отдаёт обе версии без редиректа |
| www и без www | www.site.ru и site.ru |
Не настроено главное зеркало |
| http и https | http://site.ru и https://site.ru |
После перехода на https не поставили редирект |
| Индексный файл | / и /index.php, /index.html |
Особенность движка |
| Метки рекламы | /?utm_source=yandex&utm_campaign=… |
Ссылки из рекламы и рассылок |
| Сортировка и фильтры | /catalog/divany/?sort=price |
Параметры каталога |
| Пагинация | /catalog/?page=1 и /catalog/ |
Первая страница доступна двумя путями |
| Технические адреса | /product.php?id=125 и /divany/divan-oslo/ |
Движок хранит старый адрес |
| Один товар в нескольких категориях | /divany/oslo/ и /novinki/oslo/ |
Адрес товара зависит от раздела |
| Версия для печати | /stati/remont/?print=1 |
Модуль печати |
| Переезд и смена адресов | /old-page/ и /new-page/ |
Старые страницы не перенаправили |
Отдельно про метки: часть параметров — например, utm_source, utm_campaign, ysclid — Яндекс удаляет из адресов автоматически (справка о Clean-param). Но рассчитывать только на это не стоит: собственные метки CRM, рассылок и партнёрских программ он не знает. Как устроены метки рекламы, мы разбирали в статье про UTM-метки для Директа.
Как найти дубли в Вебмастере
Если сайт ещё не подключён к Вебмастеру, начните с этого — как добавить сайт в Яндекс Вебмастер. Дальше:
- Откройте отчёт «Страницы в поиске» и перейдите к исключённым страницам.
- Включите фильтр по статусу и выберите «Удалено: Дубль» — так советует сама справка Яндекса.
- Выгрузите список в таблицу. В выгрузке видно, какой адрес Яндекс считает основным для каждой копии.
- Сгруппируйте дубли по причине: слеш, параметры, www, старые адреса, товары в нескольких категориях.
- Загляните в «Диагностику сайта»: если дубли появились из-за GET-параметров, Вебмастер пишет об этом отдельным уведомлением.
- Проверьте вручную несколько адресов: откройте страницу со слешем и без, с
wwwи без, с параметром?sort=— что отдаёт сервер: ту же страницу, редирект или ошибку 404. - Сверьте с Метрикой: в отчёте по страницам входа видно, по каким адресам реально приходят люди из поиска.
На сайте из 20–50 страниц это занимает час. На магазине — дольше, но группировка по причинам быстро показывает, что основная масса дублей идёт из 2–3 источников.
Если в отчёте сотни дублей и непонятно, откуда они берутся, — мы можем посмотреть сайт и сказать, что чинить первым.
Чем убирать дубли: 301, canonical, Clean-param, noindex
У Яндекса в справке перечислено несколько способов: 301-редирект, атрибут rel="canonical", запрет в robots.txt через Disallow, метатег noindex и директива Clean-param. У каждого своя задача.
301-редирект — постоянное перенаправление. Человек и робот, открывший дубль, сразу попадают на основной адрес. В поиске участвует целевой адрес. Подходит, когда дубль не нужен никому.
rel="canonical" — подсказка в коде страницы: «основная версия вот эта». Страница-дубль остаётся доступной для людей. Яндекс воспринимает canonical как рекомендацию и может проигнорировать его — например, если содержимое страниц заметно отличается, канонический адрес закрыт от индексации или ведёт на редирект, указан адрес на другом домене или поддомене, на странице несколько canonical или они выстроены цепочкой (справка о canonical).
Clean-param — директива в robots.txt для робота Яндекса: «эти параметры не меняют содержимое, не учитывай их». Например, Clean-param: sort&view /catalog/. Робот склеивает адреса с такими параметрами в один.
noindex и Disallow в robots.txt — запрет индексирования. Подходят для технических страниц, которые вообще не должны быть в поиске: корзина, поиск по сайту, личный кабинет.
Таблица: какой способ выбрать для каждого случая
| Случай | Что выбрать | Почему |
|---|---|---|
| Слеш на конце и без | 301-редирект на одну версию | Справка Яндекса для слеша советует именно редирект, а не canonical |
www и без, http и https |
301-редирект на главное зеркало | Людям не нужна вторая версия |
/index.php, /index.html |
301 на / |
Технический адрес |
| Старый адрес после переезда | 301 на новый адрес | Переносит переходы и ссылки |
| UTM-метки и метки рассылок | Clean-param, автоматическое удаление | Страница одна, метки нужны только для аналитики |
Сортировка, вид отображения (?sort=, ?view=) |
Clean-param или canonical на категорию | Людям функция нужна, поиску копия не нужна |
| Фильтры с полезным спросом («диваны серые угловые») | Отдельная посадочная с собственным адресом, текстом и заголовком | Это не дубль, а новая страница под запрос |
| Фильтры без спроса | canonical на категорию или запрет индексирования | Комбинаций тысячи, спроса нет |
| Товар в нескольких категориях | Один постоянный адрес товара или canonical на основной | Иначе карточка размножается |
Первая страница пагинации ?page=1 |
301 на категорию | Чистая копия |
| Версия для печати | canonical на основную или noindex |
Людям нужна, поиску нет |
| Корзина, поиск по сайту, личный кабинет | Disallow или noindex |
Не должны быть в поиске вообще |
Про фильтры подробнее — в статье про продвижение мебельного сайта: там разобрано, как отличить фильтр, под который стоит делать посадочную, от фильтра-мусора.
Частая ошибка: всё закрыть в robots.txt
Если закрыть дубли через Disallow, робот перестанет их посещать — но и не увидит на них ни canonical, ни редиректа. Сигналы со страниц-копий при этом не передаются основной. Поэтому для дублей, которые уже в индексе и на которые есть ссылки, редирект или canonical обычно лучше, чем запрет.
Пример: интернет-магазин с фильтрами
Пример условный, не кейс студии. Магазин светильников, 1 200 товаров, 40 категорий. В Вебмастере в поиске 900 страниц, исключено как дубли — 6 400.
| Причина дублей | Сколько адресов | Что сделали | Сколько работы |
|---|---|---|---|
| Сортировка и вид отображения | 3 100 | Clean-param для sort и view |
15 минут |
Пагинация ?page=1 |
40 | 301 на категорию | Час программиста |
| Товары в нескольких категориях | 2 200 | Постоянный адрес товара без категории, 301 со старых адресов | 1–2 дня |
| Слеш на конце | 900 | 301 на версию со слешем | Час |
| Фильтры | 160 | 12 фильтров со спросом — в посадочные, остальные — canonical на категорию | Неделя с текстами |
Ожидаемый результат при таких допущениях — не мгновенный рост, а порядок: в поиске остаются основные адреса, робот тратит обход на товары и категории, а 12 новых посадочных начинают собирать запросы, по которым раньше не показывались. Реальный эффект зависит от того, насколько дубли мешали именно вашему сайту. Если же позиции просели резко и сразу по многим страницам, причина может быть не в дублях — стоит проверить, нет ли фильтров Яндекса.
Откуда берутся дубли при переезде и редизайне
Больше всего новых дублей мы видим не на старых сайтах, а сразу после редизайна или переезда на другой движок. Сценарий типичный: новый сайт запустили, старые адреса продолжают открываться — например, движок по-прежнему отдаёт страницы по техническим адресам, — а ссылки из рекламы, карточки в Картах и старых публикаций ведут на прежние адреса. В итоге в поиске живут две версии одних и тех же услуг.
Чтобы этого избежать, перед запуском составьте таблицу соответствия: старый адрес → новый адрес. Каждый старый адрес, у которого был трафик или ссылки, получает 301-редирект на ближайший по смыслу новый, а не на главную. Отдельно проверьте, что старый домен, если он менялся, тоже перенаправляет на новый постранично. После запуска пройдитесь по выгрузке исключённых страниц в Вебмастере: всплеск дублей в первые недели — сигнал, что какие-то адреса забыли. Весь порядок действий при смене движка или домена — в разборе переезда сайта без потери позиций.
Как проверить, что дубли ушли
- Через неделю после исправлений откройте несколько бывших дублей: должен быть редирект или основная страница.
- Через 2–3 недели проверьте отчёт исключённых страниц в Вебмастере: число дублей должно перестать расти. Справка предупреждает, что изменения учитываются после посещения робота, а исключение может занять до трёх недель.
- Посмотрите «Диагностику сайта»: уведомление о дублях из-за GET-параметров должно исчезнуть.
- В Метрике проверьте страницы входа из поиска: трафик должен собираться на основных адресах.
- Раз в месяц повторяйте проверку — особенно после обновлений движка, переезда и добавления новых фильтров.
Дубли — часть большой проверки сайта. Остальные пункты — индексация, страницы под спрос, скорость — собраны в чек-листе SEO-аудит сайта самостоятельно.
Если не хочется разбираться с редиректами и robots.txt самому, оставьте заявку — мы найдём дубли и составим список правок для вашего программиста или сделаем сами.
Частые вопросы
Почему Яндекс считает мою страницу дублем, если тексты разные?
Значит, тексты отличаются не так сильно, как кажется: например, совпадают шаблон, заголовки и большая часть блоков, а меняется одно слово. Так бывает с карточками похожих товаров и страницами «услуга + район». Решение — сделать страницы действительно разными или объединить их.
Что лучше для дублей: редирект или canonical?
Если копия не нужна людям — редирект: он надёжнее, потому что canonical Яндекс воспринимает как рекомендацию. Если копия нужна людям — сортировка, версия для печати, — canonical или Clean-param.
Нужно ли бороться с дублями на маленьком сайте?
Обычно хватает базового: одно главное зеркало, редиректы со слеша и с http, метки рекламы не индексируются. Это делается за день и закрывает большую часть проблем небольшого сайта.
Являются ли дублями региональные поддомены?
По справке Яндекса, региональные поддомены с одинаковым содержимым дублями не считаются — дубли определяются в пределах одного сайта. Но поддомены с одинаковым текстом вряд ли будут хорошо ранжироваться, поэтому содержимое лучше делать региональным.
Сколько времени Яндекс убирает дубли из поиска?
Изменения вступают в силу после того, как робот заново посетит страницы. По справке, исключение из поиска может занять до трёх недель.
10+ лет делаю сайты и запускаю рекламу, вместе с командой запустили больше 500 проектов. Пишу о том, что проверили на практике.
Задать вопрос в Telegram →
