A/B-тесты в Яндекс Директе: как проверить объявление или стратегию на честных данных

Почему «сравнить две недели» не работает

Самый частый способ «тестировать» в малом бизнесе: поменять объявление или стратегию и через две недели сравнить с предыдущими двумя. Проблема в том, что между этими периодами меняется не только ваше объявление.

Пример, который мы видим регулярно: владелец поменял объявление в начале сентября, заявок стало больше, и он решил, что новое объявление лучше. А на самом деле в сентябре вырос спрос на всю нишу. Старое объявление в сентябре дало бы примерно столько же.

Эксперимент решает эту проблему. Оба варианта крутятся одновременно, в одном аукционе, при одной погоде и одних конкурентах. Разница в результате — это разница между вариантами, а не между неделями.

Как устроены A/B-эксперименты в Директе

По справке Директа, эксперименты помогают выяснить, какие настройки кампаний наиболее эффективны для вашего бизнеса. Основное:

• Где работают: Единые перфоманс-кампании для продвижения сайтов и приложений (кроме кампаний с размещением в мессенджерах) и медийные кампании.
• Где создавать: раздел «Библиотека» → «A/B-эксперименты» → «Добавить эксперимент». Также — из дополнительных настроек кампании или из меню на странице кампаний.
• Как делится аудитория: вы задаёте долю каждого варианта в процентах. Справка рекомендует делить поровну, а бюджеты кампаний держать пропорциональными долям.
• Сколько вариантов: от 2 до 20, в каждом варианте — одна или несколько кампаний, всего до 50 уникальных кампаний в эксперименте.
• Сколько данных: не меньше 10 конверсий в неделю для каждого варианта.
• Как видна значимость: ячейки с разницей подсвечиваются цветом. Слабая подсветка — при p-value меньше 0,2, сильная — при p-value меньше 0,05. Зелёный — изменение в хорошую сторону, красный — в плохую.
• Как завершить: кнопка «Запустить на 100%» оставляет выигравший вариант на всю аудиторию, «Остановить эксперимент» — снимает разделение и оставляет кампании с текущими настройками.

P-value — вероятность увидеть такую же разницу случайно, если на самом деле варианты одинаковы. 0,05 означает «случайно такое бывает в 5% случаев». Для решений в бизнесе мы ориентируемся на сильную подсветку. Слабая — повод продолжить тест, а не делать выводы.

В июне 2025 года A/B-эксперименты вышли из беты: появились несколько целевых действий в одном эксперименте и метрика ДРР — доля рекламных расходов в выручке.

Что тестировать при малом бюджете

Чем меньше разница между вариантами, тем больше данных нужно, чтобы её заметить. Поэтому при бюджете малого бизнеса тестируют крупные вещи.

Стратегию с оплатой за конверсии удобно сравнивать с текущей именно экспериментом: обе получают одну аудиторию и один период.

Логика простая: если вы ожидаете разницу в 5–10%, при 20 заявках в неделю на вариант вы её не увидите и за два месяца. Если разница в 50–100%, её видно уже за 2–3 недели.

Отдельно про объявления. Внутри одной группы Директ и так показывает несколько объявлений и постепенно отдаёт больше показов тому, у которого лучше результат. Это удобно, но это не честный тест: варианты получают разное число показов в разных условиях. Если вам нужно именно сравнить два подхода к тексту, делайте это экспериментом с разными кампаниями. Как писать объявления, которые есть смысл тестировать, — в статье как написать объявление для Яндекс Директа.

Если вы сейчас меняете настройки и оцениваете их «по ощущениям», — это как раз тот случай, когда стоит один раз выстроить тест правильно.

Сколько конверсий нужно, чтобы увидеть разницу

Справка задаёт минимум — 10 конверсий в неделю на вариант. Это порог, при котором стратегия вообще может учиться. Для вывода о разнице между вариантами нужно больше.

Условный расчёт. Допустим, сайт натяжных потолков: конверсия из клика в заявку — 3%. Вы хотите проверить новую посадочную страницу и надеетесь на 4%. Сколько кликов нужно в каждый вариант, чтобы такую разницу можно было уверенно отличить от случайности?

По стандартной формуле для сравнения двух долей (уровень значимости 5%, мощность 80%) выходит порядка 5 000 кликов на вариант, то есть около 10 000 кликов на весь тест. При цене клика 60 ₽ это 600 000 ₽ — нереально для малого бизнеса.

А если новая страница должна поднять конверсию с 3% до 6%? Тогда хватит примерно 750 кликов на вариант, 1 500 на тест — около 90 000 ₽ при той же цене клика. Это уже реальный тест на 3–4 недели.

Вывод из расчёта: малый бизнес может позволить себе тестировать только смелые гипотезы. «Чуть лучше» на небольшом бюджете не измерить. «В два раза лучше» — можно.

Как поставить эксперимент: пошагово

1. Сформулируйте гипотезу одной фразой. «Отдельный лендинг под установку счётчиков даст заявку дешевле, чем главная страница». Одна гипотеза — один параметр. Если поменять сразу страницу, оффер и стратегию, вы не узнаете, что сработало.
2. Выберите метрику успеха заранее. Цена цели, число конверсий или ДРР. Решите до запуска, иначе после теста захочется выбрать ту метрику, где ваш вариант выиграл.
3. Подготовьте кампании. Контрольная — текущая, тестовая — её копия с одним изменением. Бюджеты — пропорционально долям аудитории.
4. Создайте эксперимент. «Библиотека» → «A/B-эксперименты» → «Добавить эксперимент», добавьте кампании в варианты, задайте доли, лучше 50 на 50.
5. Не трогайте кампании во время теста. Любая правка в одном варианте ломает сравнение. Если без правки никак, вносите её в оба варианта.
6. Ждите минимум 2 недели. Справка указывает 7–14 дней на обучение. Если сравниваете новую кампанию со старой, обученной, — до 4 недель: новой нужно догнать.
7. Смотрите статистику эксперимента. Решение принимайте по сильной подсветке значимости и по метрике, выбранной на шаге 2.
8. Завершите. «Запустить на 100%», если победитель очевиден. «Остановить эксперимент», если разницы нет, — и это тоже результат: вы не будете тратить силы на изменение, которое ничего не даёт.

Как не обмануть себя на результатах

Даже с правильным инструментом легко прийти к неверному выводу. Вот ловушки, в которые попадают чаще всего.

Подглядывание. Открыть отчёт на третий день, увидеть, что вариант Б впереди, и остановить тест. На маленьких данных лидер меняется несколько раз за первую неделю. Решайте только после заранее заданного срока.

Слишком много вариантов. Пять вариантов при бюджете на два — каждый получает по 6–8 конверсий в неделю, и ни один не обучается. При малом бюджете — только два варианта.

Конверсия не та. Тестовая страница выигрывает по кликам на кнопку «Позвонить», но звонков в CRM больше не стало. Цель эксперимента должна быть максимально близко к деньгам. Как выбрать такую цель, — в статье про стратегии Яндекс Директа.

Качество заявок. Оффер «бесплатный замер» может дать вдвое больше заявок, но половина из них — люди, которые просто хотят узнать цену. Через месяц после теста сверьте продажи по вариантам, а не только заявки.

Новизна. Новый креатив в РСЯ часто выигрывает первые две недели просто потому, что он новый. Если разница большая только в начале, продлите тест.

Эксперимент без инструмента: что делать, если он недоступен

Бывают случаи, когда встроенный эксперимент не подходит: кампания в формате, который его не поддерживает, или конверсий слишком мало даже для минимума. Тогда есть два компромиссных варианта.

• Чередование по неделям. Неделя — вариант А, неделя — вариант Б, и так 4–6 раз. Это хуже настоящего эксперимента, но лучше одного сравнения «до и после»: сезонные эффекты частично усредняются.
• Тест на сайте, а не в рекламе. Если гипотеза про посадочную страницу, можно разделить трафик на сайте сервисом A/B-тестов или сравнить две страницы с одинаковым трафиком. Директ при этом не меняется.

И честный третий вариант: если у кампании 5 заявок в неделю, тестировать её бессмысленно. Сначала нужно поднять поток — объединить мелкие кампании, расширить семантику, поработать с сайтом. Об этом — в статье сколько ждать результата от Яндекс Директа.

Условный пример. Ремонт стиральных машин в Воронеже, бюджет 90 000 ₽ в месяц, около 70 заявок. Гипотеза: «Выезд мастера бесплатно при ремонте» в объявлениях и на странице против текущего «Диагностика 500 ₽». Эксперимент 50 на 50, четыре недели. Если вариант с бесплатным выездом даст 45 заявок против 30 при одинаковом расходе, и разница подсвечена как значимая, — запускаем на 100% и через месяц сверяем выручку: не съела ли бесплатная диагностика маржу. Цифры условные.

Если хотите поставить первый эксперимент правильно и не потерять на нём месяц, оставьте контакты — поможем выбрать гипотезу и посчитаем, сколько данных нужно именно вам.