A/B-тест лендинга: что проверять первым и сколько нужно трафика для честного результата

Что такое A/B-тест лендинга и чем он лучше сравнения «до и после»

Самый частый способ «тестировать» — поменять страницу и сравнить заявки за две недели до и две недели после. Проблема в том, что за это время меняется всё: сезон, конкуренты в аукционе, погода, праздники, настройки рекламы. Вы не знаете, что именно повлияло.

В A/B-тесте обе версии работают одновременно и получают одинаковый трафик. Внешние факторы действуют на них одинаково, поэтому разница в результате — это разница между версиями. Ну или случайность, если данных мало. Об этом ниже.

Какие гипотезы двигают заявки, а какие тратят время

Логика простая: чем меньше трафика, тем крупнее должно быть изменение. Разницу между двумя оттенками зелёного не увидеть и на тысячах посетителей. Разницу между офферами «Ремонт квартир под ключ» и «Ремонт однушки за 45 дней с фиксированной сметой» — вполне.

Как сформулировать сильные варианты оффера для теста, мы разобрали в статье оффер для лендинга. А если сначала хочется собрать быстрые улучшения без тестов, начните со статьи как повысить конверсию лендинга.

Как записать гипотезу

Хорошая гипотеза отвечает на три вопроса: что меняем, почему это должно сработать и по какой метрике судим. Например: «Если вынести цену “от 2 500 ₽” на первый экран, конверсия в заявку вырастет, потому что в Вебвизоре видно, как люди листают до цен и уходят». Без «почему» тест превращается в перебор вариантов наугад.

Сколько нужно трафика для A/B-теста лендинга

Это главный вопрос, который пропускают. Чтобы отличить реальную разницу от случайности, каждой версии нужно определённое число посетителей. Оно зависит от текущей конверсии и того, какую разницу вы хотите увидеть.

Мы посчитали по стандартной формуле сравнения двух долей (уровень значимости 5%, мощность 80%) для лендинга с конверсией 3%:

А теперь — сколько ждать при разном трафике. Срок не может быть меньше двух недель, даже если расчёт даёт меньше: нужно поймать полные недельные циклы, ведь в будни и выходные люди ведут себя по-разному.

Расчёт ориентировочный. Вывод из таблицы: если у вас 50–100 посетителей в день, тестировать можно только изменения, от которых вы ждёте очень большой эффект. Всё остальное разумнее внедрять по здравому смыслу и смотреть на динамику.

Если по этим таблицам видно, что честный тест вам не по трафику, — это нормально для малого бизнеса. Тогда важнее выбрать правильные правки без теста, и здесь помогает взгляд со стороны.

Чем проводить A/B-тест лендинга

Вариокуб в Яндекс Метрике

Вариокуб (Varioqub) — инструмент Яндекса для A/B-тестов на сайте. Он распределяет посетителей по вариантам на основе данных Метрики и считает результат. Можно менять тексты, цвета, стили и разметку через визуальный редактор, без программиста.

Что нужно, по инструкции по подключению:

1. Установленный на сайте счётчик Яндекс Метрики.
2. Код Вариокуба: в Метрике раздел «Вариокуб» → «Эксперименты» → «Код для сайта». Его вставляют в head или body страницы.
3. Тестовый A/A-эксперимент — два одинаковых варианта, чтобы убедиться, что данные собираются корректно.

На Тильде код вставляется в настройках сайта, в поле для HTML-кода внутри head. Цели для оценки берутся из Метрики, поэтому заранее проверьте, что цели на заявку работают.

Эксперименты в Яндекс Директе

В Директе есть свои A/B-эксперименты: аудитория делится между вариантами кампаний, и каждый вариант можно вести на свою посадочную страницу. Так удобно сравнить два лендинга, если весь трафик идёт из Директа. Подробно — в справке Директа и в нашей статье эксперименты в Яндекс Директе.

Тильда

Встроенного A/B-тестирования в Тильде нет. В справке Тильды раньше предлагалось тестировать через Google Optimize, но Google закрыл этот сервис в сентябре 2023 года, о чём там же и сказано. На практике для лендинга на Тильде остаются два пути: Вариокуб с кодом в head или две копии страницы с разделением трафика через эксперимент в Директе.

Как провести A/B-тест лендинга по шагам

1. Проверьте цели. Отправьте тестовую заявку и убедитесь, что цель срабатывает в Метрике.
2. Посчитайте трафик. По таблице выше оцените, сколько дней займёт тест. Если больше двух месяцев — ищите более смелую гипотезу.
3. Запишите гипотезу. Что меняете, почему и по какой цели судите.
4. Сделайте вариант Б. Меняйте одну крупную вещь, а не пять мелких.
5. Запустите A/A-проверку. Особенно при первом тесте: два одинаковых варианта не должны заметно различаться.
6. Запустите тест 50 на 50. Не меняйте в это время рекламу, бюджет и ставки.
7. Не подглядывайте каждый день. Назначьте дату оценки заранее.
8. Оцените результат. Смотрите на значимость в отчёте и на число заявок, а не только на проценты.
9. Внедрите победителя или зафиксируйте ничью. Ничья — тоже результат: вы не будете тратить силы на изменение, которое ничего не даёт.

Как читать результат теста

В отчёте инструмента вы увидите конверсию каждого варианта и оценку, насколько разница надёжна. Несколько правил, чтобы не ошибиться:

• Смотрите на абсолютные числа. «Вариант Б лучше на 40%» звучит убедительно, пока не видно, что это 7 заявок против 5. На таких числах разница легко объясняется случайностью.
• Проверяйте устойчивость. Если победитель менялся каждые несколько дней, а к концу теста вырвался вперёд, подождите ещё неделю.
• Сверяйте с CRM. Заявки из Метрики и реальные обращения могут расходиться: дубли, спам, тестовые отправки. Для решения важны живые клиенты.
• Записывайте итог. Гипотеза, даты, трафик, результат. Через полгода вы не вспомните, почему на первом экране именно этот заголовок, а запись сэкономит повторный тест.

Ошибки, из-за которых A/B-тест врёт

Остановка через три дня. На третий день вариант Б даёт 6 заявок против 2. Кажется, что победа. На таких числах это может быть чистая случайность: через неделю счёт часто выравнивается. Решение принимают по заранее посчитанному объёму, а не по первой яркой разнице.

Тест цвета кнопки на малом трафике. Эффект слишком маленький, чтобы его увидеть. Вы потратите месяц и ничего не узнаете.

Не та цель. Вариант выигрывает по кликам на «Позвонить», а звонков больше не стало. Цель должна быть как можно ближе к деньгам: отправленная форма, реальный звонок, а лучше — продажа из CRM.

Изменения во время теста. Поменяли ставки, добавили новую кампанию, запустили акцию. Трафик изменился, и сравнение потеряло смысл.

Много вариантов на маленьком трафике. Четыре версии вместо двух — трафик делится на четыре, и тест растягивается вдвое.

Мобильные и компьютеры вместе. Иногда вариант выигрывает на компьютерах и проигрывает на телефонах, а в сумме выходит ничья. Смотрите результат в разрезе устройств.

Условный пример: тест оффера на лендинге клининга

Пример условный, не кейс студии. Клининговая компания в Краснодаре, лендинг получает около 120 посетителей в день из Директа, конверсия — 3%.

Гипотеза: первый экран «Генеральная уборка квартиры» слишком общий. Вариант Б: «Генеральная уборка двушки за 6 часов — 7 900 ₽, всё моющее привезём сами». Ожидаем рост минимум в полтора раза.

По таблице на разницу в полтора раза нужно около 2 500 посетителей на вариант, то есть около 5 000 всего. При 120 посетителях в день — около 42 дней. Владелец решает, что шесть недель — допустимо, и не трогает рекламу.

Итог условного теста: вариант А — 75 заявок из 2 520 визитов (3%), вариант Б — 118 заявок из 2 480 визитов (4,8%). Разница значимая, вариант Б внедряется на 100%. При том же трафике, около 3 600 визитов в месяц, это примерно 170 заявок вместо 108 за те же деньги.

Когда A/B-тест лендинга не нужен

• Трафика меньше 50 посетителей в день и нет смелой гипотезы.
• На странице очевидные проблемы: не работает форма, нет цены, телефон не кликается. Это чинят без теста.
• Реклама ведёт нецелевой трафик. Сначала чистят запросы и площадки, потом тестируют страницу.
• Лендинг живёт пару недель, например под акцию.

Мы на проектах сначала убираем очевидные потери, а тестируем только то, где действительно есть сомнения. У «Белтермо» стоимость заявки вышла в 3 раза ниже целевой, а у ледового кафе конверсия сайта — 7%. Если хотите понять, что стоит тестировать на вашем лендинге и хватит ли на это трафика, оставьте контакты.