A/B‑тестирование: что это такое и как проводить эксперимент

Что такое A/B-тестирование

A/B-тестирование, или сплит-тестирование (от англ. split testing — «раздельное
тестирование») — это инструмент, который помогает проверять гипотезы и принимать решения на основе данных, а не личного опыта и интуиции.

A/B-тестирование показывает, какая из версий страницы (начальная А или новая В) удобнее для пользователя.

• Планируя улучшения, опирайтесь на аналитику и результаты проведенных тестирований. Субъективная оценка редко оказывается показательной.

Суть метода:

1. Разделить аудиторию на части. Обычно выбирают сегменты одинакового размера.
2. Показать пользователям разные варианты контента или дизайна.
3. Проанализировать их поведение. Понять, какая версия решает вашу задачу.
4. Использовать и масштабировать этот вариант.

Тестировать можно дизайн лендинга, цвет и расположение кнопок, форму регистрации, текст рекламного объявления, заголовки и др.

На вебинаре Никита Панаско собирал сайт в конструкторе Tilda за 1,5 часа. Вы можете сделать свой лендинг вместе с лектором.

Кому и для чего нужны A/B-тесты

A/B-тесты используют продакт-менеджеры, маркетологи, продуктовые и UX/UI-дизайнеры, веб-мастера, email-маркетологи — все, кто улучшает продукт и делает его более удобным для целевой аудитории.

А/В-тестирование проводят, когда хотят проверить гипотезу, например:

• Пользователи будут оставлять больше заявок на сайте, если на баннере вместо выгоды продукта разместить акцию.
• Больше посетителей подпишется на рассылку, если сделать всплывающий pop-up в правом углу экрана вместо кнопки подписки.
• Кликабельность рекламного объявления увеличится, если в заголовке указать дату завершения акции.
• Спокойные оттенки в дизайне увеличат время, которое пользователь проводит на сайте.

Вы хотите запустить рекламную кампанию по доставке цветов и сформулировали два оффера: «Бесплатная доставка за 1 час», «Промокод на скидку 5%».

Вы подготовили рекламные объявления, посадочные страницы и запустили рекламу: половина посетителей видит рекламное объявление с заголовком о бесплатной доставке, другие — с промокодом на скидку.

По результатам тестирования вы видите, что больше людей переходит по объявлению с заголовком о бесплатной доставке. Значит, это преимущество более привлекательно для целевой аудитории и стоит использовать его в рекламе.

Как проводить A/B-тесты

Шаг 1. Выбрать, что тестировать.
Один тест — один элемент. Только в этом случае получится оценить, положительный или отрицательный результат дает конкретное изменение.

Шаг 2. Обозначить цели.
Понять, что вы хотите получить в итоге: увеличить число переходов по креативу, повысить конверсию на лендинге, уменьшить стоимость клика и т.д.

Шаг 3. Проанализировать и зафиксировать показатели на старте.
Собрать имеющиеся данные в удобную таблицу, чтобы было с чем сравнивать результаты тестирования. Для каждой гипотезы метрики будут свои.

• При тестировании заголовка рекламного объявления нужно сравнивать CTR (отношение количества кликов по объявлению к количеству показов), отказы, время на сайте и количество заявок.

Шаг 4. Продумать варианты для тестирования.
При этом отталкиваться от поставленной цели. Чтобы понять, какой призыв к действию (CTA, call-to-action) работает лучше, можно менять цвет кнопки или ее положение. Чтобы оценить разные заголовки — выписать варианты, подходящие под креатив.

Шаг 5. Выбрать инструменты для A/B-тестирования.
Некоторые из них разберем ниже.

Шаг 6. Создать тест.
Обозначить срок тестирования, настроить параметры. При этом важно выбрать сервис, который подходит под запросы.

Шаг 7. Собрать данные.
Это непосредственно этап тестирования. Важно не делать поспешных выводов по результатам и не менять ничего на основании первых данных — стоит дождаться окончания теста.

Шаг 8. Проанализировать результат A/B-тестирования.
Сравнить метрики и выбрать вариант с лучшими показателями.

Результаты тестирования могут незначительно отличаться друг от друга — это «нулевая гипотеза». В таком случае стоит выбрать новый элемент и повторить алгоритм сначала. После нескольких экспериментов вы найдете вариант, который приблизит вас к цели. 

Инструменты для сплит-тестирования

Google Оптимизация

Google Optimize помогает бесплатно проверить, какие элементы сайта удобнее для пользователей.

Возможности сервиса:

• А/B-тесты элементов сайта: размеры кнопок, картинок, текстов, цвета, формы обратной связи и др.
• Сравнение конверсий двух страниц. Например, если на одной странице больше текста, а на другой больше фотографий и примеров работ.
• Добавление персональных предложений для разных сегментов аудитории: например, баннер с акцией для пользователей, которые пришли на сайт из Яндекс.Карт.

Главный плюс Google Оптимизации — чтобы провести А/В-тест, не нужно менять код сайта. Оценить эффективность элементов можно без помощи разработчиков.

Эксперименты в Яндекс.Аудиториях

Яндекс.Аудитории подходят для тестирования рекламных объявлений и помогают эффективнее управлять бюджетом. Это бесплатный инструмент, встроенный в Яндекс.Директ: не нужно скачивать и осваивать новые программы, настраивать кроссплатформенные интеграции.

Сервис помогает:

• понять, как влияют друг на друга кампании разных типов;
• посмотреть, как зависят конверсии на сайте от времени и региона показов рекламы;
• сравнить автостратегию и ручное управление ставками;
• сравнить медиапланы.

Роль аналитики в A/B-тестировании

Аналитика помогает делать правильные выводы. Разберем на примере, какие метрики брать для анализа.

Компания продвигает бухгалтерские услуги: специалисты бесплатно консультируют, а в конце разговора продают свои услуги. Минимальный чек — 25 000 руб.

Запускаем А/B-тест двух объявлений в Яндекс.Директ с разными заголовками: «Бесплатная консультация» и «Бухгалтерские услуги от 25 000 руб.». В итоге тестирования первый заголовок показывает более высокий CTR, но при этом приносит меньше заказов.

Можем сделать вывод: пользователей, которые рассчитывали на бесплатную консультацию и зашли на сайт, настораживает, что бухгалтерское сопровождение стоит от 25 000 руб. Они уходят с сайта, не оставляя заявку. Рекламный заголовок приносит нецелевые лиды, объявление стоит переделать.

Анализ должен быть комплексным. Чтобы принять верное решение, нужно оценивать разные метрики и помнить про цель.

Калькулятор значимости эксперимента

У Яндекса есть простой калькулятор проверки статистической значимости эксперимента. Достаточно ввести показатели тестирования — калькулятор их сравнит и покажет, какой из вариантов можно внедрять.

5 частых ошибок при A/B-тестировании

Останавливать тестирование слишком рано.
Уже в первые дни после старта теста специалист замечает тенденцию, делает выводы и… заканчивает тест. Так делать нельзя. Результат может измениться, а вы при этом рискуете прийти к неверным выводам. Один A/B-тест должен длиться не менее семи дней.

Изменять настройки во время теста.
Порядок действий должен быть таким: определить метрики до старта → настроить нужные параметры → запустить тестирование → дождаться окончания. Если менять настройки в процессе, данные будут искажены, и вы не поймете, какой вариант отработал лучше.

Тестировать одновременно несколько элементов.
Один тест — один элемент. Это важно, иначе вы не поймете, какой именно элемент приведет вас к цели. В тестировании важна очередность.

Тестировать на маленьком трафике.
Это замедлит получение статистически значимых данных. Мы рекомендуем использовать A/B-тестирование, если каждый вариант теста увидят более 1000 пользователей.

Упускать анализ по сегментам.
Новый вариант страницы может показать низкие конверсии на десктопе, но дать при этом прирост 40% на мобильных устройствах. При тестировании важно учитывать все детали.