A/B-тестирование в маркетинге: как проверять гипотезы и находить точки роста

Нет времени на ознакомление со статьёй?
Популярные нейросети могут кратко резюмировать её:

Эта статья — для собственников, CMO, e-commerce, retail и CRM-маркетологов fashion, beauty, lifestyle и ювелирных брендов, которые хотят системно улучшать маркетинг.
Она будет полезна, если у вас:

• команда спорит, какой оффер или письмо лучше;
• новые механики запускаются без проверки;
• результаты кампаний оцениваются только по открытиям и кликам;
• маркетологи видят рост конверсии, но не понимают, был ли он случайным;
• тесты останавливаются, как только появляется красивый результат;
• одновременно меняется несколько элементов коммуникации;
• нет единого шаблона постановки гипотез;
• программа лояльности запускает новые бонусы без контрольной группы;
• хочется понять, какие изменения действительно увеличивают повторные покупки и выручку.

A/B-тестирование не заменяет стратегию, сегментацию и качественный контент. Но оно помогает понять, какие решения дают дополнительный эффект, а какие только кажутся удачными.

В статье разберём:

• как ставить маркетинговые гипотезы;
• какие элементы имеет смысл тестировать;
• как выбирать метрики;
• как не остановить тест слишком рано;
• как учитывать статистическую значимость;
• как анализировать выручку и прибыль;
• какие ошибки чаще всего искажают результаты;
• как встроить эксперименты в CRM-маркетинг.

A/B-тестирование — это эксперимент, в котором аудиторию разделяют на группы и показывают им разные варианты одного маркетингового решения.

Обычно есть:

• вариант A — текущая версия, контроль;
• вариант B — новая версия, тест;
• основная метрика — показатель, по которому сравниваем результат;
• период наблюдения;
• правила интерпретации.

Например, бренд хочет проверить, что лучше увеличивает переход ко второй покупке:

• вариант A — письмо с персональной подборкой;
• вариант B — письмо с подборкой и бонусами на следующий заказ.

Обе группы должны быть сопоставимы. Если тестовая группа делает больше заказов, важно понять: результат связан с новой механикой или с тем, что в неё случайно попали более активные клиенты.

A/B-тест показывает не просто, какой вариант набрал больше заказов, а можно ли считать разницу результатом изменения, а не случайностью.

Для надёжного A/B-теста заранее выбирают корректную основную метрику, рассчитывают достаточную выборку и не анализируют результаты преждевременно. Без этих условий эксперимент легко превращается в наблюдение за цифрами, которым команда придаёт слишком большое значение.

Обычное сравнение выглядит так:

• в январе отправили письмо со скидкой;
• в феврале отправили письмо с бонусами;
• в феврале заказов оказалось больше;
• значит, бонусы работают лучше.

Но такой вывод может быть неверным.

На результат могли повлиять:

• сезонность;
• изменение ассортимента;
• распродажа;
• рекламный трафик;
• погода;
• сроки доставки;
• состав базы;
• количество активных клиентов;
• изменения на сайте;
• календарные даты;
• размер среднего чека.

В A/B-тесте варианты запускаются одновременно на сопоставимых группах. Это снижает влияние внешних факторов.

Пример

Бренд хочет проверить, увеличивает ли бонус за подписку вероятность первой покупки.

Обычное сравнение:

• в первой половине месяца бонус не использовался;
• во второй половине бонус появился;
• продажи выросли;
• команда решила, что причина — бонус.

A/B-тест:

• половина новых подписчиков получает бонус;
• вторая половина получает стандартное приветственное письмо;
• группы формируются одновременно;
• сравнивается доля первых покупок;
• дополнительно оценивается прибыль после стоимости бонусов.

Так команда может оценить именно эффект бонуса.

Результат теста нужно оценивать не только по тому, какой вариант показал более высокий процент конверсии, но и по тому, что это изменение даёт бизнесу в деньгах. Это особенно важно для CRM-маркетинга, где рост заказов может сопровождаться увеличением скидок, возвратов или стоимости вознаграждений.

Идея звучит так:

«Давайте добавим бонусы в письмо».

Гипотеза звучит иначе:

«Если добавить к post-purchase-письму бонус на следующую покупку, то доля клиентов со второй покупкой увеличится, потому что клиент получит конкретную причину вернуться в течение ограниченного периода».

В гипотезе есть:

1. изменение;
2. аудитория;
3. ожидаемый эффект;
4. объяснение, почему эффект должен появиться;
5. метрика проверки.

Шаблон гипотезы

Если мы изменим [элемент] для [сегмента], то [метрика] изменится на [ожидаемую величину], потому что [предполагаемая причина].

Примеры

Email

Если заменить общую тему письма на тему с конкретной выгодой, то Click Rate вырастет, потому что клиент быстрее поймёт смысл предложения.

Программа лояльности

Если отправить клиентам с одной покупкой бонус на второй заказ вместо скидки, то Second Purchase Rate вырастет, потому что бонус создаст дополнительный повод вернуться.

Fashion

Если добавить в post-purchase-письмо рекомендации по стилизации, то переходы в связанные товары увеличатся, потому что клиент увидит готовые варианты использования покупки.

Beauty

Если отправлять напоминание о повторной покупке в зависимости от прогнозируемого срока использования продукта, то Repeat Purchase Rate увеличится по сравнению с фиксированным календарным письмом.

VIP-коммуникации

Если заменить массовую скидку для VIP-клиентов на ранний доступ к новой коллекции, то выручка на получателя не снизится, а маржа вырастет, потому что клиентам важен доступ, а не только снижение цены.

Хорошая гипотеза должна быть конкретной и проверяемой.

Плохая гипотеза

«Сделаем письмо красивее — конверсия вырастет».

Проблемы:

• непонятно, что значит «красивее»;
• не определена аудитория;
• не выбрана метрика;
• нет объяснения механизма;
• невозможно заранее оценить результат.

Хорошая гипотеза

«Если заменить в письме после первой покупки общий блок новинок на товары, которые дополняют заказ клиента, то Click-to-Order Rate вырастет среди клиентов с одной покупкой, потому что рекомендация будет связана с уже известным интересом клиента».

Здесь понятно:

• что изменяем;
• для кого;
• что измеряем;
• почему ожидаем эффект

Главная метрика должна быть связана с целью теста.

Если цель — увеличить продажи, не стоит ограничиваться открытиями.

Если цель — повысить удержание, клики тоже могут быть недостаточны.

Основная и дополнительные метрики

У теста должна быть одна основная метрика.

Дополнительные показатели помогают понять последствия эксперимента.

Например, тестируем бонус на второй заказ.

Основная метрика:

• Second Purchase Rate.

Дополнительные метрики:

• средний чек второго заказа;
• выручка на получателя;
• стоимость списанных бонусов;
• маржа после вознаграждений;
• срок до второй покупки;
• отписки;
• возвраты.

Это важно, потому что один показатель может расти за счёт ухудшения другого.

Например:

• количество заказов увеличилось;
• средний чек снизился;
• бонусы стали списываться чаще;
• маржинальность упала.

Такой тест нельзя объявлять безусловным победителем.

Открытия и клики

Open Rate и Click Rate полезны для диагностики, но не всегда должны быть главными KPI.

Письмо может иметь:

• высокий Open Rate;
• много кликов;
• низкую конверсию в заказ.

И наоборот: письмо с небольшим количеством кликов может привести более качественный трафик и больше выручки.

Для CRM-маркетинга обычно важно выстроить цепочку:

доставка письма → клик → заказ → повторная покупка → прибыль.

A/B-тест нужно проектировать до того, как отправлено первое письмо или включён новый оффер.

1. Определите единицу эксперимента

Единицей может быть:

• клиент;
• заказ;
• сессия;
• визит;
• показ;
• открытие;
• устройство.

Для CRM-коммуникаций чаще всего правильная единица — клиент.

Если один и тот же клиент получает вариант A сегодня, а вариант B завтра, результаты могут смешаться. Клиент уже увидел первую коммуникацию и изменил поведение.

2. Зафиксируйте аудиторию

Нужно заранее определить:

• кто входит в тест;
• кто исключён;
• сколько клиентов участвует;
• как учитываются подписки и согласия;
• какие клиенты не должны получать коммуникацию;
• будут ли исключаться сотрудники и тестовые адреса;
• как учитываются клиенты с возвратом или активной жалобой.

3. Определите контроль

Контрольная группа должна получать текущую версию или стандартный сценарий.

Если тестируется новая бонусная механика, контрольная группа может:

• получить стандартное письмо;
• жить по старым правилам;
• не получить дополнительный бонус;
• получать только обязательную транзакционную коммуникацию.
• Важно не сравнивать новый вариант с «нулевой» группой, если в реальности клиенты обычно получают действующий сценарий.

4. Определите окно конверсии

Окно конверсии — период, в течение которого мы учитываем результат после контакта.

Например:

• покупка в течение 24 часов;
• заказ в течение 7 дней;
• повторная покупка в течение 30 дней;
• использование бонусов в течение 60 дней.

Окно должно соответствовать клиентскому циклу.

Для брошенной корзины может быть достаточно нескольких дней.

Для дорогой ювелирной покупки — несколько недель или месяцев.

Для повторного заказа beauty-продукта — период, связанный с использованием средства.

5. Заранее определите правила остановки

До запуска нужно договориться:

• когда тест заканчивается;
• какой минимальный объём данных нужен;
• что делать при технической ошибке;
• какие значения метрик считаются опасными;
• можно ли остановить тест из-за резкого роста отписок или жалоб.
• Это защищает команду от решения «остановим, когда результат понравится».

Главный принцип — случайное распределение.

Если команда сама выбирает группы, результат может быть искажён.

Например:

• VIP отправили тестовый оффер;
• новых клиентов оставили в контроле;
• тест показал высокий результат;
• команда решила, что новая механика работает для всех.

Но причина может быть в составе аудитории.

Sample Ratio Mismatch

Иногда планировалось разделить базу 50 на 50, но фактически одна группа оказалась намного больше другой.

Это может быть признаком:

• ошибки в логике распределения;
• некорректного фильтра;
• проблем с передачей данных;
• повторного попадания клиентов;
• исключения части аудитории;
• ошибки в платформе.

A/B-тест в email

Можно тестировать:

• тему;
• прехедер;
• оффер;
• CTA;
• дизайн;
• товарные блоки;
• тайминг;
• количество писем;
• персонализацию.

Пример:

• группа A получает тему «Подборка к вашей покупке»;
• группа B получает тему «Вам доступны 500 бонусов»;
• основная метрика — выручка на получателя;
• дополнительные — Open Rate, Click Rate, Conversion Rate, отписки.

Если тестируется только тема, остальные элементы должны оставаться одинаковыми. Иначе невозможно понять, что повлияло на результат.

A/B-тест в post-purchase-коммуникации

Гипотеза:

Бонус на вторую покупку эффективнее, чем общая скидка, потому что создаёт ощущение персональной выгоды и не снижает цену текущего заказа.

• группа A получает скидку 10%;
• группа B получает 700 бонусов;
• контроль может получать обычную рекомендацию без дополнительной выгоды;
• основная метрика — Second Purchase Rate;
• дополнительные — средний чек, маржа, срок до второго заказа.

A/B-тест в программе лояльности

Можно проверить:

• 3% против 5% начисления;
• срок действия бонусов 30 против 90 дней;
• бонусы против подарка;
• повышенное начисление против раннего доступа;
• один уровень против двух;
• напоминание о сгорании за 14 дней против 3 дней;
• разные пороги для подарка.
• Важно оценивать не только вовлечённость, но и экономику.

A/B-тест в CRM-цепочке

Например, бренд хочет вернуть остывающих клиентов.

Вариант A:

Скидка 15% на следующий заказ.

Вариант B:

500 бонусов при заказе от определённой суммы.

Основная метрика:

• реактивация в течение 30 дней.

Дополнительные:

• средний чек;
• маржа;
• доля использования бонусов;
• повторная покупка после оффера;
• отписки.
• Если вариант A дал больше заказов, но вариант B — больше прибыли, победитель зависит от цели бизнеса.

После завершения теста нужно ответить на несколько вопросов.

1. Как изменилась основная метрика?

Сравните результат тестовой и контрольной групп.

Например:

• контроль — 4,2% заказов;
• тест — 4,8% заказов.

Абсолютная разница:

4,8%−4,2%=0,6 процентного пункта

Относительный рост:

4,8%−4,2%/4,2%x100%≈14,3%

Важно различать процентные пункты и проценты роста. Рост с 4,2% до 4,8% — это не рост на 0,6%, а увеличение на 0,6 процентного пункта или примерно на 14,3% относительно контроля.

2. Можно ли считать разницу статистически значимой?

Статистическая значимость помогает оценить вероятность того, что результат не появился случайно.

Но это не означает, что статистически значимый результат автоматически важен для бизнеса.

Например:

• конверсия выросла на 0,1 процентного пункта;
• статистически результат подтверждён;
• дополнительная выручка почти нулевая;
• техническая стоимость внедрения высокая.

Такой тест может быть формально успешным, но практически неинтересным.

И наоборот:

• рост выглядит большим;
• данных пока мало;
• статистической уверенности недостаточно;
• решение нужно перепроверить на большей выборке.

3. Что произошло с дополнительными метриками?

Проверьте:

• средний чек;
• выручку;
• прибыль;
• возвраты;
• отписки;
• жалобы;
• использование бонусов;
• повторные покупки;
• качество привлечённого трафика.

4. Сохраняется ли результат в сегментах?

Возможна ситуация:

• общий результат положительный;
• у новых клиентов тест сработал;
• у VIP эффекта нет;
• у промо-зависимых клиентов выросли заказы, но упала маржа.

Это не значит, что тест провалился. Возможно, новую механику нужно применять только к определённому сегменту.

Но нельзя делать слишком много выводов по маленьким подгруппам. Чем больше сегментов мы смотрим, тем выше риск случайно найти «победителя».

Маркетинговый тест должен заканчиваться не фразой «вариант B победил», а решением:

• масштабировать;
• доработать;
• оставить только для сегмента;
• повторить на другой аудитории;
• остановить.

Инкрементальная выручка

Упрощённо:

Инкрементальная выручка=Выручка тестовой группы−Ожидаемая выручка тестовой группы без изменения
На практике контрольная группа помогает оценить, сколько тестовая группа получила бы при стандартном сценарии.

Пример

Допустим:

• в тестовой группе 10 000 клиентов;
• средняя выручка на клиента в тесте — 500 рублей;
• в контроле — 450 рублей.

Разница на клиента:

500−450=50 рублей

Условная дополнительная выручка:

50×10 000=500 000 рублей

Но если тестовый вариант требует:

• 200 000 рублей бонусов;
• 100 000 рублей дополнительных операционных затрат;
• 80 000 рублей расходов на коммуникации;

то оценивать нужно прибыль, а не только оборот.

Упрощённо:

Инкрементальная прибыль=Инкрементальная выручка×Маржа−Стоимость вознаграждений−Дополнительные затраты

Для программы лояльности особенно важно учитывать:

• списанные бонусы;
• подарки;
• скидки;
• бесплатную доставку;
• возвраты;
• себестоимость сервиса;
• стоимость внедрения и поддержки.

Есть несколько ситуаций, когда выводы нужно отложить.

1. Тест остановили слишком рано

В первые часы или дни показатели могут сильно колебаться.

Причины:

• мало данных;
• случайный состав аудитории;
• разное время открытия писем;
• отдельный всплеск заказов;
• задержка конверсий;
• неполный цикл покупки.

Нельзя останавливать тест только потому, что вариант B временно лидирует.

2. В процессе изменили условия

Если во время теста:

• поменяли оффер;
• изменили цену;
• добавили новый промокод;
• изменили доставку;
• запустили рекламу;
• сломался сайт;
• изменили сегмент;

результат становится сложнее интерпретировать.

3. Одновременно тестировали несколько изменений

Если в варианте B одновременно изменились:

• тема;
• дизайн;
• оффер;
• CTA;
• товарный блок;

нельзя точно сказать, какой элемент дал эффект.

Иногда комплексный тест оправдан, если проверяется новая концепция целиком. Но тогда нужно формулировать гипотезу именно как проверку концепции, а не отдельной кнопки.

4. Группы были разными изначально

Если в тесте оказались более активные или более дорогие клиенты, результат будет искажён.

5. Не учли отложенные покупки

Клиент может открыть письмо сегодня, а купить через несколько дней.

Если смотреть только покупки в первые часы, можно занизить эффект длинного цикла.

6. Смотрят только на средний результат

Иногда тест увеличивает среднюю выручку, но ухудшает результат для важных сегментов.

Нужно смотреть:

• новых клиентов;
• повторных;
• VIP;
• остывающих;
• промо-зависимых;
• клиентов разных категорий.

7. Игнорируют Sample Ratio Mismatch

Если фактическое соотношение групп сильно отличается от запланированного, нужно сначала проверить распределение и техническую логику.

С брендом ALL WE NEED мы работаем более 6 лет и регулярно запускаем серию A/B-тестов на массовых рассылках на платформе Mindbox — проверяем, какие элементы письма реально влияют на конверсию, а какие только кажутся удачными. Ниже — два примера.

Тест 1. Блок категорий в конце письма

Гипотеза: добавление блока с категориями в подвале письма увеличит кликабельность и конверсию, потому что даст подписчику дополнительный путь на сайт.

Статзначимость — 95%. CTOR выше у варианта с блоком, но по конверсии в покупку разница незначима и даже слегка в пользу контроля. Вывод: кликов больше — заказов не больше. Если бы мы остановились на CTOR, приняли бы неверное решение.

Тест 2. Персональные товарные рекомендации в письме

Гипотеза: персональная товарная сетка на основе истории покупок увеличит конверсию.

Статзначимость — 95%. CTOR практически не изменился (разница 0,03 п. п.), но конверсия в покупку выросла на 0,20 п. п. — с 0,47% до 0,67%. Это рост на 42% в относительных значениях. Гипотеза подтвердилась: персонализация работает не через клики, а через релевантность — те же люди переходят на сайт, но покупают чаще.

Чему учат эти два теста

Метрика кликабельности и метрика конверсии часто расходятся. CTOR может расти, а продажи стоять. Или наоборот — CTOR не двигается, а конверсия в заказ растёт. Если ваша основная метрика для A/B-теста — Open Rate или Click Rate, вы будете принимать решения, которые красиво выглядят в отчёте, но не меняют выручку.

Поэтому у меня правило: основная метрика любого email-теста — конверсия в заказ или выручка на одно отправленное письмо, а Open Rate и CTOR — вспомогательные, для диагностики, почему тест выиграл или проиграл.

Fashion

В fashion важно учитывать сезонность, размеры, наличие и длинный путь выбора.

Можно тестировать:

• персональную подборку против общей;
• рекомендации по стилизации против стандартного cross-sell;
• ранний доступ против скидки;
• бонусы за покупку новой коллекции;
• разные сроки напоминания о товарах в избранном;
• письмо о наличии размера;
• порог подарка;
• формат VIP-доступа.

Главные метрики:

• заказ;
• средний чек;
• выручка на получателя;
• повторная покупка;
• маржа;
• возвратность.

Beauty

В beauty важны частота использования, цикл повторной покупки и последовательность ухода.

Можно тестировать:

• напоминание по прогнозируемому сроку окончания продукта против календарного;
• рекомендацию следующего шага ухода;
• бонусы против подарка;
• набор против отдельных товаров;
• экспертный контент против промо;
• разные сроки запроса отзыва;
• персональный оффер по типу кожи или волос.

Главные метрики:

• Repeat Purchase Rate;
• Time to Next Purchase;
• средний чек;
• доля покупок в новой категории;
• LTV;
• использование бонусов.

Lifestyle

В lifestyle-категориях большую роль могут играть сценарии использования и эмоциональная связь с брендом.

Можно тестировать:

• контентный гайд против скидки;
• подарок против бонусов;
• подборку по образу жизни;
• сезонный челлендж;
• партнёрское преимущество;
• ранний доступ;
• комплекты товаров.

Ювелирные бренды

Для ювелирных брендов особенно важно не разрушать премиальное восприятие постоянными скидками.

Можно тестировать:

• ранний доступ против скидки;
• персональный сервис против бонусов;
• приглашение на закрытое событие;
• персональную подборку;
• сервис ухода за украшением;
• подарочную упаковку;
• сценарии к важным датам;
• консультацию менеджера.

Главные метрики:

• выручка на клиента;
• средний чек;
• повторная покупка;
• доля клиентов, вернувшихся в течение года;
• LTV;
• VIP Retention;
• маржа.

Ошибка 1. Тестировать без гипотезы

Команда меняет элемент, но не знает, какое поведение хочет изменить.

Решение: перед запуском описать гипотезу, сегмент, метрику и ожидаемый эффект.

Ошибка 2. Выбирать победителя по одному показателю

Рост кликов не всегда означает рост выручки.

Решение: заранее определить основную и дополнительные метрики.

Ошибка 3. Останавливать тест при первом положительном результате

Ранние данные могут быть случайными.

Решение: определить минимальный объём выборки и период наблюдения до запуска.

Ошибка 4. Менять несколько элементов одновременно

Невозможно понять, что именно повлияло на результат.

Решение: тестировать одну переменную или честно формулировать тест как сравнение комплексных концепций.

Ошибка 5. Не использовать контрольную группу

Без контроля трудно понять, что произошло бы без изменения.

Решение: сохранять текущий сценарий для сопоставимой группы.

Ошибка 6. Тестировать на слишком маленькой выборке

Разница в несколько заказов может быть случайной.

Решение: оценить необходимый объём данных и выбирать более сильные гипотезы при небольшой базе.

Ошибка 7. Не учитывать отложенную конверсию

Клиент может купить не сразу после письма.

Решение: задавать окно конверсии в соответствии с циклом покупки.

Ошибка 8. Не учитывать прибыль

Более высокая конверсия может быть получена за счёт дорогой скидки.

Решение: смотреть маржу после бонусов, скидок и других затрат.

Ошибка 9. Делать слишком много выводов из одного теста

Один успешный тест не означает, что механика будет работать всегда и для всех.

Решение: повторить тест на другом сегменте или в другой период.

Ошибка 10. Не фиксировать результаты

Если выводы остаются в презентации или чате, команда повторяет одни и те же эксперименты.

Решение: вести единый журнал тестов.

Как организовать журнал A/B-тестов

Минимальная структура:

Так постепенно формируется внутренняя база знаний.

Екатерина Качаева — основатель и CEO агентства CRM Эстетика. 20 лет в маркетинге, 12 лет в CRM, 7 лет — в CRM для fashion, beauty и ювелирных брендов.

CRM Эстетика помогает брендам выстраивать CRM-стратегию, email-маркетинг, программы лояльности, сегментацию, триггерные цепочки, коммуникации в SMS, WhatsApp, Telegram, push-каналах и аналитику повторных продаж.

Подписаться на авторский канал о CRM-маркетинге в моде и красоте: t.me/crmestetika

Больше материалов — в блоге: crmestetika.com/blog

Нашли полезную информацию в статье?

Поделитесь ею в социальных сетях и мессенджерах!