В email-маркетинге мы постоянно тестируем разные гипотезы. Цифры – наша опора. Они помогают понять предпочтения аудитории и повысить Open и Click Rate.
Но цифры – это не все. Даже математические данные тестов могут направить по ложному пути, если провести проверку неправильно. И ошибиться легко.
Смотрите сами – вы делаете две версии письма, рассылаете по разным группам подписчиков и ждете результат. Вариант с лучшими показателями отправляете по всей базе.
Но если вы не учли размер выборки или поменяли слишком много элементов в письме, есть риск получить недостоверный результат. Вы будете думать, что сделали идеальную рассылку, ведь это подтверждено цифрами. А пользователи – раздражаться и отправлять вас в спам.
В статье расскажем, как этого избежать и получить достоверные результаты тестирования. Внутри найдете бонус – удобный шаблон для реестра гипотез, чтобы не запутаться в результатах.
Сделали рассылку после тестирования, но показатели не растут? Смотрите почему
При любом тестировании важно учитывать статистическую значимость, ее обозначает показатель p-value. Она означает вероятность того, что выборка соответствует всей аудитории, а результаты теста не получились случайно. Обычно необходимым значением p-value считается 95%, а очень хорошим – 99%.
Рассмотрим на примере. Представьте, что у вас есть база на 4000 пользователей. Вы решили протестировать две версии тем – с эмоджи и без.
Первое письмо открыли 265 человек, второе – 250. Технически победа присуждается первому варианту. Но любой калькулятор статистической значимости покажет, что достоверность такой проверки около 70%. Для нас это слишком высокий риск ошибиться.
Обычно перед запуском тестов на любом проекте мы рассчитываем размер выборки на своем онлайн-калькуляторе, но вы можете использовать сервисы типа Mindbox. Вбиваем средний показатель, ожидаемый прирост, достоверность не ниже 95% и получаем необходимое количество пользователей для проверки.
Пример расчета выборки: если средний Open Rate 35%, и мы ожидаем, что тестируемый вариант увеличит его до 36%, то размер выборки должен быть 71 427 человек
Так у нас получается не только проверить, достаточно ли у нас аудитории для анализа, но и при большей базе подписчиков выставить ограничение и уйти на A/B/C-тестирование.
Если база больше 50 000 подписчиков, можно провести не A/B, а A/B/C-тестирование. Тогда 50% аудитории тестируют две версии рассылки, а оставшиеся 50% получат победивший вариант. То есть лучшую рассылку получат 75% пользователей. А значит – увеличивается вероятность получить больше конверсий.
А что делать тем, у кого в базе нет столько подписчиков? Тоже проверять, но более широкие концепции. Плюс с маленькой выборкой тестирование нужно проводить несколько раз.
Понятно, что вы не будете постоянно рассылать письмо с одной и той же темой. Но можно отправить несколько писем с темами, похожими по оформлению или структуре, например, с указанием дедлайна акции или без него. Через несколько рассылок вы поймете, какие письма больше нравятся аудитории.
Что действительно стоит протестировать в письмах. Берите на вооружение
Я рекомендую начинать тестирование с показателей, которые влияют на Open Rate. Ведь если письмо не откроют, все остальное бессмысленно. В первую очередь стоит определить:
-
Длину и содержание темы письма. Что лучше зайдет вашей аудитории: развернутая тема с призывом к действию или короткий вопрос, сухая информация или сердечки с огоньками?
-
Регулярность рассылки. Определите частоту, которая не будет раздражать пользователя, и не позволит забыть о продукте.
-
Оптимальное время рассылки. Оно разное для каждой аудитории и для каждого продукта. Кто-то охотнее читает письма утром по дороге на работу, а кто-то в течение дня.
К примеру – нужно определить подходящий день для рассылки. На проекте федеральной сети товаров для творчества мы проводили такое тестирование. С одной стороны, в субботу и воскресенье люди отдыхают и в целом меньше открывают письма. С другой – хобби занимаются как раз в выходные, а значит, можно своевременно предложить нужный товар.
Сверстали письмо и разослали его одной группе подписчиков в понедельник, другой – к выходным.
Разница между вариантами оказалась незначительной. Но при высокой достоверности – а у нас она была 99% – признаем ее значимой. А значит, делаем рассылку с понедельника по четверг, чтобы получить бОльший Open Rate.
Когда определились с базой, можно переходить к тестам, которые влияют на Click Rate, вот что мы пробуем:
-
разные психологические приемы: интрига, юмор, обещание пользы;
-
обращение к пользователю: персонально по имени или общий подход;
-
тон общения: официальное или неформальное;
-
формат контента: текст, фото, видео, инфографика, гифки и мемы;
-
формат ссылок: текст + ссылка, ссылка вшитая в текст или кнопка;
-
эффект срочности: работает ли ограничение времени акции на вашу аудиторию.
Измеряем ключевые метрики, например, Open Rate, Click Rate, показатель отписок и жалоб, а также конверсии в покупку или подписку и LTV.
Важно, чтобы прогнозируемые изменения действительно влияли на показатель. Если вы меняете тему письма, это должно изменить открываемость, а если контент – кликабельность или дочитываемость.
Показатель должен быть измеряемым в абсолютных числах в определенный промежуток времени. Например, 8000 переходов по ссылке за сутки. Измерить можно открываемость, кликабельность, количество отписок и читаемость, но нельзя – лояльность или любовь ;).
На проверку одной гипотезы уходит в среднем два-три дня. Но что делать, если сроки горят? Есть один лайфхак. Сейчас расскажу.
Данные – наше всё. Ведите и храните реестр гипотез, чтобы не тратить время и деньги на ранее протестированное
Чтобы добиться серьезного улучшения показателей, одного теста не хватит. Для каждого клиента мы проводим от 5 до 20 проверок. На это нужно время, в среднем от 10 дней до полутора месяцев на проекте.
Но бывает, что времени на раскачку нет. Тогда быстро запуститься поможет архив проведенных тестов. Мы бережно храним данные по каждому проекту.
Работаем в спредшите. В него вносим:
-
суть гипотезы;
-
элемент рассылки, который мы проверяем;
-
содержание гипотезы – чем разные варианты письма отличаются друг от друга;
-
дату запуска теста;
-
показатели достоверности результатов, необходимая выборка для каждого варианта;
-
победивший вариант;
-
выводы.
Этот формат мы опробовали на десятках клиентов. Информация обо всех проектах хранится в одной папке. Каждый специалист имеет к ней доступ и может посмотреть результаты тестов в похожих компаниях.
Реестр много раз выручал в условиях дедлайна. Делимся с вами шаблоном реестра. Сохраняйте себе и используйте в работе.
Подытожим
Бороться за внимание подписчиков всё сложнее. Каждый день люди получают десятки писем и открывают только те, которые соответствуют их вкусам.
Разобраться в предпочтениях помогают A/B-тесты. И чтобы не ошибиться в процессе:
-
учитывайте количество подписчиков – это влияет на достоверность;
-
тестируйте одну гипотезу за раз, чтобы не запутаться в результатах;
-
храните архивы, они помогут подтвердить новые гипотезы.
Правильно проведенное тестирование поможет прокачать рассылку, нарастить Open и Click Rate и привлечь бизнесу больше лидов.
