CRM-маркетологи хотят точно знать ответы на множество вопросов. Письма с какими темами чаще открывают? Какие призывы к действию работают лучше? Где выше конверсия? Какое время для отправки пушей — идеальное?
С потолка ответы не возьмешь, бенчмарки не всегда актуальны. Нужно понимать, что работает именно с твоим проектом. Так что все эти вопросы превращаются в гипотезы и тестируются.
Мы в агентстве Mailfit занимаемся улучшением коммуникаций в онлайне с 2016 года и провели уже бесконечно много тестов. И еще столько же проведем :) В этой статье рассказываем, как и зачем тестировать гипотезы и почему этот процесс должен быть бесконечным.
Гипотеза — это предположение, как то или иное изменение повлияет на результат. Как в науке, так и в CRM-маркетинге. Набор гипотез можно сравнить со связкой ключей, которую маркетологи перебирают, чтобы открыть дверь.
Для построения гипотезы используем простую формулу: «Если сделать А, получится B, потому что C».
Например: «Если использовать эмодзи в теме письма, то Open Rate (показатель открытий письма) вырастет на 10%, потому что эмодзи передают эмоциональный посыл оффера».
Бренды активно используют эмодзи в темах писем
Или: «Если в форме подписки использовать GIF вместо статики, то ее конверсия вырастет на 20%, потому что анимация привлекает внимание».
Также, чтобы сформулировать рабочую гипотезу, нужно сделать ее доступной и измеримой. Это значит, что в ней не должно быть никаких двойных смыслов, а эффективность должна быть понятна по метрикам.
Гипотеза «Если мы сделаем привлекательный главный баннер, то CTOR (отношение количества переходов к количеству открытий) повысится на 30%, потому что людям нравятся привлекательные изображения» — плохая. У каждого свои критерии привлекательности. Гипотеза «Если мы повысим качество текста, то CTOR повысится на 45%» — тоже плохая. Ведь, согласитесь, сложно оценить качество текста с помощью метрик.
А вот хорошая гипотеза — «Если мы поделим текст на абзацы, то CTOR повысится на 15%, потому что людям будет легче сканировать рассылку». Гипотеза «Если мы сделаем главный баннер ярким, то CTOR повысится на 30%, потому что яркие цвета привлекают внимание» — тоже хорошая.
Яркие баннеры в рассылках Макдоналдс, которые делаем мы
Читайте также:
Какие показатели отслеживать в email-маркетинге, чтобы понимать его эффективность
В остальном гипотезы могут быть любыми, но всегда лучше оценивать ситуацию трезво — абсурдные идеи могут навредить бренду. Всегда задаем себе вопрос: «Что может улучшить ту или иную метрику?».
На основании выдвинутых гипотез составляются разные варианты, которые тестируются на разных аудиториях. Если изучаем реакцию на первый экран лендинга, то разбиваем входящий трафик и анализируем реакцию пользователей. Если проверяем гипотезы в рассылках, то отправляем оба варианта по разным частям базы.
Весь этот процесс называется сплит-тестированием. Сплит-тестирование (от английского split, «разделение») в CRM-маркетинге — это сравнение вариантов одного и того же элемента для оценки их эффективности и выбора лучшего.
В процессе тестирования яркая кнопка показала себя лучше
Тестировать можно все что угодно:
Первые экраны сайтов.
Цвета в дизайне.
Иллюстрации и баннеры.
Структуру.
Формы подписки.
Темы писем.
Время отправки писем.
Контент
и многое другое.
Классика сплит-тестирований — это A/B-тестирование, когда берутся две контрольные группы. То есть две небольших, но статистически значимых части пользователей. Давайте разбираться на примере емейл-маркетинга.
Допустим, мы выдвинули гипотезу о том, что эмодзи в теме письма повышает Open Rate. Тогда первой группе, назовем ее A, отправим тему с эмодзи, а второй — пусть будет B — тему без эмодзи. Сравним OR в обеих группах и узнаем, верна ли наша гипотеза.
Важно: тестировать нужно только один элемент за раз.
В нашем кейсе — тестировать только эмодзи в теме письма. Если рассылки различаются не только эмодзи, но и персонализацией, дизайном или контентом — мы не поймем, что именно привело к улучшению показателей.
Еще одна возможная ошибка, от которой мы вас предостерегаем — ошибка выборки. Она может случиться, если выбранного сегмента будет недостаточно для измерения результата. Нужна хотя бы 1 000 контактов для каждой из двух групп, иначе выборка окажется нерепрезентативной.
Впрочем, почему «для двух»? Кроме A/B-тестов, можно проводить и A/B/C-тесты или A/B/C/D-тесты. То есть готовить не два, а три и четыре варианта рассылки или других объектов проверки. Так мы узнаем, какой вариант темы письма работает лучше — без эмодзи вообще, с одним эмодзи или с двумя эмодзи. Или, например, какой из трех выбранных эмодзи повышает OR.
Что важнее — Радость, Печаль или Страх?
Важно не слишком увлекаться делением аудитории на маленькие сегменты для тестирования. Это может негативно сказаться на результатах, релевантных для всех пользователей. Лучше остановиться на 4 версиях. Но классика A/B все-таки наиболее показательна по результатам.
Читайте также:
Мониторинг и анализ цен конкурентов, способы его проведения и расшифровка результатов
В процессе работы неизбежно случается момент, когда маркетолог замечает: метрики, ради которых он строит гипотезы и проводит тесты, «застряли» на одной отметке. Это настоящий вызов для специалиста. Какие еще точки роста он сможет найти, чтобы выйти из стагнации?
Проводить аудит и составлять отчеты, а на их основе корректировать стратегию и прокачивать метрики нужно постоянно. Проверили одну гипотезу — получили результат — проверяем следующую. Этот процесс называется бесконечным циклом улучшений, или HADI-циклом.
HADI-цикл — это метод замкнутой проверки гипотез для бесконечных улучшений. Расшифровывается он так:
H — Hypothesis, то есть гипотеза.
A — Action, то есть проверка гипотезы, то есть тест.
D — Data, то есть результат, полученный в ходе теста.
I — Insights, то есть выводы, которые мы можем сделать.
Выводы приводят к новым гипотезам, гипотезы — к новым тестам, и так далее. Цикл улучшений никогда не заканчивается.
Вот так работает HADI-цикл
Читайте также:
Как маркетологу работать с данными коллтрекинга и ничего не упустить
Закрепим основную информацию.
Гипотезы — рабочий инструмент CRM-маркетолога, с помощью которого он повышает метрики.
Формулировать гипотезы нужно понятно, а их результат должен быть измерим.
Гипотезы проверяются на сплит-тестах.
В ходе теста мы можем не только проверить одну гипотезу, но и получить информацию для построения новых.
Строить гипотезы и проводить тесты нужно всегда — иначе метрики будут стоять на месте, а потом начнут падать.
А вот и новая гипотеза: после чтения этой статьи можно построить несколько гипотез, которые пойдут на пользу бизнесу. Протестируем?
Подпишитесь на ежемесячную рассылку Workspace
Отлично! Мы отправили письмо на указанный вами электронный ящик с инструкцией по подтверждению.
Если письмо с подтвержением вашего e-mail не будет получено в течение 10 минут, пожалуйста, проверьте папку СПАМ в соответствующем почтовом ящике.
