Post #162

AB эксперименты в CRM В продолжение темы собеседований. В компаниях по-разному подходят к AB тестированию, но есть база, которую по нашему мнению должен уметь middle CRM-специалист: 1️⃣Правильно формировать гипотезу. Это самый важный, но часто игнорируемый шаг… Вы, вероятно, знаете про метод SMART, так что здесь просто отметим, что цель должна быть измеримой: - Неизмеримая гипотеза: сделать рассылки интереснее с помощью креатива - Измеримая гипотеза: добавление рекомендаций в письмо повысит конверсию в заказ на 5 п.п. 2️⃣Четко фиксировать целевую/прокси-метрики, по которым будем считать успех. Например, ими могут выступать доход с одной рассылки или конверсия в заказ. 3️⃣Определять сегменты для теста. Сегментация зависит от типа эксперимента: - Улучшение текущей рассылки с помощью копирайта, картинок, рекомендаций и других элементов. Здесь все легко: часть базы получает текущий вариант, остальная – новый вариант. В большинстве случаев вы вряд ли сильно затронете критические метрики канала. - Проверка эффективности рассылки в целом. Для этого на часть аудитории рассылка совсем не отправляется. Этот случай серьезнее, так как ограничение отправок – это не просто снижение лидов, это ноль лидов. Не во всех компаниях CRM-маркетинг имеет такую роскошь, поэтому выделять контрольную группу стоит с аккуратностью. 4️⃣Определять длительность теста. Она упирается в объём базы. В крупной компании размер базы позволит провести тест за 1 отправку. Как быстро наберется нужный объём для статзначимости – помогает посчитать калькулятор статзначимости. Для собеседования на уровень middle этого зачастую достаточно. А для страждущих знаний попозже поговорим про более узкие вопросы тестов. P.S. Тема аналитики очень сложная и всегда вызывает кучу вопросов. Если вы не согласны или есть что добавить, то будем рады пообщаться в комментариях 🙂