Post #999

SUTVA (Stable Unit Treatment Value Assumption). Стабильность воздействия на экспериментальный объект. Один из важных принципов честного АБ тестирования. Этот принцип предполагает, что поведение одного участника эксперимента не зависит от поведения других участников эксперимента. Чтобы понять лучше давайте посмотрим примеры 🗂 Сервис для заполнения бухгалтерской отчетности Вы развиваете такой сервис и решили провести АБ тест. Половине пользователей показываете старую версию интерфейса, а половине новую. Вроде все нормально, но могут быть проблемы. Представьте, компании в которых несколько бухгалтеров - пользователей сервиса и все они сидят в одном кабинете. Кто-то из них получил старый интерфейс, а кто-то новый. И вот уже Галя кричит: Тамара Ивановна посмотри, куда у меня делись все кнопки (она получила тестовую версию), Тамара Ивановна смотрит на новый интерфейс Галины и говорит, а у меня все по старому (она в контрольной группе). Через 5 минут они уже звонят в тех поддержку, чтобы выяснить что за фигня. Короче эксперимент сломался, пользователи повлияли друг на друга и увидели оба варианта. 🚕 Сервис вызова такси Предположим у нас мобильное приложение по заказу такси и мы хотим протестировать новый алгоритм назначения цены поездок. В среднем стоимость поездки будет выше в тестовой версии, чем в контрольной версии. Как обычно делим пользователей на 2 группы тест и контроль, но могут быть проблемы. У нас ведь есть водители, которым интересно брать наиболее прибыльные заказы, а так как у пользователей тестовой группы цены в среднем выше, то и больше водителей будет откликаться на эти заказы. Может сложиться ситуация, что свободных водителей готовых браться за заказы от контрольной группы останется совсем мало и пользователи контрольной группы не смогут вызвать такси из-за этого. Т.е. воздействие на тестовую группу опосредовано через водителей повлияло и на контрольную группу. 💰 Кэшбек в банке Предположим вы банк и вы вводите супер клевый кэшбек 5% на все. Решаете протестировать и делаете классический АБ тест. Одной группе не даете новый кэшбек, другой даете. Согласитесь, что кэшбек 5% - классно и вы скорее всего расскажите о нем своим родственникам и друзьям, которые также могут быть клиентами банка, но если они попадут в контрольную группу, то такого классного кэшбека у них не будет и они расстроятся. Т.е. экспериментальное воздействие неявно повлияло на поведение контрольной группы. Что делать в таких ситуациях? Если знаете - пишите в комменты. Если хотите узнать, то поставьте 👍 и я расскажу в следующих постах о подходах для работы с экспериментами в подобных ситуациях.