Post #288

Тестируем синтетических респондентов Все пишут про синтетических респондентов. Исследователи, как правило – скептически. Не заменит живых людей, или заменит, но только на простых кейсах. Евангелисты – восторженно. Вот он, золотой век, когда не надо ждать, пока исследователи разродятся. Хоть по гипотезе в минуту тестируй. Обе позиции - теоретические. Мы решили проверить на практике концепцию синтетических респондентов, используя реальные примеры – кейсы, в которых мы знали судьбу идеи, продукта или гипотезы. Мы убрали результат проверки под спойлер, чтобы вы могли проверить себя. Кейс 1. Ситуация: из-за смены алгоритма в сервисе у пользователя меняется цифра кредитного рейтинга. Нам нужно понять восприятие этой ситуации нашими пользователями. Респондент: Сорокалетний мужчина из России, работающий на государственной службе. Есть семья, один ребенок. Доход - средний. Некоторое время назад брал кредиты, платежи по этим кредитам были просрочены. Как следствие, кредитный рейтинг не очень высок. В данный момент все кредиты погашены, задолженностей нет. Результат: огромное разочарование ситуацией: «Честно говоря, сначала был в шоке. Я же, наоборот рассчитывал, что рейтинг должен расти, а он вдруг упал. Первая мысль — какая-то ошибка или сбой в системе. Потом пришло раздражение: вроде бы закрыл все долги, больше никаких просрочек не было, а рейтинг почему-то снизился. Начал прокручивать в голове, что могло повлиять. Может, банки пересмотрели какие-то свои критерии или обновилась база данных? Или, например, недавний запрос на проверку кредитного рейтинга как-то повлиял? Но самое неприятное — это ощущение несправедливости. Получается, сколько ни старайся, система все равно тебя не прощает сразу. И это напрягает, ведь я же собирался брать кредит на машину, а теперь боюсь, что условия будут хуже» На самом деле:✅ на исследовании всё так и было. Но во многом это самоочевидный кейс: поставьте себя на место пользователя, и вы придете к тем же выводам быстрее, чем сформулируете промпт. Кейс 2. Концепт: стартап в Сан-Франциско, проверяющий договоры аренды недвижимости с помощью AI. Респондент: айтишник из Сан-Франциско, недавно снявший квартиру. Результат: Восторженный интерес со стороны синтетического респондента. На самом деле: ❌договоры аренды - типовые, по одному шаблону, соответствующему закону штата. Кроме того, в Калифорнии законы штата защищают арендатора лучше, чем арендодателя. Мы провели ровно одно исследовательское интервью в 2018 году, чтобы понять, что идея не взлетит. Любопытно, что в начале интервью наш синтетический респондент воспроизвел те факты о рынке аренды в Сан-Франциско, о которых мы уже знали (договора - типовые), однако это не помешало выдать ему интерес к продукту. Хороший исследователь засомневался бы, увидев противоречия между ситуацией и интересом к продукту. Кейс 3. Концепт: новое средстводля удаления запахов. Это инновационная технология, которая буквально связывает запахи, а не заглушает их другим ароматом. Например, этим спреем можно опрыскать пиджак курильщика, и запах табака уйдет совсем. Спрей подходит не только для одежды, но и для пола, мебели и ковров. Респондентка: американская домохозяйка, одиночка, 45 лет, у нее в доме 9 кошек разного возраста, которых она очень любит. Результат: Восторженный интерес со стороны синтетического респондента, с вопросами о безопасности для кошек. На самом деле: ❌это известный кейс Febreze. Исследование причин провала первого запуска выявило, что и курильщики, и кошатницы привыкли к запахам, и то, как пахнет у них дома – проблема не для них, а для тех, кто к ним пришел. Два последних эксперимента воспроизводят те же ошибки, что были у людей, придумавших эти продукты: до исследования у команд были предположения о ценности продукта и целевой аудитории, которые совпали с тем, что демонстрировала LLM в нашем мини-эксперименте. Итог тестирования: пока что «синтетические респонденты» оценивают продукты и идеи примерно так же, как и сама продуктовая команда: с азартом верят в них, игнорируя окружающие факты. (продолжение) 💽@PostPostResearch