PostPostResearch: Константин Ефимов и Анастасия Жичкина

⚡️ Начинаем митап про отчеты через 15 минут (19.30 МСК) ссылка на зум у вас в почте (отправитель [email protected]) Трансляцию можно смотреть в Ютубе. Там же можно задавать вопросы и просто болтать — для этого есть чатик. Смотреть на Ютубе

(спасибо за репост) 29 ноября в 19.30 мск я, Константин Ефимов (канал @postpostresearch) вместе с Ирой Моториной (канал «Редач») проведем митап о том, как писать исследовательский отчет. Расскажем: 1️⃣ Как доносить инсайты до заказчиков? 2️⃣ Какие формы отчетов и презентаций бывают и для чего они нужны? 3️⃣ Какие ошибки чаще всего бывают в отчетах? Покажем хорошие и плохие примеры и ответим на вопросы. Митап будет на платформе Zoom. Мероприятие бесплатное. 📹Трансляция на Youtube и запись тоже будут. Зарегистрироваться можно здесь.

Исключение: когда на исследование можно брать людей, которые уже участвовали? В чем вообще риски того, что к вам регулярно ходят люди, которые уже участвовали в исследованиях? 1️⃣ Теряется спонтанность: респонденты подыгрывают исследователю, создавая картинку, которую, как они думают, от них хотят получить, фильтруют информацию. Вы получаете меньше инсайтов. 2️⃣ Появляется неуместный профессионализм. Респонденты тренируют свои нейросети и начинают отличаться от обычных людей: быстрее и легче проходят сценарии в UX тестах, выдают экспертные оценки при тестировании концепций. 3️⃣ «Ходоки» - те, кто профессионально зарабатывает деньги на опросах – откровенно врут, пытаясь выдать себя за пользователей продуктов, которыми на самом деле не пользуются. Первые две проблемы характерны и для честных стартаперов, которые постоянно участвуют в кастдевах как респонденты. Поэтому если не хотим получить «профессиональную выборку» - обходим чатики по поиску респондентов стороной. Но есть и исключения: это экспертные и B2B исследования. Почему в этом случае люди могут повторно участвовать в качестве респондентов? 1️⃣ Таких людей мало, их днем с огнем не сыщешь. Например, сколько в России крупных авиакомпаний ? А сколько там CTO? И выбор между «не говорить ни с кем» и «поговорить с теми, кто уже участвовал», в общем-то, очевиден. 2️⃣ Как правило, речь идет не о личном опыте респондента, а о его экспертизе - а эти данные меньше подвержены искажению при систематическом участии в опросах. А раз с этими людьми все хотят поговорить, то в контактах они будут записаны и как «респондент/опрос/эксперт» тоже. Это нужно иметь в виду при проверке через Getcontact. 💽@PostPostResearch

Лайфхаки: как избавиться от «ходоков»? или сколько исследователей у тебя было до меня? На Usability day обсуждалась тема профессиональных респондентов. Это значит, что индустрия продуктовых исследований стала зрелой. Она занялась проблемой "ходоков", с которой маркетинговые исследователи в России столкнулись еще в нулевых. Интересные моменты из обсуждения: 🅰️Саша Мешкова говорила, что для отсева хорошо работают проверочные вопросы: «что менялось в приложении последнее время?» (а там ничего не менялось) – и «ходок» скорее всего погорит на этом вопросе. 🅱️Мария Симонова говорила, что исследователи, работающие в банке, не могут загружать данные в общую базу респондентов ОИРОМ, так как это нарушает регламенты СБ. Мы поговорили о проблеме «ходоков» с Ольгой Кошелевой (18 лет стажа полевой работы в крупных исследовательских компаниях). Дополним сказанное: Да, «вопросы-ловушки» отлично работают. В 2007 году у нас был проект по новостным порталам. Мы вставили в бумажную анкету скриншоты сайтов БЕЗ логотипов и попросили подписать, что это за сайты. Это была досмартфонная эпоха, и нагуглить сайты по фото было нельзя. В результате половина респондентов отсеялась (оцените масштаб проблемы с «ходоками»). Но осознать, что вы зря потратили время на человека, который вам не подходит, непосредственно перед интервью – это обидно. Поэтому заготовьте вопросы-ловушки заранее и вставьте их в отборочную анкету или в короткое ДЗ. Что касается исследователей в банках. Если возможно, хорошо бы повысить свою значимость в компании и добиться больших полномочий - например, возможности загружать в базу ОИРОМ анонимизированные данные (номер телефона и псевдоним John Doe). Или возможности поделиться с подрядчиком только номерами телефонов тех, кто уже участвовал в исследовании в этом банке - чтобы подрядчик быстро проверил всех респондентов сам, а не банк согласовывал каждого респондента по три дня. Что еще можно сделать? 1️⃣ Плюс один день к таймингу. Не берем респондентов сразу, а сначала проверяем их. На проверку закладываем дополнительное врем - минимум 1 день. 2️⃣ Проверенный подрядчик. Выбор одного хорошего подрядчика снижает шансы увидеть тех же самых людей повторно, т.к. базу участников вы уже будете отслеживать с ним с обеих сторон. Он также экономит время на разъяснение деталей каждый раз при запуске. Не работаем с подрядчиком, у которого нет собственных проверок на «ходоков». 3️⃣ Проверка фото и скриншотов. Когда респондент присылает пруфы в виде фото и скриншотов – проверяем, что эти фото не взяты из интернета или не сгенерированы AI. 4️⃣ Соцсети. Похож ли профиль человека в соцсети на то, что он о себе сообщает? Просим у респондентов ссылки на их аккаунты в социальных сетях.Также проводим исследование по цифровым следам потенциальных респондентов. 5️⃣ Созвон в зуме (в том числе, если закрыты соцсети) на пять минут. Просим показать интересующие нас приложения и соцсети, а также задаем все контрольные вопросы. 6️⃣ Проверка документов. Если респондент не готов прислать вам копию документов - просим показать документы на созвоне. 7️⃣ Звонок по месту работы (для B2B). Выясняем, работает ли этот человек в этой компании, и на какой должности. 8️⃣ Getcontact: как этот человек записан в контактах у других? Заводим отдельный аккаунт и проверяем с него всех респондентов с помощью приложений типа Getcontact. Если он записан как «опросы», «респондент» – не зовем (есть исключения, о них – второй пост). 9️⃣ Внутренняя база респондентов. Ведем свою базу всех респондентов (так как ОИРОМ обновляется с задержкой!). Одна компания регулярно опрашивает юристов и бухгалтеров в Москве. Они ведут базу с середины «нулевых» и оперативно ее обновляют, чтобы один и тот же человек не попал к ним дважды. Общий совет - увеличиваем 💰 бюджет и ⏱ время на исследование. Вам нужен человек, который будет проводить дополнительные проверки, хороший подрядчик и реальные, а не профессиональные респонденты. Если мы что-то упустили - будем рады дополнениям в комментах. 💽@PostPostResearch

Ошибки в интервью: когда они не играют роли Когда мы проектировали наш курс по CX-интервью, мы собрали и проанализировали ошибки, которые встречаются у начинающих и не только. Вышла довольно большая и интересная статья. Но по мере того, как мы проводили новые и новые потоки курса, менялось наше понимание ошибок и отношение к ним. Этим летом у нас был общий проект с исследовательницей с большим стажем. И поначалу казалось, что ее стиль ведения интервью – неидеален. Она допускала большие вводные и местами «склеивала вопросы». И для новичка это были бы довольно серьезные ошибки. Но она работала не вопросами. Она, как и большинство исследователей с опытом, держала в голове все пути, по которым может пойти мысль респондента. И шла по ним, возвращаясь к тем тупикам, которые оставались непроговоренными, и уточняя до тех пор, пока картина полностью не становилась ясной. А еще она поддерживала глубокий контакт с респондентами – было очень сложно что-то ей не рассказать. Это как Пикассо (все помнят картины Пикассо?). Он, как и нейросети, рисовал искаженные пропорции, 8 пальцев на руках, глаза на одной стороне лица. Но, в отличие от нейросетей, его картины не распадались на части, в них была целостная композиция - и в этом было ключевое отличие. Но так рисовать можно, когда ты уже имеешь большой опыт. Мой преподаватель академического рисунка говорил мне: художники играют в игру «начни рисовать человека с левой пятки, и закончи глазом, рисуя одной линией». И это – мастерство. Но пока ты не мастер, ты должен рисовать человека, строя оси, и вымеряя пропорции карандашом. Не одной линией. Начиная с «проволочного» наброска, пропорции которого ты проверяешь и затем вписываешь этот набросок в окружающую среду. Когда уже после я учился в училище анимационной кинематографии, на занятии по академическому рисунку нас посадили рисовать голову Аполлона, ничего не объяснив. И я добросовестно воспроизвел все, чему меня учили: вот я рисую овал, делю лицо на три части, простраиваю призму носа, слежу, чтобы ухо и нос были на одной линии. Но так рисовали не все. Некоторые просто пытались срисовать голову, начав с произвольного места, в результате пропорции и перспектива искажались. Преподавательница подошла, и удивленно сказала – «о, у вас есть школа, вы явно учились». Нет, моя голова Аполлона не была идеальна. Но благодаря тому, что я рисовал по правилам, она не была перекошена и не приобрела зловещий вид. Возвращаясь к интервью. Одни и те же исследовательские ошибки во время интервью могут быть как критичными, так и нет. В сложных условиях вы можете работать «грязно», не совсем корректно формулируя вопросы - но в то же время прорабатывая все линии беседы. Все решает мастерство исследователя. Но если пока вы не научились рисовать человека одной линией от пятки до глаза, лучше идти по правилам. 💽@PostPostResearch

Интервью: как избежать искажения данных Обычно в CX исследованиях мы топим за то, чтобы человек рассказывал о своем опыте в свободной форме, через нарративное интервью. Что было сначала, что потом, и чем все закончилось. Так респондент расскажет вам свою историю, и вы узнаете, что было важно лично для него. И в большинстве случаев – это работает. Но бывает, что люди могут использовать свою способность рассказывать истории, чтобы скрыть правду. Вчера я был у врача, которой нужно было разобраться в моем запутанном случае. И она действовала совершенно иначе. У меня была заготовленная история, которую я уже рассказывал трем ее коллегам. Но врач прервала меня и попросила начать с того, что происходит сейчас. Затем она спросила, что было перед этим, а потом - еще раньше. И так до тех пор, пока мы не добрались до 2008 года. На этом месте у тех, кто читал профессиональную литературу, загорится лампочка – это же «обратная воронка». Да, но не совсем. Это элементы «когнитивного интервью» - когда респондента просят рассказать историю в обратном порядке. И если она правдива, то в ней не будет несостыковок с историей, рассказанной от начала и до конца. Этот алгоритм интервью описывается в брошюре про допросы ФБР – у следователей, как и у врачей, часто стоит задача докопаться до истины. Как это может использовать исследователь? 1️⃣Когда вы занимаетесь проектированием опыта и опрашиваете пользователей, у которых есть проблемы. Но мы знаем, что люди, у которых есть яркий негативный опыт, склонны описывать плохие события, не описывать хорошие и не описывать свой вклад в ситуацию. Если рассказывать это как историю, информация довольно сильно искажается: все было плохо, есть и будет плохо. Рассказывая в обратном порядке «по кусочкам», исказить информацию сложнее. 2️⃣Когда люди не вовлечены в выбор, и никакой истории выбора нет - музыка, видео, повседневные траты, обыденные действия, все, что касается опыта, который не задерживается в голове, потому что это повторяется часто и не очень важно – мы спрашиваем «Как это было в последний раз?», а уже после этого переходим к вопросам о других событиях. 3️⃣Когда вы опрашиваете людей, которые делают что-то не по своей воле: курьеры, таксисты, продавцы. Просить их рассказать свой опыт как историю часто бесполезно - он часто будет выражаться словами «послан за елкой». В этом случае мы тоже спрашиваем: а как это было в последний раз? А в предыдущий? А это всегда так или бывает по-другому? Проблемы со здоровьем могут быть вариантом такого опыта без выбора - болезни обычно случаются с человеком, он не выбирает их. То, как мы проводим интервью, очень зависит от опыта, который мы изучаем - и от того, насколько человек в этом опыте проявляет агентность.

⏱ Самое быстрое качественное исследование Во вторник начался наш очередной курс по анализу качественных данных. Обсуждали, что обычно качественные исследования — это долго, минимум три недели. Есть ли какой-нибудь метод, который позволяет сделать это быстрее? Можно ускориться за счет интенсивности. Мы писали об этом в статье «Как ускорить проведение качественного исследования? 7 рекомендаций и 3 барьера». Но есть еще более быстрый метод - экспресс-качественник. Мы проводили такие исследования в банковской сфере. Исследование потребует: 3 дня. Время интервью: 10-15минут. Длина гайда: 2-3 вопроса + уточнения. Количество интервью: 20 - 30 за день. Что для этого нужно: 1️⃣ колл-центр 2️⃣ исследователь 3️⃣ заранее выгруженная база ваших пользователей (для 20 интервью потребуется от 200 до 500 контактов) Сотрудники колл-центра производят первичный обзвон. Когда человек соглашается поговорить 10-15 минут, его переключают на исследователя. Исследователь после каждого интервью фиксирует в заметках, что он узнал. 📅 План работы: • 1 день - сценарий интервью и выгрузка базы; • 2 день - проведение интервью • 3 день - анализ. Экспресс-качественник не заменит глубинное интервью – но за 10-15 минут разговора, например, про индивидуальное жилищное строительство, можно выяснить: 1️⃣ Обобщенный путь клиента и затруднения на фазах 2️⃣ Причины обращения к ИЖС 3️⃣ Достоинства и недостатки продукта. ❌Ограничения: • Это не глубинное интервью - вы можете получить только верхнеуровневую информацию. • Не подойдет для эмоционально значимых продуктов и сензитивных тем: курсов по рисованию, образования, здоровья, и т.д. – здесь нужно намного больше времени для установления контакта. • Не заменит вам полноценное исследование в случае Big Discovery. ✅ Преимущества: • Очень быстро • Подходит для работы с аудиторией, у которой нет времени на полноценное интервью. Кому интересен курс по анализу качественных данных - можно записаться в лист ожидания. Следующая группа стартует в январе 2024.

📹 Выложили на Youtube видео вебинара «Дневники, дневниковые исследования и мобильная этнография», который я (Константин Ефимов) провел 29 августа 2023года. ⏳Таймкоды - по ссылке 👇 https://youtu.be/1sLHJUIqLUU

PostPostResearch: Константин Ефимов и Анастасия Жичкина pinned a photo

Написали статью про наш исследовательский фреймворк X-RAYS. Спасибо всем, кто давал обратную связь по черновикам. По статье можно составить представление о нашем подходе к исследованиям - а также о том, как мы будем рассказывать об анализе качественных данных на ближайшем курсе.

29 августа я (Константин Ефимов, соавтор канала @postpostresearch) расскажу про дневники и этнографические исследования. Мобильной этнографией мы занимаемся с 2010 года и накопили довольно большой опыт. Основные темы: 1️⃣ В каких случаях полезна мобильная этнография? 2️⃣ Ошибки при проведении дневникового исследования: как их не допустить? 3️⃣ Сбор дневниковых данных: как организовать работу в команде? 4️⃣ Анализ результатов: специфика этнографии Вторник, 29 августа, 19 часов по Москве. Бесплатно. Если вам интересно, о чем и как мы рассказываем на наших курсах - то вот возможность посмотреть. Заполните форму, и мы пришлем вам ссылку на зум. Будем рады репостам.