PostPostResearch: Константин Ефимов и Анастасия Жичкина

ЧТО ДЕЛАТЬ, ЕСЛИ РЕЗУЛЬТАТЫ UX-ТЕСТОВ ПРОТИВОРЕЧАТ ДРУГ ДРУГУ? Например, в ходе тестов 4 респондента не могут использовать фильтр, а 4 других считают фильтр очень удобным. Наши действия? Ведущий юзабилити-специалист в UsabilityLab Ирина Денисова предлагает два варианта: 1️⃣ Первый вариант: отразить проблему в списке юзабилити-проблем, а в хороших решениях отметить ту же функцию как удачную. «Все очень круто, нужно переделать». Ирина пишет, что это неудачный вариант, и это так и есть. 2️⃣ Второй вариант мы процитируем дословно: Вариант 2. (как лучше): • в описании юзабилити-проблемы указать, что несмотря на сложности одних респондентов, другие посчитали решение удачным. Но т.к. проблема выявлена, ее нужно устранить, • если функция важная или ее изменения очень затратны / не выгодны для бизнеса, предложить провести количественник, чтобы сделать более достоверные выводы по фиче, • если удачным решение отметило малое количество респондентов или преимущества его незначительны, вообще не отмечать фичу как удачную в отчете, а обратить внимание на проблему. ВАЖНО: Если функция объемная и проблемы встретились только в одной ее части (например, непонятны формулировки параметров в фильтре), а само наличие функции или другая ее часть (например, вид списков в фильтре) действительно хорошо реализованы, то стоит отразить это и в проблемах, и в удачных решениях, заострив внимание именно на каждой ОТДЕЛЬНОЙ части функции. Мы тестировали фильтры, и это реально боль. Очень многие люди не опознают разные иконки с фильтрами – говорят, что это «какая-то воронка, и непонятно, зачем она тут». А когда опознают, то используют и правда с трудом. Поэтому в некоторых гайдлайнах общая рекомендация для фильтров при проектировании - сбрасывать фильтры после выхода пользователя, иначе поддержку просто разорвут. Но обычно для команды, которая работает над проектированием интерфейса, важно не что вы им напишите в отчёте. Команде важно понимать, почему их интерфейсные решения хороши или плохи. ЧТО не так с фильтрами для одних респондентов? ПОЧЕМУ для других респондентов фильтры проблемы не представляют? И дело не в том, как вы уложите противоречия в отчёт. Ответ на вопрос «почему пользователи так по-разному используют фильтры?» нужен, чтобы понимать, КАК менять интерфейс. На вопросы «Что не так?» и «Почему..?» количественник ответа не даст. Но мы можем это выяснить, поговорив с людьми. Поэтому до количественника и до написания отчёта было бы лучше выполнить вариант 3️⃣: На время отойти от утвержденного сценария теста и уделить внимание анализу причин: почему эти люди проходят сценарий по-разному? Например, сразу после выполнения сценария спросить – о, как интересно, у вас получается использовать фильтр. Расскажите, как вы этому научились? (и уточнять до тех пор, пока опыт респондента не станет нам понятен) И тогда, скорее всего, выяснится, что у этой части людей с подобными фильтрами есть опыт в других приложениях. И тогда вы сможете посмотреть, как это реализовано там, где эти люди научились использовать фильтры, и перенять эти практики. Как только мы узнали, почему люди проходят тесты по-разному – собираем команду и обсуждаем, что делать дальше. - Может, нам нужно поменять критерии рекрута, если к нам приходит слишком много опытных, а нам нужны новички. - Может, нам лучше, наоборот, расширить рекрут на две группы - опытных и новичков и сравнить их между собой. - Может, нам нужно переделать прототип, и не сжигать тесты зря - Может, нам нужно сделать обучающее видео для нашего продукта или изменить онбординг. Но в любом случае важно действовать быстро. 💽@PostPostResearch

💽 Открываем продажу билетов на осенний курс "Анализ качественных данных". UPDATE: Группы на сентябрь 2024 набраны. Следующий поток в январе 2025. Вы можете записаться в лист ожидания. На курсе будем обсуждать: ● Как понять, почему люди ведут себя так, а не иначе? ● Какой фреймворк выбрать для анализа причин поведения людей? ● Что это вообще могут быть за причины, и откуда о них узнать, если я – не психолог и не социолог? ● Когда использовать персоны, а когда – JTBD? ● Как разобраться в разных версиях JTBD? ● Как обобщать данные: таблицы или сторителлинг? ● Как подать полученные данные, чтобы это было понятно и убедительно? 🔥Мы очень любим вести именно этот курс. Анализ, почему люди ведут себя так, а не иначе - это самая интересная часть исследования. На эту часть курса обычно приходят люди, которым интересно докопаться до сути. Отзывы на курс можно посмотреть здесь. 🌛Группа стартует 3 сентября. Занятия проходят вечером: с 19.00 до 21.00 по вторникам и четвергам. В курсе 11 занятий по 2 часа. Стоимость: 50 000 ₽ / 570 € Из России билеты можно оплатить прямо на нашем сайте. Если вы хотите оплатить через юрлицо - заявку можно оставить там же. Теперь мы принимаем платежи через Продамус, а не через Таймпад. Цена билета - именно та, которая заявлена, без дополнительных комиссий (Таймпад брал с покупателя дополнительные 5%). Не из России курс можно оплатить, написав мне в личку. Я сообщу реквизиты. 🎫 Купить билет

Как тестировать тексты? Коллега задал вопрос: «Мне тут предстоит фокус-группы вести, офлайн. Планируем обсуждать концепцию с клиентами. В принципе я с таким работал и примерно представляю, как это делается, но освежить и систематизировать информацию не помешало бы. Есть навскидку какие-то статьи или книги, в которые есть смысл заглянуть?» Это тот самый случай, когда вам нужно узнать, как люди воспринимают текст: как они его понимают, что им понравилось или не понравилось, и что они по его поводу думают. И здесь фокус-группа отлично дополняется маркерным тестом. На офлайн фокус-группе раздаете людям текстовые маркеры – красный и зеленый, распечатки с концепцией, и даете инструкцию: «У вас у всех два фломастера – красный и зеленый. Красным подчеркиваете то, что не понятно или не понравилось – зеленым – то, что понравилось. Затем – поставьте оценку по пятибалльной шкале». Оценки эти потом считать не нужно. Они нужны для того, чтобы человек в процессе не передумал – потому что, если до него 5 человек из 6 сказали, что концепция плохая, а он поставил 5 – то он может и передумать. Но если он раньше поставил другую оценку - ему придется об этом сказать и как-то это объяснить. Обычно концепция оценивается по следующим параметрам: 1️⃣ Первое впечатление / спонтанные реакции 2️⃣ Понятность 3️⃣ Достоинства и недостатки 4️⃣ Уникальность 5️⃣ Ценовые ожидания 6️⃣ Мотивационный потенциал Неочевидные вещи про тесты концепций: 1️⃣ Концепцию мало раздать, вам, как ведущему, ее надо прочитать вслух. Казалось бы, зачем? Затем, что: 🅰️ Это останется на записи и облегчит анализ 🅱️ Люди ленятся читать, а если вы прочитаете вслух, есть шанс, что они это хотя бы услышат. 2️⃣ Нужно менять порядок предъявления концепций на разных интервью или группах, чтобы избежать эффектов последовательности: например, когда все внимательно разбирают ту концепцию, которая оценивается первой, и менее дотошно относятся к двум другим. 3️⃣ Если концепций несколько, не давайте сравнивать одну с другой до того, как их посмотрели все. Сравнение концепций до того, как они все просмотрены, «фреймит» людей на определенную оценку концепций. Без сравнения, скорее всего, эта оценка будет другой. Ранжирование концепций делается после сравнения (и тоже сначала каждый участник сам выбирает своих лидеров, фиксирует оценку, а затем - озвучивает ее). Что еще посмотреть по теме: 📹Взаимодействие исследователя и UX-писателя. Митап с Ирой Моториной 📚Памятка: Как выбрать метод исследования для оценки текста

Коллеги, мы обновили папку с профессиональными каналами по UX. Теперь там есть всё - от дизайна и UX редактуры, регулярных разборов от Станислава Хрусталева - до еженедельных подборок ссылок на интересные статьи про рисеч от Михаила Хананашвили. Можно добавить всю папку, а можно - выбрать отдельные каналы. Уверен, что каждый найдет для себя что-то полезное. 📣UX/UI

Сколько респондентов достаточно для качественного исследования? Никто не знает. По поводу того, как отвечать на этот вроде бы простой вопрос, до сих пор нет единого мнения. Его нет даже в рамках обоснованной теории - среди людей, которые сформировали современные качественные исследования. И даже, наоборот, среди этих людей есть идея, что количество респондентов точно определить нельзя. «Не существует эффективных методик для определения размера выборки, необходимой для достижения информационного насыщения», говорит антрополог Janice Moorse. Но нам в этих условиях надо как-то работать. Как-то понимать заранее, сколько человек мы будем опрашивать. В этой статье мы: ✅ показываем на конкретном примере из банковской сферы, как работаем мы. ✅ обсуждаем, почему единого способа правильно определить количество респондентов действительно нет. ✅ рассказываем, как мы все же можем подсчитать, сколько нужно людей - в зависимости от того, что мы исследуем, кто исследует и в каких условиях. 📚Интервью: сколько респондентов достаточно?

За вчерашний день к каналу присоединилось 70 человек. Напишите в комментариях, откуда вы пришли, нам очень интересно) Для новых подписчиков: самые интересные посты канала, чат для исследователей. И наши планы: 💽 Тест оценки знаний по качественным методам исследований. Модель компетенций уже сделали, есть ее предварительное воплощение в виде вопросов, сейчас вместе с коллегами из lost.report работаем над UX самого теста. 💽 Модель ошибок в исследовательских интервью. Продолжение этой работы. В этот раз мы взяли для анализа реальные протоколы обратной связи по нашему курсу, их за 4 года набралось достаточно, чтобы получить количественные данные о распространенных ошибках. 💽 Лонгрид про дизайн выборки в качественных исследованиях (сколько респондентов будет достаточно?). Сначала мы хотели сделать памятку, но как и в любом сложном деле, готовых алгоритмов нет – а есть эвристики.

📚Книги по коммуникативной компетентности для исследователя Виталий Болотаев написал пост про топ книг для продуктового исследователя. Мы решили продолжить эстафету, но поскольку книг много – начнем с коммуникативной компетентности. Где-то с уровня middle, рост специалиста по качественным исследованиям идет не сколько за счет изучения техник интервью, а за счет изучения смежных сфер – где люди общаются с людьми, но с другими целями и на другие темы. Это могут быть переговорщики, конфликтологи, психотерапевты, и даже сыщики. И все эти люди, так или иначе осмысляют свои навыки общения. И есть точка зрения, что ключевой коммуникативный навык – это эмпатия. Но это – лишь половина правды. Потому что эмпатия должна дополняться ассертивностью. Ассертивность — это умение выражать свои мысли, чувства и потребности ясно, открыто и уважительно, не нарушая права и чувства других людей. Это способность устанавливать границы, защищать себя и свои интересы без агрессии или пассивности. В ассертивном поведении сочетаются уверенность, эмпатия и уважение к себе и окружающим. Для исследователя, да и для любого человека – в жизни и в работе, от ассертивности – одни плюсы. Поэтому первая книга, которую мы рекомендуем – это классика ассертивного подхода 1️⃣ Мануэль Смит «When I said “No”, I feel guilty» (в русском переводе – «тренинг уверенности в себе») Тут и приемы для отстаивания своей точки зрения, и противодействие манипуляциям, и «права личности». Важно: не все из этих техник подойдут для отстаивания границ с друзьями и близкими: некоторые из этих техник довольно инвазивны, и могут разрушить отношения, choose wisely. Книга короткая, можно прочесть за один вечер. Из минусов – сейчас невозможно найти издание на бумаге, только скачать у пиратов. 2️⃣ «Как сказать. Главная книга по развитию коммуникативных навыков». Мэтью Маккей, Марта Дэвис и Патрик Фаннинг Эта книга, что называется – «база». И она отлично дополняет первую. Потому что в ней разобраны все нужные понятия – начиная от (активного) слушания, через язык телодвижений и формы манипуляций – к ассертивности. Минусы: упражнения в этой книге лучше пропустить, они довольно культурно-специфичны, и могут вызвать отторжение. 3️⃣ Крис Восс «Никаких компромиссов. Беспроигрышные переговоры с экстремально высокими ставками» Эта книга имеет особенную оптику. Автор – переговорщик в ФБР, который говорил с террористами и преступниками, удерживающими заложников. Кроме самих приемов и техник – очень интересно почитать историю их создания: в ФБР озаботились поиском новых способов после серии трагичных событий, где переговоры ни к чему не привели. Эти книги мы рекомендуем в нашем курсе как в модуле «интервью», так и в модуле «влияние исследователя» - поскольку общаться приходится не только с респондентами, но и с коллегами, и с заказчиками. Будем рады обсудить ваши любимые #книги по коммуникативной компетентности в комментариях 💽@PostPostResearch

Когда исследователь дает длинную «подводку» к вопросу, игнорируя особенности респондента #юмор 💽@PostPostResearch

Короткий или подробный гайд? Михаил Боде задал у себя в запрещенной соцсети вопрос: Френды, занимающиеся исследованиями и причастные к ним, а как вы для себя определяете, насколько детализированным должен быть гайдлайн глубинного интервью? От каких факторов это зависит — именно для вас? Делимся нашим ответом в канале ✅ Когда мы используем короткий гайд: 1️⃣ Сама тема не предполагает большого количества «ветвлений» и дополнительных вопросов. Например, нам нужно выяснить, как у рисеч-лидов принято строить работу с аналитикой: пишут они в отчетах выводы и рекомендации, или нет. И от чего это зависит. Тогда гайд содержит всего 5-6 вопросов, без подробных уточнений. Тут можно просто просить рассказать больше или обращаться к опыту других информантов – «а до вас нам говорили такое, что думаете?». 2️⃣ Когда мы вообще ничего не знаем: можно в начале провести 2-3 нарративных интервью по определенным темам. А потом уже составить развернутый гайд со всеми «ветками» и дополнительными вопросами на основе тех историй, что мы узнали. Важно: подход «любопытство и невежество» НЕ работает в экспертных интервью и в B2B. 3️⃣ Когда нам нужно погрузиться в бизнес заказчика и понять язык, на котором они говорят со своими клиентами. Такие интервью обычно небольшие, на 30-40 минут, и вопросов там не так много. ✅ Когда мы используем подробный гайд: 1️⃣ Интервью на проекте проводят несколько исследователей. Подробный гайд решает две задачи: 🅰️ Синхронизация команды исследователей: все видят, какие «ветки» в разговоре могут появится, и если такая тема всплывает – то можно спросить еще и вот про это и про то. В идеале все участвующие смотрят первые 2-3 интервью, чтобы видеть, как и куда идет беседа. 🅱️ Контроль качества интервью: вопросы помечаются как обязательные и опциональные, а также указан примерный тайминг: всем понятно, чему нужно уделить основное время, а что мы спросим, если будет возможность. 2️⃣ Много задач в рамках проекта: можно забыть задать все вопросы, особенно если вы говорите дольше двух часов. Или, когда нам нужна очень детальная картина (но тут лучше дополнить интервью дневниками). 3️⃣ Когда есть заказчик или команда: подробный гайд, включающий в себя возможные ветки, конкретные вопросы, а также гипотезы/задачи исследования - вселяет в заказчика уверенность, что мы точно обо всем поговорим. Обычно мы пишем подробный гайд, поскольку ситуации, когда нужен короткий – встречаются реже. И мы работаем не вопросами – мы стараемся представить, какими путями пойдет беседа, чтобы мы получили ответы на вопросы. На основе этих путей строится структура гайда. Начинаем мы с общих тем (в которых мы ожидаем получить ответы на исследовательские вопросы), а дальше переводим их в общие вопросы, уточняющие вопросы и опциональные вопросы. Есть точка зрения, что детальный гайд фреймит исследователя. С нашей точки зрения, это вопрос квалификации исследователя. Ну и при изучении пользовательского опыта мы всегда рекомендуем использовать нарративное интервью (в котором зафреймить респондента нельзя в принципе), а не работать цепочками вопросов. ❌ Чего мы НЕ делаем: 1️⃣ Не просим исследователей на проекте задавать вопросы дословно. Они должны быть уместно переформулированы, с учетом контекста беседы, а не зачитываться с листа. В идеале, это выглядит не как «вопрос-ответ», а как интересная спонтанная беседа двух собеседников. 2️⃣ Не идем сразу в «ветки». Пусть респондент сам обозначит свой опыт, и если он связан с дополнительными вопросами, мы их зададим. Если у нас нет готовых вопросов под эту «ветку» - то все равно идем туда за респондентом, если она возникла. Можно использовать элементы нарративного интервью. 3️⃣ «Альтернативами» типа «вы пьете чай или кофе?» - мы не работаем. И никому не советуем. 4️⃣ Не просим исследователей на проекте придерживаться порядка вопросов строго, но если порядок вопросов может повлиять на ответы – то «перескакивать» респондентам тоже не даем. 5️⃣ Не используем «готовые вопросы». Вопросы должны быть уместны, как шутка или комплимент. Будем рады обсудить в комментариях 💽@PostPostResearch

В четверг, 28 марта, начинается модуль «Влияние: как интегрировать исследования в бизнес-процесс». Это последний модуль нашего обучающего курса по исследованиям. Осталось четыре3️⃣ места. 🎫 Купить билет на Timepad «Анализ качественных данных» будем повторять в сентябре, и сделаем вечернюю группу. Кто хотел, но не попал в этот поток – запишитесь в лист ожидания.

❤️👁 B2B интервью: драматургия эмпатии Принято считать, что эмпатию надо проявлять на интервью. Подстраиваться под респондента, активно его слушать и помогать раскрыться. («это база») А что, если у вас B2B/экспертное интервью, которое вы ведете на большей эмоциональной дистанции, чем в случае B2C? Где тут место эмпатии? Часто исследователям важно выяснить, какие у респондента возникают проблемы. Но вообще разговор о проблемах — это триггер. И тут очень помогает посмотреть на это глазами вашего респондента. Вы – ЛПР, но руководите не «центром доходов». Напротив, от вас одни расходы. И в сложные времена ваш бюджет режут первым. И вы часто думаете – «вот если бы я смог убедить выделить деньги на [подставьте название сервиса], мой департамент показал бы лучшие результаты. И бюджет на следующий год был бы выше». А тут к вам еще кто-то приходит и просит рассказать о проблемах. Да еще и спрашивает, как принимаются решения о выделении бюджета - те самые решения, на которые вы должны были, но не смогли повлиять. Оба этих вопроса вызывают стыд. Ну, мог бы и лучше справиться, правда же? Если б убедил руководителя? А на что я вообще могу влиять в компании? Поэтому в лучшем случае вы получите уклончивые ответы. В худшем – человек просто свернет интервью. Как мы можем об этом позаботиться? Мы можем применить эмпатию ДО интервью, на уровне вопросов гайда. Попробовать вжиться в роль вашего респондента, и посмотрите, будут ли вопросы вызывать раздражение апелляцией к негативному опыту, прямотой, и т.д. И тогда триггерящие прямые вопросы можно заменить на косвенные. А вопросы, предполагающие оценку, такие, как «У вас в департаменте есть стратегия?» можно вообще не задавать. Есть ли у вас план? - Конечно, есть! Собеседник даст на этот вопрос социально-желательный ответ. Вместо этого можно попросить привести примеры - вместо «Есть ли у вас стратегия?» - «Какие изменения в компании происходили за последний год?» и «Как в компании пришли к необходимости этих изменений?» И про бюджетирование тоже лучше говорить не вообще (тут человек вспомнит о своем положении в иерархии) – а как это было в последний раз. А если вы говорите с ИП или собственником бизнеса? У них ведь нет таких проблем, как в найме – сам себе хозяин, и стыдно за то, что не получилось реализовать свое решение, не бывает. Но и им тоже бывает непросто говорить о проблемах. Ведь это ставит под сомнение их успешность. Не очень легко рассказывать о том, как ты не справился, и как выбирался из этого. Особенно, если этих проблем можно было избежать на раннем этапе. И здесь можно после установления контакта попросить собеседника вернуться в прошлое – и спросить: «У вас большой опыт. Если бы вы могли вернуться назад, и дать самому себе советы, как вести этот бизнес – что бы посоветовали?» Ваш респондент пошутит про биткойны, а вы вернете его к бизнесу. И разговор пойдет менее формально. И вы можете задать вопрос из позиции «мне нужен ваш совет» - если выступать из роли «я тоже хочу такой бизнес, как у вас» будет с вашей сторону уместно: - А если бы я хотел открыть ресторанный бизнес, с чего мне стоило бы начать? - А с какими проблемами я точно столкнусь? - А как их вообще решают в отрасли? - А что решить сложнее всего? - А у вас это как решается? Сеттинг сменится с «я рассказываю о своих проблемах» на «я даю советы новичку на своем опыте». Исследователь - всегда немного драматург. Он пишет сценарий и представляет, как будет развиваться интервью. Где его собеседник пойдет к нему навстречу? Где, наоборот, он может замкнуться? Именно поэтому мы называем гайд «сценарием», а не списком вопросов. Эмпатия важна, чтобы видеть интервью глазами вашего собеседника. Чтобы те ружья, которые раскиданы по сценарию, выстрелили ровно тогда, когда вам это нужно. @PostPostResearch

Нас часто спрашивают, где исследователю посмотреть готовые аналитические отчеты по реальным проектам? И обычно мы посылаем всех на российский сайт конкурса ESOMAR Research Got Talent. Там есть интересные отчеты - победители прошлых лет: 👿Про травлю в интернете 🆎Про донорство крови (для анализа и рекомендаций использовалась модель COM-B) Но туда можно ходить не только за отчетами, но и за участием в конкурсе исследователей. Молодые исследователи могут сделать наш мир немного лучше, проведя исследование для НКО. Команда-победитель будет представлять Россию на международном этапе, который пройдет в конце августа. Можно подать заявку, даже если у вас нет команды (дедлайн - 29 марта).