СтатьяЧему учить и что получилось
Как задавать вопросы, чтобы ответы на них были полезны
Почему «Было ли полезно?» не помогает понять, что менять в программе. Разбираем, как составить бриф и гипотезы для интервью, формулировать вопросы об опыте и расшифровывать шкалы в опросах обратной связи.
Привет! На связи Лера, я руковожу направлением исследований и корпоративного обучения в TO DUAL.
Эта статья для тех, кто проводит интервью с пользователями и клиентами, собирает обратную связь после обучения и мероприятий или составляет опросы. Она пригодится продактам, исследователям, методистам, L&D-специалистам и всем, кому нужно получить от людей ответы, с которыми потом можно работать.
Вспомните анкету, которую вы заполняли после мероприятия. На вопрос о цели ответить легко, потому что вы помните, зачем пришли. Оценить эффективность гораздо сложнее, так как каждый понимает ее по-своему. Один участник ставит высокий балл, потому что узнал что-то новое, другой высоко оценивает мероприятие за то, что ему было интересно, а третий уже знает, как применить услышанное в работе.
В итоге участники в среднем оценивают эффективность мероприятия на 8 баллов из 10. При этом организатор не знает, за что именно они поставили такую оценку, поэтому не может решить, какие блоки программы оставить, а какие переделать.
Ниже я покажу, как формулировать вопросы для интервью и опросов, чтобы ответы на них помогали решить, что менять в программе или продукте.
Что должно быть в хорошем вопросе
Если спросить людей, что делает вопрос хорошим, они обычно называют цель, точность, конкретику, ясность, однозначность и краткость. Все это верно, но я бы свела эти требования к одному: у вопроса должен быть смысл.
- Во-первых, вопрос должен иметь смысл для вас. Вы как бизнес или как исследователь заранее понимаете, что будете делать с ответом. Тогда ответ поможет вам принять решение.
- Во-вторых, вопрос должен иметь смысл для респондента, то есть быть ему понятным. Человеку не приходится гадать, чего от него хотят и что имел в виду автор вопроса.
Интервью: сначала бриф, потом вопросы
Прежде чем формулировать вопросы, вам понадобится база, и эта база — бриф исследования.
01 Цель исследования
Здесь мы фиксируем, какую информацию хотим собрать и какой вывод из нее сделать.
02 Бизнес-цель
Она показывает, как компания будет использовать результаты: запустит продукт, маркетинговую кампанию или что-то еще. Нужно, чтобы все участники понимали, ради чего проводится исследование, и были на одной волне.
03 Гипотезы
Это мой любимый пункт, и именно в нем новички ошибаются чаще всего. Гипотезы подсказывают, о чем спрашивать, когда вы пишете гайд, то есть список вопросов для интервью. Гипотеза — это утверждение, которое исследование подтверждает или опровергает. Респонденту ее напрямую не озвучивают. Чтобы гипотеза работала, проверьте ее по двум правилам:
- Первое правило: вы заранее понимаете, что будете делать, если гипотеза подтвердится, и что будете делать, если она не подтвердится. Возьмем гипотезу «практиков пугает официальность процесса в университете». Допустим, она подтвердилась. Что это значит для бизнеса? Продукт нужно сделать менее официальным. Если не подтвердилась, официальность ни при чем, и причину стоит искать в другом. Если же на вопрос «и что?» ответа нет, гипотеза не поможет принять решение, и ее можно смело вычеркивать.
- Второе правило: сформулируйте обратную гипотезу, то есть ту же гипотезу с отрицанием. В нашем примере получится «практиков не пугает официальность процесса в университете». Это тоже вполне может оказаться правдой, поэтому исходную гипотезу стоит проверять. А вот если обратная гипотеза звучит бессмысленно, исходная тоже никуда не годится. Например, у гипотезы «пользователям важно, чтобы продукт был удобным» обратная версия звучит как «пользователям не важно удобство». Такого не бывает, поэтому исходная гипотеза банальна. Убираем ее и двигаемся дальше.
04 Вопросы исследования
Это цель исследования, разложенная на подвопросы. Мы смотрим на гипотезы и решаем, что именно нам нужно узнать, чтобы их проверить. Обычно получается несколько таких пунктов, которые затем становятся смысловыми блоками гайда.
Гайд: чек-лист для формулировки вопросов
Когда бриф готов, переходите к самим вопросам. Каждый пункт можно проверить по этому списку:
- Вопросы идут от общего к частному. Вы с респондентом разговариваете, и он не должен чувствовать себя как на экзамене. Поэтому начинайте с широкой темы и постепенно переходите к деталям. Копнуть глубже помогают уточняющие вопросы «почему?», например техника «пяти почему». С ее помощью можно докопаться до причин, которые респондент сам раньше не проговаривал.
- У каждого вопроса есть цель, связанная с целями исследования. Пишите гайд в две колонки: слева вопрос, справа его цель. Если цель сформулировать не получается, вопрос вам не нужен, потому что ответ на него ничем не поможет.
- Вопросы касаются реального опыта респондента. Например: «Как вы поступили, когда оказались в этой ситуации?» или «Что вы делали в тот раз?».
- Никаких вопросов про будущее и никакой частицы «бы». Вопрос «Если бы у вас был миллион долларов, что бы вы с ним сделали?» мы не задаем по двум причинам: люди плохо предсказывают собственное поведение и склонны давать социально одобряемые ответы. Если вы спросите про свой продукт «Будете ли вы им пользоваться?», честное «нет» вы вряд ли услышите. Зато почти наверняка услышите «да», которое на самом деле означает «нет».
- Никаких закрытых вопросов с ответом «да» или «нет». Развернуть такой вопрос в разговор умеет только опытный интервьюер, поэтому проще сразу формулировать вопросы открыто.
- Никаких вопросов с очевидным или общеизвестным ответом. Вы итак знаете ответ, поэтому такой вопрос только отнимает время интервью.
Опросы обратной связи: мой топ плохих вопросов
Вы точно встречали эти вопросы в анкетах после мероприятий и обучений:
- Было ли эффективно?
- Было ли интересно?
- Было ли актуально?
- Было ли полезно?
- Было ли сложно?
Я не люблю ни один из них, но, к сожалению, они встречаются постоянно. Кстати, все они закрытые, то есть нарушают пятый пункт чек-листа. Почему-то авторам анкет важно услышать, что участникам было интересно. А что именно показалось интересным, кому и почему, их уже мало волнует.
Как сделать вопрос полезным
Даже если в анкете помещается только один вопрос, спрашивайте об опыте респондента, то есть о том, что он уже прошел. Так человек понимает, что вы хотите узнать, и вы получаете ответ именно на свой вопрос.
Например:
- Вместо «Было ли полезно?» спросите «Что из программы оказалось для вас полезным, если что-то оказалось?».
- Вместо «Вам было сложно?» спросите «Как часто вы ловили себя на мысли „я этого не понимаю“?». Такой вопрос сразу показывает респонденту, что вас интересует, как часто он терял нить.
- Вместо «Было ли эффективно?» попросите «Перечислите, что вы забираете в работу».
В ответах на такие вопросы участники описывают конкретные ситуации, свои выводы и мысли. Исследователю такие ответы дают в разы больше, чем цифра «78% респондентов считают, что это было эффективно». И что? И ничего.
Отдельно про шкалы
Шкалы я тоже очень люблю. Вас спрашивают «Было ли полезно?» и предлагают шкалу от 1 («бесполезно») до 10 («очень полезно»). Только что значит «очень полезно» и что значит «бесполезно»?
Здесь тоже переходим к опыту и расшифровываем края шкалы. Например, 1 означает «ни одной новой для меня мысли», а 10 соответствует «я пересмотрел свой подход к работе».
Особенно важно, что вы вкладываете в 10. В эту оценку вы закладываете цель бизнеса, ради которой вообще проводили мероприятие или обучение. Так вы показываете респонденту, что для вас важно и на что вы смотрите в первую очередь.
Какой длины должен быть вопрос
Вопрос в анкете не должен занимать больше двух строк на экране телефона, это примерно 7–12 слов.
При этом вопрос может быть и короче, если собеседник и так понимает, о чем речь. Например, в интервью сразу после рассказа респондента о новой функции вопрос «А как вам вот это?» из пяти слов звучит вполне ясно.
Вывод
Прежде чем задать вопрос, решите, что вы будете делать с ответом. В интервью опорой служит бриф, в котором есть цель, бизнес-цель, гипотезы и вопросы исследования. Каждую гипотезу проверьте вопросом «и что?» и обратной гипотезой. В самом гайде спрашивайте о реальном опыте, двигайтесь от общего к частному и обходитесь без «бы» и вопросов про будущее. В опросах спрашивайте о том, что человек уже пережил, и расшифровывайте шкалы. Тогда «эффективно» и «интересно» перестанут быть пустыми словами.