Поделитесь опытом проведения исследований и тестирований

Поделитесь статьями с практическими решениям или личным опытом проведения исследований перед началом дизайна и тестирований на стадии реализации в крупных компаниях. Как происходит процесс? Какие инструменты? Как, кто и когда принимает решение что вот именно тут нужно провести тестирование?

Привет! Меня зовут Артем, я Head of Design в компании Jooble. Мы помогаем людям во всем мире найти работу. Наша платформа соединяет соискателей и работодателей. Поэтом все наши исследования это ongoin процесс интервью с представителями и той и другой аудитории.

Когда я попал в компанию, там были настроены процессы интервью с работодателями. Это хорошо. Качество интервью можно сравнить с разговором по душам с близким другом. Он никогда не скажет, что в твоем продукте плохо, всегда похвалит поддержит. Для друга, это отличная манера поведения, для исследования – искажение результатов.

Вооружившись книгой Кагана Inspired (рекомендую), мы решили построить Discovery Process. Каждая новая задача продуктовой тематики – это гипотеза.

Откуда брать гипотезы? — Мы используем технику глубинных интервью. Проводим 8-10 откровенных разговоров “по душам” расспрашивая о всевозможных подходах к поиску работы в интернете. В этих интервью мы каждую неделю находим инсайты, которые необходимо зафиксировать. Собираем их в Notion и на общем митинге с командой прорабатываем эти инсайты, чтобы ответить на вопрос: как часто, эта жалоба или задача встречается у пользователей? Это может быть аналитика, это может быть опрос в hotjar, это может быть конкурентный анализ. Таким образом мы получаем ответ на вопрос: проблема ли это?

Сформировав проблемы, мы готовы к тому, чтобы проектировать гипотезы или JTBD их решения. Снова идем к пользователям, уже вооружившись прототипами, набросками, дизайном и любыми другими подручными инструментами, чтобы понять - решаем ли мы проблему или нужен еще один цикл.

Проведя такой качественный анализ решения, пройдя все циклы проверки, мы готовы к публикации решения через A/B тест и проверки на данных. Обычно, этот подход позволяет нам как минимум (а это поверьте много) не “просадить” ключевые значения в нашем бизнесе, как максимум — улучшить метрики. 8 из 10 гипотез не дадут вам ничего, но каждая гипотеза приближает вас на шаг вперед к светлому будущему.

А какие инструменты и подходы? — Усы, лапы и хвост. Сейчас у нас в команде есть позиция UX Researcher. Это человек (идеально, с образованием социолога), который занимается всеми процессами связанными с рекрутингом кандидатов для интервью. Каждый Product Designer (как это декларирует Каган) принимает участие в интервью. Не менее 4 интервью в 2-х недельный спринт. Всегда. Без вариантов. Дизайнер, который не говорит с пользователями — не дизайнер. Он проводит интервью на предмет поиска тех самых новых инсайтов. Проверяет текущие гипотезы с помощью разных методов юзабилити тестирования: это может быть немодерируемый тест, модерируемый, наблюдение и т.д., вы все знаете. Каждый дизайнер может передать на тестирование свои прототипы. Для этого необходимо заполнить запрос на тест, в котором указать цель тестирования, задачи для респондента и дополнительные комментарии. Заявку оформляем в Notion, ровно как и результаты тестов.

Что же самое важное? – Самое сложное в таких тестах, это перестать ловить эффект узкого горлышка и трактовка. Поверьте, результаты любых тестирований легко провалить с помощью плохой оцифровки интервью, с помощью плохой трактовки результатов. Будьте с этим предельно внимательны.

С радостью отвечу на дополнительные вопросы в Facebook. Пишите :slight_smile:

5 симпатий

Здравствуйте Артём, спасибо за ваш ответ, было очень интересно читать.

Расскажите пожалуйста подробнее о трактовке результатов. Было бы классно если бы вы привели какие-нибудь примеры из вашей работы: когда результат был истолкован хорошо, а когда не очень.

Мы занимаемся мобильными приложениями. Создаем кликабельный прототип -> Отдаем на тест реальным пользователям (через сервисы, которых сейчас много) -> Получаем видео, как пользователи используют приложение -> На основе этого делаем выводы, правим и опять тестим. Когда нет критических проблем - отправляем в продакшн. На живой апе уже смотрим аналитику, конверсии и тд. и продолжаем развивать.

1 симпатия