Почему важно формулировать много гипотез и как это делать

Часто говорят, что главное умение продакт-менеджера – формулировать и проверять гипотезы (а вовсе не интегрировать между собой Slack, Trello и Jira). Посмотрели на метрики, придумали, что поменять, сделали, посмотрели, стало ли лучше. Проверили десять гипотез – две сработали, продукт стал божественным. Ура.

Звучит просто: в любом продукте есть куча всего, что можно поменять. Таббар на сайдбар, левую колонку на правую, клик на скролл и так далее. Но есть нюанс, понимание которого приходит с опытом.

Важно, чтобы гипотезы были существенно разными. Если вы передвинули кнопку сначала в одно место, потом в следующее, потом покрасили ее в новый цвет, вы мало что нового узнали о продукте. А задача продакт-менеджера – узнавать о своей предметной области как можно больше, в том числе и в ходе неудачных проверок. Локальная оптимизация поможет вам забраться на маленький холм, но настоящие горы успеха могут располагаться где угодно. Вы не найдете их, если не попробуете двигаться в как можно более разные направления (а также важно при этом достаточно далеко шагать, но об этом уже в другой раз).

Теперь покажу, как на самом деле это выглядит.

Допустим, вы работаете в медиа и обнаружили, что  только 10% пользователей дочитывают до конца тексты на сайте, а 60% отваливается, прочитав не больше трети (все цифры вымышлены). Вы не знаете, что было раньше и  что в среднем принято в отрасли (конкуренты лживые бездарности, счетчик только вчера поставили). Но все же чувствуете, что это как-то не очень. Что можно сделать?

1. Проверить счетчики

Системы аналитики иногда дают сбой, счетчики могут стоять неправильно или отсылать не то, что нужно. Хорошо иметь две или больше системы аналитики, чтобы вовремя такое замечать. Также всегда стоит обращать внимание на связанные метрики: скажем, если число пользователей превышает число сессий, это должно вас насторожить.

По моему опыту, ошибки – чуть ли не основная причина аномалий в метриках. Особенно важно проверять достоверность цифр, если вдруг начался бурный рост. Опытный продакт знает: если метрика выросла без очень веских причин, то либо сбились счетчики, либо нужно найти, что при этом упало. Хорошее не происходит случайно.

2. Проверить внешние факторы и отсечь шум

Например, ваш отдел маркетинга мог ровно вчера завести на проект кучу нецелевой аудитории. Или у вас есть ярко выраженная сезонность (читают только в рабочее время, а были выходные). Возможно, если очистить данные и подождать подольше, все начнет выглядеть гораздо лучше.

Один из жизненных вариантов: у вас может быть так мало текстов или пользователей, что все сложные метрики просто не будут иметь смысла и статистической значимости.

3. Проверить технические ошибки

Например, если у вас в середине текста рекламное видео со звуком – люди пугаются, злятся, и закрывают текст. Или, допустим, верстка ломается везде, кроме Safari, а все в вашей компании используют только маки с айфонами и не знают об этом (обычная история для рекламных агентств).

Эти три пункта нужно рассматривать всегда в первую очередь, перед тем, как что-либо менять.

4. Принимаем, что мир устроен так. Адаптируем бизнес

Есть такая игра на совещаниях. Вы долго обсуждаете продукт, механики, процессы и что угодно еще, а потом кто-то с бесконечно уставшим, но просветленным видом произносит “а давайте посмотрим на это с точки зрения бизнеса”. Кто сделает это первым, тот и победил, все остальные наказаны острым ощущением своей неэффективности.

Хороший ход: перенести баннеры из-под текста наверх. Еще один можно поставить на 30% текста. Быстро, дешево и эффективно. Вы не узнаете ничего нового, но потратите мало времени и даже что-то заработаете (по крайней мере, в ближайшей перспективе).

5. Проблема в пользователях. Давайте заставим их дочитывать до конца

Звучит странно, но так постоянно делают, особенно люди, которые плохо понимают аудиторию. Я читал написанные всерьез тексты о том, как будить уснувших пользователей лонгридов, вставив, например, в середину видео или интерактивный блок. В данном случае можно сделать попап, который будет переспрашивать у недочитавшего, действительно ли он хочет закрыть страницу. Чуть более гуманный вариант пробовал The New Yorker: можно отправить себе текст на почту с закладкой на нужном месте.

Этот подход прост и механистичен, и поэтому ее так любят начинающие: нарисуем красную стрелочку, немного подергаем нужный блок, сделаем попап на весь экан, пообещаем денег за действие. “Нет времени объяснять, жмакай сюда”. Не то чтобы это совсем не работало, просто такой подход дает мало информации и не решает саму проблему. По сути, вы компенсируете свой недостаток эмпатии и знаний за счет комфорта пользователя. А люди на длинной дистанции предпочитают, чтобы к ним относились как к людям.

6. Проблема в пользователях. Давайте найдем новых пользователей получше

Даже в плохих метриках можно найти что-то хорошее. Целых 10% людей дочитывают ваши тексты до конца! Кто они? Давайте найдем больше похожих людей и будем писать только для них.

Это типичный подход стартапов, которые ищут соответствие продукта и рынка. Особенно стартапов типа “мы сделали штуку и теперь пытаемся понять, зачем”. Для зрелых и массовых проектов это не всегда реально.

7. Пользователи и контент отличные. Что-то не так в представлении продукта

Что может мешать человеку дочитать текст, который он хочет дочитать?

Например, у вас много аудитории за 50, а шрифт очень мелкий – людям тяжело читать. Или вылезает окошко “Подписаться на нас в социальной сети Facebook”, которое трудно закрыть и люди уходят. Похоже на технические ошибки, но сложнее отлавливается и требует некоторого озарения. Впрочем, именно на такие вещи люди чаще всего жалуются, поэтому полезно посмотреть все, что пишут о проекте в саппорт или где-то снаружи.

8. Проблема в контенте. Оставляем только хороший контент или ищем новый

Тут есть два подхода, и оба правильные. Можно изучить, чем выделяются статьи, которые дочитывают чаще обычного: тематика, авторы, время публикации. После этого начать делать больше такого и меньше всего другого. Крайне желательно при этом понимать, что такое “статистическая значимость”.

Второй вариант (особенно если ничего выделить не удалось) – поискать новых авторов, темы и форматы. Совершенно естественный для редактора, но не всегда приходящий в голову продакт-менеджеру.

9. Принимаем, что пользователи отравлены фейсбуком и в принципе не могут читать статьи до конца. Может, им и не надо?

Что, если делать тексты в три раза короче, чем сейчас? Может, тогда их получится делать в два раза больше и всем станет только лучше?

10. Принимаем, что мы не умеем писать статьи

Если какая-то штука плохо работает, часто ее правильно закрыть, а не лечить. Как вариант – купить у тех, у кто умеет делать правильно, и не мучиться.

И вообще, кто сказал, что ваше главное умение именно в том, чтобы писать статьи о чем-то? Может, на самом деле вы совсем про другое?

Что дальше

Даже это не полный список направлений, а в более сложных продуктах и ситуациях вариантов может быть еще больше. Здесь важна интуиция: опытный и хорошо информированный мозг сам отбрасывает те варианты, которые нет смысла рассматривать (дорогие, маловероятные, с низкой потенциальной отдачей). Но умение увидеть разные объяснения и, соответственно, разные потенциальные решения – важное качество, которое стоит тренировать. Попробуйте, вам понравится.

Оставить комментарий