Один из самых первых успешных экспериментов в моей работе прошел еще в 2016 году. В этом эксперименте с интерфейсом конверсия в первое целевое действие выросла с 30,2% до 47,3%.
Влияние интерфейса на показатели продуктовой аналитики
Все понимают, что чем проще интерфейс приложения, тем больше людей смогут в нем разобраться. Для того, чтобы протестировать эту гипотезу мы по-максимуму упростили интерфейс создания рассылки, сократив его с 8 пунктов (мы, как эксперты, считали что они все необходимы) до 2х обязательных пунктов (остальное убрали в дополнительные настройки).
Эта гипотеза повлияла на метрику C1 (конверсия 1), конверсия из зарегистрированных пользователей в тех, кто создал хотя бы одну рассылку. Кстати, активация — это лишь одна из метрик продукта, в другой статье Вы можете прочитать про основные метрики SaaS-сервиса.
Важно: на период тестов нельзя: тестировать другие гипотезы, влияющие на эти же метрики и менять структуру трафика (пользователи из разных каналов ведут себя по-разному).
Алгоритм проведения тестов
1. Построить «основную воронку»
Основная воронка — это путь Вашего пользователя, который он должен пройти в Вашей системе. Мы будем разбирать тестирование интерфейсов SaaS-сервиса для создания голосовых рассылок и отправки голосовых сообщений из веб-интерфейса.
Для простоты мы возьмем простую воронку — Регистрация, Создание рассылки, Оплата. Для более сложных экспериментов необходимо декомпозировать воронку (например добавить этап открытие окна оплаты, чтобы протестить интерфейс окна оплаты). Эти события необходимо записывать в базу, более подробно об этом написано в статье про событийную аналитику.
2. Измерить текущие показатели на которые мы хотим повлиять
Мы пользуемся amplitude — системой для продуктовой аналитики, в которую мы передаем события, а она стоит графики и помогает нам делать выводы.
Из воронки видно, что конверсия в первое действие около 30%.
Что можно улучшить
Из нашей воронки можно увидеть, что у нас есть проблемы с активацией, это первое целевое действие. Мы можем упросить интерфейс создания рассылки. В старой версии есть несколько полей для заполнения для создания рассылки:
- название рассылки
- номера для звонков
- аудиоролик
- выбор номера отправителя (выбран по умолчанию)
- скорость рассылки (выбрана по умолчанию — 1000 звонков в час)
- голосовое меню (выключено по умолчанию)
- планирование рассылки (выбран по умолчанию — старт прямо сейчас)
- тип рассылки (выбран по умолчанию)
Соответственно, для старта рассылки необходимо заполнить первые 3 пункта, остальные пункты можно оставить без изменения. Гипотеза формулируется так: если упростить интерфейс создания голосовой рассылки до обязательного заполнения 2х пунктов а остальные скроем по-умолчанию, то это повысит конверсию в первую оплату на 40%.
Было решено переделать интерфейс создания рассылки следующим образом:
- номера для звонков
- аудиоролик
Поля, скрытые в пункте «дополнительные настройки» и заполненные по умолчанию:
- название рассылки (по умолчнию — дата время)
- выбор номера отправителя (выбран по умолчанию)
- скорость рассылки (выбрана по умолчанию — 1000 звонков в час)
- голосовое меню (выключено по умолчанию)
- планирование рассылки (выбран по умолчанию — старт прямо сейчас)
- тип рассылки (выбран по умолчанию)
Выглядит так:
Выводы
Итоги тестов в amplitude выглядят так:
Важно: для правильного результата эксперимента нужна репрезентативная выборка, для этого необходимо считать дисперсию и корректировочный коэффициент, но на практике чаще всего достаточно иметь более 100 достижений цели.
Старый вариант:
- выборка — 384 пользователя
- 30,2% конверсия в первую рассылку (С1)
- период: 24.10.17-24.11.17
- когорта: 30 дней на момент окончания периода
Новый вариант:
- выборка — 338 пользователей (сократили, тк данных уже достаточно для статистически значимой выборки)
- 47,3% конверсия в первую рассылку (С1)
- период: 25.11.17-12.12.17
- когорта: 30 дней на момент окончания периода
Конверсия изменилась с 30% до 47%, таким образом она выросла на 56%.
Вывод: оставляем новый вариант.
P.S. это очень упрощенный тест, но он уже принес ценностные результаты, за пол-года тестирования интерфейсов это самый значимый результат