Читать «Мобильное приложение как инструмент бизнеса» онлайн - страница 133

Для проведения сплит-теста создаются две или больше версий улучшаемого объекта, которые по очереди показываются пользователям. Важно, чтобы пользователи даже не догадывались, что видят по-разному одно и то же приложение. Есть и другой подход: вначале собирается статистика по одному объекту, затем по другому, и сравнивается результат. При всей простоте метода он имеет много нюансов, некоторые из которых я постараюсь разобрать.

Главное условие успешного тестирования – однородность подобранной целевой аудитории. Так, если версию А вы покажете мужчине на пенсии за 60 лет, а версию Б молодой девушке-студентке, это внесет искажение в результаты, потому что их ответы заведомо будут разными, даже если им показать одну версию объекта. Поэтому необходимо так подбирать целевую аудиторию, чтобы и молодая девушка, и взрослый мужчина увидели одну версию объекта, например А, а другая девушка и мужчина на пенсии должны увидеть только версию Б.

Один и тот же пользователь не может проходить тест несколько раз, иначе его результаты будут посчитаны как за отдельного посетителя, но при этом он ведь уже видел изменения, и теперешнее его поведение будет отличаться от того, как он вел себя тогда, когда впервые увидел их.

Кроме однородности аудитории, важно количество аудитории и временной отрезок тестирования. Даже если будет протестировано несколько тысяч пользователей, но за несколько дней, то это не может являться объективным результатом, потому что в следующие несколько дней могут прийти пользователи с иным мнением. Чем дольше проводится тестирование, тем более точный результат получается на выходе.

Для достоверности А/Б-тестирования необходимо найти способ однородного разделения всех пользователей приложения. Так, если вы запустите тест только на один месяц, то это вовсе не гарантия того, что все пользователи будут использовать вариант А и вариант Б приложения.

И не забывайте: меняя что-то в приложении, вы можете получить резкий всплеск роста или падения показателей, вызванных исключительно новизной того, что вы предлагаете пользователям. Пользователи будут выполнять определенные действия не потому, что вы сделали лучше, а только потому, что новая версия отличается от старой. И если сравнить показатели в более долговременном промежутке, то может оказаться, что этот всплеск через месяц-два исчезнет, как будто бы его и не бывало.

Теперь, когда ваше приложение почти готово, заведите себе одну хорошую привычку: постоянно отслеживайте конкурирующие приложения и их авторов. Вы должны знать о них все и всегда. Это может прекратиться только с «кончиной» вашего приложения и никак иначе. Отслеживайте любую доступную информацию. При ограниченных ресурсах лучше всего делать это периодически, например раз в месяц выделять на это столько времени, сколько понадобится.

Сравните приложения наверху и в конце списка. Самые прибыльные и топовые приложения помогут вам понять, что любит ваша целевая аудитория, а самые ненужные приложения покажут, чего точно не стоит никогда делать и что ваши пользователи ненавидят. Составьте список из 10 лучших и 10 худших приложений, после чего внимательно их изучайте и записывайте свои идеи.