В магазинах мобильных приложений опубликованы тысячи конкурирующих программ и игр, и каждое «бьется» за свое место под солнцем. Утром ты в топе, а к вечеру уже в конце списка. Стремление разработчиков закрепить позицию понятно без слов, и здесь важны как и сама «начинка», так и «обертка». Второй компонент зачастую недооценивают. Но ведь у нас принято: «Встречают по одежке, а провожают по уму».

Мы постоянно следим за тематическими исследованиями, и недавно нас заинтересовала статья «Как проводить A/B тестирование для описания приложений в AppStore и Google Play». Увеличение числа установок приложения после микро-теста впечатлило, и мы решили провести свое исследование. Не так давно наша компания Incrdbl Mobile Entertainment разработала игру «Слово за слово — игра с друзьями», на которой мы решили провести A/B тестирование.

Перед нами стояли вопросы: иконка, описание, скриншоты – а так ли они хороши, как мы думаем? Как их модификация или замена повлияет на установки приложения? 

Первичная наша гипотеза: мы сделали правильный выбор, пользователям нравятся все метаданные.

А/B тестирование включало 4 основных шага:

1. Подготовка материалов для теста;
2. Создание лендингов для теста;
3. Организация трафика на лендинги;
4. Анализ результата.

Шаг № 1. Подготовка материалов для теста

В начале июля мы начали готовить материалы для теста. Было решено протестировать по четыре варианта иконки, описания и скриншотов. Мы дополнили недостающие компоненты, стараясь сделать так, чтобы все они были разными.

Шаг № 2. Создание лендингов для теста

Каждый лендинг представлял из себя страницу, имитирующую App Store. Мы выделили три главных блока: иконка плюс кнопка «скачать», описание  и скриншоты. Всего было сделано 12 страниц, и сделали мы их сами, не прибегая к конструкторам мобильных лендингов.

Лендинги для иконки имели следующую структуру: иконка, которая менялась, описание и скриншоты. Два последних компонента были неизменны. В остальных случаях по образу и подобию заменяли  описание или скриншоты, в зависимости от того, что мы тестировали.

Чтобы собрать статистику для каждого лендинга, мы организовали счетчик, который отслеживал количество кликов по кнопке «Скачать».


Шаг № 3. Организация трафика на лендинги

При выборе рекламной площадки наш выбор пал на Google AdWords. Было решено привести на каждый лендинг 1000 пользователей. Мы создали 12 кампаний, все объявления и ключевые слова были одинаковыми, отличались только ссылки на нужный нам лендинг. 

Этап модерации оказался не так прост, как может показаться на первый взгляд. После первой модерации все рекламные кампании были отвергнуты, страницы заблокированы и признаны дорвеями. Служба поддержи рекомендовала внести изменения и придать страницам «индивидуальность и неповторимость». На этом этапе также возник риск блокирования аккаунта.  Таким образом, мы вернулись к первому шагу. К каждому лендингу были добавлены отзывы, изменен внешний вид и кнопка «скачать» изменила свое местоположения. 


После внесенных изменений мы заполнили стандартную форму, описали, что именно мы изменили, а также рассказали цель кампаний. И на следующий день все было одобрено.

Шаг № 4. Анализ результата

В августе мы получили результаты тестирования. И они были неутешительными (кол-во кликов по объявлениям 1000).

Иконка:

Иконки

1. – 29 переходов;
2. – 47 переходов;
3. – 42 перехода;
4. – 25 переходов;

Описание:

Описания

1. – 16 переходов;
2. – 44 перехода;
3. – 46 переходов;
4. – 48 переходов;

Скриншоты:

Скриншоты

1. – 19 переходов;
2. – 17 переходов;
3. – 22 перехода;
4. – 43 перехода;

По всем показателям мы использовали проигрышные варианты (изначальный вариант в App Store – метаданные под номеров один). Было принято решение выкатить новый билд, поменяв в нем «имидж»: использовать наиболее выигрышные по итогам тестирования иконку, описание и скриншоты. 

До внесения изменений игра занимала следующие позиции:

– RU-Overall – 119 место;
– RU-Games – 43;
– RU-Puzzle – 10;
– RU-Word – 1. 

После внесения изменений мы естественно ожидали повышения рейтинга, но были поражены результатами:  

– RU-Overall – 530 место;
– RU-Games – 153;
– RU-Puzzle – 41;
– RU-Word – 5. 

И показатели становились хуже! Конечно, мы вернулись к прежнему варианту.

Результат тестирования оказался для нас неожиданным, а последствия – шокирующими. Но негативный опыт – тоже опыт. В процессе анализа проведенного тестирования мы сделали вывод, что аудитория рекламной сети Google AdWords отличается от нашей целевой аудитории в AppStore, в отличии от приложения автора статьи, на которую мы опирались. Иными словами, вкусы пользователей разных платформ разнятся настолько, что даже с самой успешной иконкой и описанием в Google Play нельзя пытаться покорять App Store и наоборот.