A/B тест выделения игровых ноутбуков в отдельную категорию маркетплейса Всё.техника

О данном A/B тесте

В рамках A/B теста была проверена гипотеза о том, что выделение игровых ноутбуков приведет к увеличению конверсии на 100%.

Тест длился 7 дней с 14 по 21.10.2020. В тесте приняли участие 30334 пользователя, разделенных поровну между тестовой и контрольной группой. В выборку попали пользователи из регионов CIS, MENA и EU, использующие устройства Android, PC, iPhone и Mac. Соотношение групп пользователей, с учетом регионов и устройств, соответствовало историческим данным.

Материалы проекта

Сторителинг (история) проекта A/B тест выделения игровых ноутбуков в отдельную категорию маркетплейса Всё.техника содержит дашборды:

1. Исторические данные для подготовки теста
2. Проведение теста
3. Результаты теста

Данные для проекта получены и рассчитаны в PostgreSQL в три этапа:

1. Получение данных из PostgrSQL для подготовки A/B теста содержит:
   • Список маркетинговых активностей
   • Получение DAU новичков
   • Распределение новичков по устройствам и регионам
   • Конверсия и выручка
2. Получение данных из PostgrSQL для проведения A/B теста содержит:
   • Распределение участников теста
   • Пересечение групп теста
3. Получение данных из PostgrSQL о результатах A/B теста содержит:
   • Распределение участников теста
   • Конверсия и выручка

Результаты теста кратко

В октябре 2020 года был успешно подготовлен и проведен A/B тест конверсии в покупку после выделения игровых ноутбуков в отдельную категорию маркетплейса Всё.техника.

Конверсия в покупку после внедрения отдельной категории игровых ноутбуков в тестовой группе выросла до 1.00% с 0.34% в исторических данных и с 0.47% в контрольной группе, т.е. более чем в 2 раза. Средняя выручка тестовой группы, для которой транслировалась выделенная категория, за 7 дней теста составила 4775.5, что на 580.7 больше чем в контрольной группе. Однако, у тестовой группы медиана размера среднего чека ниже и разброс значений среднего чека больше, чем в контрольной группе.

Возможная причина увеличения конверсии, уменьшения среднего чека и увеличения числа более дорогих покупок в удобстве использования отдельной категории для выбора и покупки игровых ноутбуков.

Рекомендации продуктовой команде:

1. Рекомендуется внедрять выделение игровых ноутбуков в отдельную категорию. Снижение среднего чека при этом будет компенсироваться увеличением конверсии в покупку.
2. Рекомендуется усилить маркетинговую активность по удержанию пользователей с высоким средним чеком.

Содержание

1. Подготовка A/B теста
   1. DAU новых пользователей
   2. Распределение новых пользователей
   3. Анализ продаж
   4. Техническое задание на проведение A/B теста
2. Проведение A/B теста
   1. Баланс групп в тесте
   2. Распределение новых пользователей в тесте
   3. Промежуточные результаты проведения теста
3. Результаты A/B теста
   1. Размеры групп по результатам теста
   2. Конверсия в покупку
   3. Выручка
   4. Распределение выручки
   5. Выводы из теста

1. Подготовка A/B теста

Дашборд исторических данных для подготовки теста содержит:

1. Линейный график DAU новичков.
2. Круговая диаграмма распределения новичков по устройствам.
3. Круговая диаграмма распределения новичков по регионам.
4. Гистограмма распределения выручки.
5. Значение средней выручки.
6. Значение дисперсии выручки.
7. Значение среднего DAU новичков.
8. Значение конверсии в покупку.

1.1. DAU новых пользователей

Ежедневно в продукт привлекается в среднем по 4324 новых пользователей. Динамика привлечения новых пользователей имеет выраженную недельную сезонность, ниспадающий тренд и снижение амплитуды колебаний уровня значений. Максимумы приходятся на субботы, а минимумы на понедельники. Абсолютные экстремумы зафиксированы 15 и 24.08.2020 и имеют соответственно значения 7801 и 2364 пользователя.

Продолжительность A/B теста должна быть не менее 7 дней из-за недельной сезонности.

1.2. Распределение новых пользователей

Распределение новичков по устройствам:

Тип устройства	Кол-во пользователей	Доля
Android	60127	44.86%
PC	33567	25.05%
iPhone	26764	19.97%
Mac	135821	10.13%

Распределение новичков по регионам:

Регион	Кол-во пользователей	Доля
CIS	60323	45.00%
MENA	53879	40.20%
EU	19827	14.80%

Новые пользователи в основном из CIS и MENA. Они чаще используют мобильные устройства. В основном, Android.

1.3. Анализ продаж

Гистограмма распределения выручки по количеству продаж имеет нормальное распределение с пиком 150 продаж в районе 2 тыс., при ширине контейнера в 1 тыс., и с длинным правым хвостом, оканчивающимся 1 продажей в районе 36 тыс.

Средняя выручка с одного пользователя равна 5421, а дисперсия 4697.

Конверсия в покупку составляет 2.69% от общего числа пользователей.

1.4. Техническое задание на проведение A/B теста

Название теста: A/B тест конверсии в покупку после выделения игровых ноутбуков в отдельную категорию маркетплейса Всё.техника.

Назначение теста: проверка гипотезыт H0 о том, что выделение игровых в отдельную категорию приведет к тем же результатам, что и без подобного выделения. Альтернативной гипотезой H1 является утверждение о том, что выделение игровых ноутбуков приведет к увеличению целевых метрик.

Целевые метрики и их целевое значение: конверсия в покупку — увеличение на 100%.

Группы пользователей (всего 4324⋅7=30268 пользователей в обеих группах, где 4324 — это среднее значение DAU, а 7 – количество дней цикла недельную сезонность, по историческим данным):

1. Тестовая группа (ей будет показываться отдельная категория с игровыми ноутбуками);
2. Контрольная группа (без выделения в отдельную категорию).

Дата проведения теста: 14-21.10.2020 (в этот период не ожидается значительных событий, способных повлиять на результаты теста).

Продолжительность теста: 7 дней (в связи с недельной сезонностью).

2. Проведение A/B теста

Дашборд проведения теста содержит:

1. Круговая диаграмма распределения участников теста по группам.
2. Круговая диаграмма распределения участников теста по устройствам.
3. Круговая диаграмма распределения участников теста по регионам.
4. Таблица участников.

2.1. Баланс групп в тесте

Количество пользователей в контрольной группе различается на 52 пользователя, что составляет 1.8% от количества всех пользователей, задействованных в тесте:

1. Тестовая группа (new_groups) — 1470 пользователей;
2. Контрольная группа (current_groups) — 1418 пользователей.

На момент сбора данных количество требуемых наблюдений не достаточно для завершения теста, а расхождение в количестве пользователей в группах менее 2%. Тест требуется продолжать.

2.2. Распределение новых пользователей в тесте

Распределение новичков по устройствам:

Тип устройства	Кол-во пользователей	Доля
Android	1307	44.26%
PC	741	25.66%
iPhone	551	19.08%
Mac	289	10.01%

Распределение новичков по регионам:

Регион	Кол-во пользователей	Доля
CIS	1286	44.53%
MENA	1164	40.30%
EU	438	15.17%

Распределение пользователей по устройствам и регионам в процентном соотношении сопоставимо с историческими данными.

2.3. Промежуточные результаты проведения теста

После первого дня проведения теста 14.10.2024 показала требуемое распределение между тестовыми группами, устройствами и регионами.

Таблица участников наглядно демонстрирует относительное сходство распределения количества пользователей по устройствам и регионам между тестовыми группами.

Распределение пользователей распределены так, как требуется, но наблюдений не достаточно. Поэтому требуется продолжать тест.

3. Результаты A/B теста

Дашборт результатов теста содержит:

1. Столбчатая диаграмма конверсии в покупку по группам теста.
2. Гистограмма выручки по группам.
3. Диаграмма размаха выручки по группам.
4. Круговую диаграмму распределения размеров групп.
5. Столбчатая диаграмма средней выручки по группам.

3.1. Размеры групп по результатам теста

Количество пользователей в тестовой группе меньше на 178 пользователей, что составляет 0.6% от количества всех пользователей, задействованных в тесте:

1. Тестовая группа (new_groups) — 15078;
2. Контрольная группа (current_groups) — 15256.

Размеры групп имеют статистически не значимую разницу менее 1%. Общее количество пользователей, принявших участие в тесте, соответствуют ТЗ и превышает его всего на 66 пользователей. По размеру групп можно считать результаты теста состоявшимися.

3.2. Конверсия в покупку

Конверсия в покупку тестовой группы более чем в 2 раза меньше конверсии контрольной группы:

1. Тестовая группа (new_groups) — 1.00%;
2. Контрольная группа (current_groups) — 0.47%.

Z-тест показал P-value равный 0.00000. При уровне значимости в 0.05 можно считать результаты не случайными.

Разница в конверсию в пользу тестовой группы говорит о том, что выделение игровых ноутбуков увеличивает конверсию в покупку.

3.3. Выручка

Общая выручка тестовой группы 4195, что на 580.7 меньше чем в контрольной группе.

t-тест выручки показал P-value равным 0.26938, что меньше уровня значимости 0.05. Значит, не отвергаем нулевую гипотезу, средние выручки от продаж компьютеров в обеих тестовых группах не отличаются. Однако Тест Манна-Уитни выручки показал Р-value равный 0.01016. Значит, отвергаем нулевую гипотезу. Данные в выборках тестовых групп получены из разных генеральных совокупностей. Их параметры отличаются.

3.4. Распределение выручки

Обе группы имеют нормальное распределение выручки с длинным правым хвостом. Различия:

1. Пик распределения тестовой группы — 1 тыс., а контрольной группы — 2 тыс.
2. Максимальный выброс тестовой группы — 24 тыс., а контрольной — 21 тыс.
3. Медиана среднего чека тестовой группы — 2682, а контрольной — 3864.
4. У тестовой группы нормальное распределение менее «гладкое» и имеет больший разброс значений, в отличии от контрольной группы.

Выводы. Выручка тестовой группы менее предсказуема и выше, чем в контрольной группе, за счет высокой конверсии в покупку, а не высокого среднего чека.

3.5. Выводы из теста

В тесте приняло участие 30334 пользователя, что соответствует ТЗ, и тест прошел в требуемый диапазон дат. Значит тест можно считать состоявшимся.

Конверсия тестовой группы выросла до 1.00% с 0.34% в исторических данных и с 0.47% в контрольной группе, т.е. более чем в 2 раза. Средняя выручка тестовой группы 4775.5, что на 580.7 больше чем в контрольной группе. Однако, у тестовой группы медиана размера среднего чека ниже и разброс значений среднего чека больше, чем в контрольной группе.

Возможная причина большей конверсии, меньшего среднего чека и увеличения числа более дорогих покупок в удобстве использования отдельной категории для выбора и покупки игровых ноутбуков.

Рекомендации продуктовой команде:

1. Рекомендуется внедрять выделение игровых ноутбуков в отдельную категорию. Снижение среднего чека при этом будет компенсироваться увеличением конверсии в покупку.
2. Рекомендуется усилить маркетинговую активность по удержанию пользователей с высоким средним чеком.