О данном A/B тесте
В рамках A/B теста была проверена гипотеза о том, что выделение игровых ноутбуков приведет к увеличению конверсии на 100%.
Тест длился 7 дней с 14 по 21.10.2020. В тесте приняли участие 30334 пользователя, разделенных поровну между тестовой и контрольной группой. В выборку попали пользователи из регионов CIS, MENA и EU, использующие устройства Android, PC, iPhone и Mac. Соотношение групп пользователей, с учетом регионов и устройств, соответствовало историческим данным.
Материалы проекта
Сторителинг (история) проекта A/B тест выделения игровых ноутбуков в отдельную категорию маркетплейса Всё.техника содержит дашборды:
- Исторические данные для подготовки теста
- Проведение теста
- Результаты теста
Данные для проекта получены и рассчитаны в PostgreSQL в три этапа:
- Получение данных из PostgrSQL для подготовки A/B теста содержит:
- Получение данных из PostgrSQL для проведения A/B теста содержит:
- Получение данных из PostgrSQL о результатах A/B теста содержит:
Результаты теста кратко
В октябре 2020 года был успешно подготовлен и проведен A/B тест конверсии в покупку после выделения игровых ноутбуков в отдельную категорию маркетплейса Всё.техника.
Конверсия в покупку после внедрения отдельной категории игровых ноутбуков в тестовой группе выросла до 1.00% с 0.34% в исторических данных и с 0.47% в контрольной группе, т.е. более чем в 2 раза. Средняя выручка тестовой группы, для которой транслировалась выделенная категория, за 7 дней теста составила 4775.5, что на 580.7 больше чем в контрольной группе. Однако, у тестовой группы медиана размера среднего чека ниже и разброс значений среднего чека больше, чем в контрольной группе.
Возможная причина увеличения конверсии, уменьшения среднего чека и увеличения числа более дорогих покупок в удобстве использования отдельной категории для выбора и покупки игровых ноутбуков.
Рекомендации продуктовой команде:
- Рекомендуется внедрять выделение игровых ноутбуков в отдельную категорию. Снижение среднего чека при этом будет компенсироваться увеличением конверсии в покупку.
- Рекомендуется усилить маркетинговую активность по удержанию пользователей с высоким средним чеком.
Содержание
1. Подготовка A/B теста
Дашборд исторических данных для подготовки теста содержит:
- Линейный график DAU новичков.
- Круговая диаграмма распределения новичков по устройствам.
- Круговая диаграмма распределения новичков по регионам.
- Гистограмма распределения выручки.
- Значение средней выручки.
- Значение дисперсии выручки.
- Значение среднего DAU новичков.
- Значение конверсии в покупку.
1.1. DAU новых пользователей
Ежедневно в продукт привлекается в среднем по 4324 новых пользователей. Динамика привлечения новых пользователей имеет выраженную недельную сезонность, ниспадающий тренд и снижение амплитуды колебаний уровня значений. Максимумы приходятся на субботы, а минимумы на понедельники. Абсолютные экстремумы зафиксированы 15 и 24.08.2020 и имеют соответственно значения 7801 и 2364 пользователя.
Продолжительность A/B теста должна быть не менее 7 дней из-за недельной сезонности.
1.2. Распределение новых пользователей
Распределение новичков по устройствам:
| Тип устройства | Кол-во пользователей | Доля |
| Android | 60127 | 44.86% |
| PC | 33567 | 25.05% |
| iPhone | 26764 | 19.97% |
| Mac | 135821 | 10.13% |
Распределение новичков по регионам:
| Регион | Кол-во пользователей | Доля |
| CIS | 60323 | 45.00% |
| MENA | 53879 | 40.20% |
| EU | 19827 | 14.80% |
Новые пользователи в основном из CIS и MENA. Они чаще используют мобильные устройства. В основном, Android.
1.3. Анализ продаж
Гистограмма распределения выручки по количеству продаж имеет нормальное распределение с пиком 150 продаж в районе 2 тыс., при ширине контейнера в 1 тыс., и с длинным правым хвостом, оканчивающимся 1 продажей в районе 36 тыс.
Средняя выручка с одного пользователя равна 5421, а дисперсия 4697.
Конверсия в покупку составляет 2.69% от общего числа пользователей.
1.4. Техническое задание на проведение A/B теста
Название теста: A/B тест конверсии в покупку после выделения игровых ноутбуков в отдельную категорию маркетплейса Всё.техника.
Назначение теста: проверка гипотезыт H0 о том, что выделение игровых в отдельную категорию приведет к тем же результатам, что и без подобного выделения. Альтернативной гипотезой H1 является утверждение о том, что выделение игровых ноутбуков приведет к увеличению целевых метрик.
Целевые метрики и их целевое значение: конверсия в покупку — увеличение на 100%.
Группы пользователей (всего 4324⋅7=30268 пользователей в обеих группах, где 4324 — это среднее значение DAU, а 7 – количество дней цикла недельную сезонность, по историческим данным):
- Тестовая группа (ей будет показываться отдельная категория с игровыми ноутбуками);
- Контрольная группа (без выделения в отдельную категорию).
Дата проведения теста: 14-21.10.2020 (в этот период не ожидается значительных событий, способных повлиять на результаты теста).
Продолжительность теста: 7 дней (в связи с недельной сезонностью).
2. Проведение A/B теста
Дашборд проведения теста содержит:
- Круговая диаграмма распределения участников теста по группам.
- Круговая диаграмма распределения участников теста по устройствам.
- Круговая диаграмма распределения участников теста по регионам.
- Таблица участников.
2.1. Баланс групп в тесте
Количество пользователей в контрольной группе различается на 52 пользователя, что составляет 1.8% от количества всех пользователей, задействованных в тесте:
- Тестовая группа (new_groups) — 1470 пользователей;
- Контрольная группа (current_groups) — 1418 пользователей.
На момент сбора данных количество требуемых наблюдений не достаточно для завершения теста, а расхождение в количестве пользователей в группах менее 2%. Тест требуется продолжать.
2.2. Распределение новых пользователей в тесте
Распределение новичков по устройствам:
| Тип устройства | Кол-во пользователей | Доля |
| Android | 1307 | 44.26% |
| PC | 741 | 25.66% |
| iPhone | 551 | 19.08% |
| Mac | 289 | 10.01% |
Распределение новичков по регионам:
| Регион | Кол-во пользователей | Доля |
| CIS | 1286 | 44.53% |
| MENA | 1164 | 40.30% |
| EU | 438 | 15.17% |
Распределение пользователей по устройствам и регионам в процентном соотношении сопоставимо с историческими данными.
2.3. Промежуточные результаты проведения теста
После первого дня проведения теста 14.10.2024 показала требуемое распределение между тестовыми группами, устройствами и регионами.
Таблица участников наглядно демонстрирует относительное сходство распределения количества пользователей по устройствам и регионам между тестовыми группами.
Распределение пользователей распределены так, как требуется, но наблюдений не достаточно. Поэтому требуется продолжать тест.
3. Результаты A/B теста
Дашборт результатов теста содержит:
- Столбчатая диаграмма конверсии в покупку по группам теста.
- Гистограмма выручки по группам.
- Диаграмма размаха выручки по группам.
- Круговую диаграмму распределения размеров групп.
- Столбчатая диаграмма средней выручки по группам.
3.1. Размеры групп по результатам теста
Количество пользователей в тестовой группе меньше на 178 пользователей, что составляет 0.6% от количества всех пользователей, задействованных в тесте:
- Тестовая группа (new_groups) — 15078;
- Контрольная группа (current_groups) — 15256.
Размеры групп имеют статистически не значимую разницу менее 1%. Общее количество пользователей, принявших участие в тесте, соответствуют ТЗ и превышает его всего на 66 пользователей. По размеру групп можно считать результаты теста состоявшимися.
3.2. Конверсия в покупку
Конверсия в покупку тестовой группы более чем в 2 раза меньше конверсии контрольной группы:
- Тестовая группа (new_groups) — 1.00%;
- Контрольная группа (current_groups) — 0.47%.
Z-тест показал P-value равный 0.00000. При уровне значимости в 0.05 можно считать результаты не случайными.
Разница в конверсию в пользу тестовой группы говорит о том, что выделение игровых ноутбуков увеличивает конверсию в покупку.
3.3. Выручка
Общая выручка тестовой группы 4195, что на 580.7 меньше чем в контрольной группе.
t-тест выручки показал P-value равным 0.26938, что меньше уровня значимости 0.05. Значит, не отвергаем нулевую гипотезу, средние выручки от продаж компьютеров в обеих тестовых группах не отличаются. Однако Тест Манна-Уитни выручки показал Р-value равный 0.01016. Значит, отвергаем нулевую гипотезу. Данные в выборках тестовых групп получены из разных генеральных совокупностей. Их параметры отличаются.
3.4. Распределение выручки
Обе группы имеют нормальное распределение выручки с длинным правым хвостом. Различия:
- Пик распределения тестовой группы — 1 тыс., а контрольной группы — 2 тыс.
- Максимальный выброс тестовой группы — 24 тыс., а контрольной — 21 тыс.
- Медиана среднего чека тестовой группы — 2682, а контрольной — 3864.
- У тестовой группы нормальное распределение менее «гладкое» и имеет больший разброс значений, в отличии от контрольной группы.
Выводы. Выручка тестовой группы менее предсказуема и выше, чем в контрольной группе, за счет высокой конверсии в покупку, а не высокого среднего чека.
3.5. Выводы из теста
В тесте приняло участие 30334 пользователя, что соответствует ТЗ, и тест прошел в требуемый диапазон дат. Значит тест можно считать состоявшимся.
Конверсия тестовой группы выросла до 1.00% с 0.34% в исторических данных и с 0.47% в контрольной группе, т.е. более чем в 2 раза. Средняя выручка тестовой группы 4775.5, что на 580.7 больше чем в контрольной группе. Однако, у тестовой группы медиана размера среднего чека ниже и разброс значений среднего чека больше, чем в контрольной группе.
Возможная причина большей конверсии, меньшего среднего чека и увеличения числа более дорогих покупок в удобстве использования отдельной категории для выбора и покупки игровых ноутбуков.
Рекомендации продуктовой команде:
- Рекомендуется внедрять выделение игровых ноутбуков в отдельную категорию. Снижение среднего чека при этом будет компенсироваться увеличением конверсии в покупку.
- Рекомендуется усилить маркетинговую активность по удержанию пользователей с высоким средним чеком.