День из жизни аналитика
Представьте, что вы аналитик, работающий в крупной компании, которая предоставляет возможность различным фирмам продавать товары частным лицам на собственной интернет-площадке (такая компания называется маркетплейсом) за комиссию в размере 10 % с каждой покупки. Проанализировав возможные точки роста компании, вы пришли к идее запуска скидок на стоимость товара: компания покрывает часть стоимости товара для покупателя, причем продавец получает деньги в полном объеме.
а) (3 балла) Вы назначаете встречу с коллегами, на которой хотите обосновать внедрение скидок. Приведите три позитивных для компании эффекта запуска скидок и поясните, как именно они влияют на бизнес. Если приведено больше трех аргументов, будут оценены первые три.
б) (1 балл) Один коллега интересуется, какой должна быть эластичность спроса покупателей по цене –– высокой или низкой по модулю –– чтобы внедрение скидок на стоимость товара наиболее вероятно привело к росту прибыли компании. Что вы ответите и почему?
в) (1 балл) Другая коллега интересуется, верно ли, что если ввести скидку в размере 5 %, то цена для потребителя снизится ровно на 5 %. Что вы ответите и почему?
г) (3 балла) Коллеги соглашаются с тем, что запуск скидок –– хорошая идея. Однако возникает следующий вопрос: какие именно скидки установить? Поскольку к текущему моменту среднестатистический покупатель совершил на площадке три покупки, вы пришли к трем альтернативам: (1) скидка в размере 5 % на покупку, совершаемую на площадке впервые, (2) скидка в размере 5 % на четвертую покупку на площадке, (3) скидки в размере 5 % на все покупки. Если, например, будет выбрана вторая альтернатива, то пользователь, который до начала акции совершил хотя бы четыре заказа на площадке, уже не сможет получить скидку. Приведите по одному преимуществу каждого варианта над остальными. Если приведено больше одного аргумента для какого-то сценария, будет оценен только первый.
д) (2 балла) Выбор пал на скидку на первую покупку. Остался финальный шаг –– измерить влияние скидок на важные для компании показатели (другими словами, метрики). Ваш коллега предлагает следующий способ: (1) замерить метрики текущего месяца, пока скидки еще не запущены, (2) в следующем месяце запустить скидки для всех пользователей и замерить метрики, (3) для каждой метрики вычесть ее значение в первый месяц из значения во второй месяц и, в зависимости от полученного результата, сделать вывод о том, как запуск скидок влияет на нее –– увеличивает или уменьшает. Верно ли, что измеренный таким образом эффект будет корректной оценкой влияния скидки на метрики? Почему? Предполагайте, что одного месяца достаточно для того, чтобы все желающие узнали про запуск скидок и совершили транзакции на площадке.
е) (2 балла) Предложите свой способ, который позволил бы, насколько это возможно, достоверно оценить влияние скидок на метрики.
Для решения задачи важно понимать, что основной целью бизнеса является извлечение дохода, а именно нахождение баланса между получением дохода здесь и сейчас (краткосрочным доходом), и в более длинной перспективе (долгосрочным доходом).
а) Возможные варианты позитивных эффектов внедрения скидок:
- Увеличение общего количества покупок.
- Увеличение количества покупок одним пользователем.
- Увеличение количества покупателей на площадке.
- Увеличение количества продавцов на площадке.
- Увеличение оборота (суммы стоимостей всех проданных товаров) компании.
- Увеличение возвращаемости пользователей. Эти эффекты приводят к тому, что наш сервис отбирает рыночную долю –– заказы и оборот –– у конкурентов (за счет перетока пользователей от них, а также за счет того, что большее число новых пользователей совершают первую транзакцию именно на нашей площадке), а также к тому, что пользователи –– как покупатели, так и продавцы –– привыкают к нашему маркетплейсу. Соответственно, облагаемая комиссией денежная база при внедрении скидок растет, что приводит к тому, что хотя в краткосрочном периоде прибыль и может снизиться из-за скидок, в долгосрочном периоде она, вероятно, вырастет (особенно если в будущем снизить размер скидок или увеличить размер комиссии).
б) Спрос покупателей должен характеризоваться высокой эластичностью, чтобы рост количества заказов компенсировал для компании снижение выручки с одного заказа.
в) В таком случае у продавцов будет стимул немного поднять ранее установленную цену на свои товары, поскольку часть этого повышения маркетплейс компенсирует для потребителя. Следовательно, если ввести скидку в размере 5 % на стоимость товара, то за счет роста цены товара конечная цена для потребителя снизится менее чем на 5 %. Данная механика напоминает субсидирование в стандартных экономических моделях, когда весь размер субсидии распределяется в некоторой пропорции между ценой потребителя и ценой производителя.
г) Возможные преимущества скидок на первую покупку:
- Это самый дешевый способ привлечь на площадку покупателя, который раньше никогда ей не пользовался.
- Такие скидки приводят к самим низким издержкам на субсидирование покупок, но только при условии, что потенциальное количество первых покупок меньше потенциального количества четвертых покупок. Такое возможно, например, если на рынке осталось мало пользователей, которые не пользовались нашим маркетплейсом. Возможные преимущества скидок на четвертую покупку:
- Это самый дешевый способ увеличить средний показатель количества покупок на одного пользователя (то есть, преодолеть порог в три заказа на пользователя и, вероятно, улучшить возвращаемость покупателей, благодаря тому, что у большего количества пользователей выработается привычка к использованию маркетплейса).
- Такая скидка, в отличие от прочих, может привести к совершению покупателями первых заказов без скидки с целью достижения четвертой покупки со скидкой. То есть, она приводит к большему количеству более маржинальных заказов — заказов без скидки. Пример: пользователь первым, вторым и третьим заказами покупает по одной паре носков, а четвертым заказом приобретает ноутбук со скидкой.
- Такие скидки приводят к самим низким издержкам на субсидирование покупок, но только при условии, что потенциальное количество первых покупок больше потенциального количества четвертых покупок. Такое возможно, например, если на рынке осталось много пользователей, которые не пользовались нашим маркетплейсом. Возможные преимущества скидок на все покупки:
- Наибольший рост общего количества покупок.
- Наибольший рост количества покупок одним пользователем.
- Наибольший рост количества покупателей на площадке.
- Наибольший рост количества продавцов на площадке.
- Наибольший рост оборота (суммы стоимостей всех проданных товаров) компании.
- Наибольший рост возвращаемости пользователей.
д) Проблема предложенного подхода –– несопоставимость сравниваемых метрик. За время тестирования могут произойти определенные события (сезонные факторы, наступление праздников, вступление в силу новых законов, и т. д.), которые сами по себе способны влиять на поведение пользователей и метрики, а значит измеренная разница в метриках не в полной мере будет объясняться именно эффектом запуска скидок.
е) Возможные способы более достоверной оценки влияния скидок на метрики:
- Случайный эксперимент (также называемый АБ-тестом): можно запустить скидки только для случайно выбранной половины пользователей и сравнить метрики в двух группах –– контрольной, или группе А, в которой нет скидок, и тестовой, или группе Б, в которой есть скидки (в таком случае единственным фактором, объясняющим разницу в метриках, будет именно запуск скидок, поскольку в среднем пользователи из двух групп одинаковые). Случайность назначения скидок пользователям здесь крайне важна. Если предложить, например, создать два идентичных маркетплейса, в одном из которых включить скидки, а в другом –– не включать, то ясно, что покупатели будут гораздо чаще покупать на первой площадке, нежели на второй, а значит измеренный эффект запуска скидок будет существенно завышен.
- Свитчбэк-тестирование: можно модифицировать предложенный коллегой способ так, что, например, по четным дням скидка будет доступна всем пользователям, а по нечетным дням недоступна никому, и сравнить метрики четных дней с метриками нечетных дней.
- Использование прогнозной модели (оценивается в 1 балл, поскольку описанная в условии ситуация позволяет использование более надежного способа оценки причинно-следственного эффекта –– АБ-теста, а использование прогнозной модели в реальной жизни упирается в тот факт, что все такие модели обладают далеко не идеальным качеством предсказания): с ее помощью можно предсказать значения метрик для следующего месяца и сравнить предсказание –– прогноз метрик в отсутствие скидок –– с реальной ситуацией –– метриками при запуске скидок.