Платные эксперименты
Известно, что за участие в различного рода исследованиях (опросах, экспериментах, и т. д.) участникам достаточно часто платят. Это может быть как фиксированная плата за участие, так и (в случае экспериментов) сумма, зависящая от результатов данного участника в эксперименте. Давайте рассмотрим два исследования:
- РМЭЗ (RLMS, Российский мониторинг экономического положения и здоровья населения НИУ ВШЭ) — большой ежегодный опрос с сотнями вопросов и тысячами респондентов. Одной из интересных его особенностей является то, что многие респонденты участвуют в нём каждый год на протяжении многих лет, что позволяет изучать, как менялась их жизнь при изменении каких-то внешних факторов. Респонденты получают фиксированную плату за участие в опросе.
- Эксперимент с несколькими десятками участников, направленный на изучение отношения к риску. Участникам дается 500 рублей и предлагается купить на них один из двух лотерейных билетов:
– владея первым лотерейным билетом, можно получить 1000 рублей с вероятностью и 0 рублей с вероятностью ;
– владея вторым лотерейным билетом, можно получить 5000 рублей с вероятностью и 0 рублей с вероятностью .
Если участник выиграет в лотерею, то он сможет забрать полученный выигрыш, и это известно ему заранее.
Для каждого из двух примеров приведите достоинства и недостатки указанной формы вознаграждения по сравнению с отсутствием оплаты.
Ответ
В задаче требовалось:
- Сравнить каждую из форм вознаграждения за участие в исследовании с отсутствием оплаты (чем вариант «Платить за участие в РМЭЗ» лучше и хуже, чем «Не платить за участие в РМЭЗ» и аналогично для эксперимента – чем хорошо и чем плохо оставлять участнику его выигрыш).
- Провести сравнение с точки зрения организатора исследования, а не его участника. Сравнение с точки зрения участника бессмысленно: для него вознаграждение всегда выгоднее, чем его отсутствие.
Таким образом, работы, где сравнивались два способа вознаграждения, две лотереи, выгоды для участника от участия в опросе и эксперименте и т.д., не оценивались.
Также не оценивались нерелевантные рассуждения (к примеру, о том, что проведение РМЭЗ может стать хорошей рекламой для НИУ ВШЭ).
Тем не менее, при наличии в неверной в целом работе отдельных мыслей, относящихся к вопросу задачи (и фигурирующих в критериях проверки), баллы за них выставлялись.
- РМЭЗ — 15 баллов
-
Плата привлекает участников: в случае её отсутствия, с одной стороны, желающих участвовать в опросе было бы меньше (2 балла), с другой стороны, дает им стимул более внимательно отнестись к заполнению опросника (1 балл)
-
Удержание выборки: когда есть плата за участие, это дает лишний повод респонденту поучаствовать ещё раз, через год. В бесплатном опросе люди, скорее всего, не будут участвовать из года в год (3 балла).
-
Основной недостаток — смещение выборки в сторону групп населения с низким доходом: из-за платы за участие появляется много желающих поучаствовать в опросе из-за денег (как правило, это люди с небольшим доходом). Если бы опрос был неоплачиваемым, в нем участвовали бы преимущественно энтузиасты, среди которых не было бы такого перекоса в сторону небогатых людей (6 баллов).
-
Менее значимый недостаток: у людей, участвующих за деньги, в отличие от энтузиастов, нет стимулов внимательно отнестись к ответам на вопросы (там, где энтузиасты будут тщательно обдумывать ответы, осознавая важность их ответов для исследования, люди, участвующие за деньги, могут ответить первое, что придет им в голову). Тем не менее, масштаб этой проблемы значительно меньше, чем у смещения выборки (2 балла).
-
Довольно очевидный недостаток: плата за участие в исследовании — это лишние издержки для организатора (1 балл).
- Эксперимент — 10 баллов
-
Основное достоинство - это то, что поведение людей в случае, когда они забирают выигрыш себе, будет соответствовать их поведению в реальной жизни (в отличие от случая отсутствия вознаграждения, когда они ставят воображаемые деньги и получают воображаемые выигрыши). Результаты эксперимента с воображаемыми деньгами, скорее всего, будут слабо соответствовать реальности (6 баллов).
-
Наличие вознаграждения позволит привлечь больше участников (2 балла).
- Основной недостаток по сравнению со случаем отсутствия вознаграждения — большие расходы. При этом (в отличие, к примеру, от фиксированной платы) расходы эти имеют случайный характер и могут оказаться неожиданно большими (2 балла).
Отдельные разумные соображения, не прописанные в критериях выше, но имеющие отношение к вопросу задачи, могут быть оценены в 1-2 балла.