В задаче требовалось:

- Сравнить каждую из форм вознаграждения за участие в исследовании с отсутствием оплаты (чем вариант «Платить за участие в РМЭЗ» лучше и хуже, чем «Не платить за участие в РМЭЗ» и аналогично для эксперимента – чем хорошо и чем плохо оставлять участнику его выигрыш).

- Провести сравнение с точки зрения организатора исследования, а не его участника. Сравнение с точки зрения участника бессмысленно: для него вознаграждение всегда выгоднее, чем его отсутствие.

Таким образом, работы, где сравнивались два способа вознаграждения, две лотереи, выгоды для участника от участия в опросе и эксперименте и т.д., не оценивались.

Также не оценивались нерелевантные рассуждения (к примеру, о том, что проведение РМЭЗ может стать хорошей рекламой для НИУ ВШЭ).

Тем не менее, при наличии в неверной в целом работе отдельных мыслей, относящихся к вопросу задачи (и фигурирующих в критериях проверки), баллы за них выставлялись.

- РМЭЗ — 15 баллов

+ Плата привлекает участников: в случае её отсутствия, с одной стороны, желающих участвовать в опросе было бы меньше (2 балла), с другой стороны, дает им стимул более внимательно отнестись к заполнению опросника (1 балл)

+ Удержание выборки: когда есть плата за участие, это дает лишний повод респонденту поучаствовать ещё раз, через год. В бесплатном опросе люди, скорее всего, не будут участвовать из года в год (3 балла).

- Основной недостаток — смещение выборки в сторону групп населения с низким доходом: из-за платы за участие появляется много желающих поучаствовать в опросе из-за денег (как правило, это люди с небольшим доходом). Если бы опрос был неоплачиваемым, в нем участвовали бы преимущественно энтузиасты, среди которых не было бы такого перекоса в сторону небогатых людей (6 баллов).

- Менее значимый недостаток: у людей, участвующих за деньги, в отличие от энтузиастов, нет стимулов внимательно отнестись к ответам на вопросы (там, где энтузиасты будут тщательно обдумывать ответы, осознавая важность их ответов для исследования, люди, участвующие за деньги, могут ответить первое, что придет им в голову). Тем не менее, масштаб этой проблемы значительно меньше, чем у смещения выборки (2 балла).

- Довольно очевидный недостаток: плата за участие в исследовании — это лишние издержки для организатора (1 балл).

- Эксперимент — 10 баллов

+ Основное достоинство - это то, что поведение людей в случае, когда они забирают выигрыш себе, будет соответствовать их поведению в реальной жизни (в отличие от случая отсутствия вознаграждения, когда они ставят воображаемые деньги и получают воображаемые выигрыши). Результаты эксперимента с воображаемыми деньгами, скорее всего, будут слабо соответствовать реальности (6 баллов).

+ Наличие вознаграждения позволит привлечь больше участников (2 балла).

- Основной недостаток по сравнению со случаем отсутствия вознаграждения — большие расходы. При этом (в отличие, к примеру, от фиксированной платы) расходы эти имеют случайный характер и могут оказаться неожиданно большими (2 балла).

Отдельные разумные соображения, не прописанные в критериях выше, но имеющие отношение к вопросу задачи, могут быть оценены в 1-2 балла.