Как-то раз крокодил Гена, Чебурашка и старуха Шапокляк решили провести онлайн-олимпиаду. Они опубликовали задания на сайте, школьники к определённому сроку загрузили свои решения, и настало время проверять работы. Старуха Шапокляк забеспокоилась:

– Работ так много, а нас всего трое; мы закончим проверку только через месяц. Но наверняка среди школьников есть те, кому не терпится увидеть какие-нибудь результаты, хотя бы предварительные. Идея: пусть они сами всё проверят! Давайте опубликуем все работы, выложим критерии оценивания и разрешим школьникам оценивать друг друга. На основе этих оценок будет формироваться предварительный рейтинг, ну а через месяц мы объявим окончательные, истинные баллы.

– Неплохая идея, – сказал Чебурашка. – Однако проверка работ – общественное благо; нужно дополнительно стимулировать оценщиков, а иначе объём производства этого блага будет меньше общественно оптимального. Но раздавать бонусы нужно не просто за факт проверки, а только если проверка выполнена качественно, и от неё есть толк. Как измерить качество? А очень просто: ведь через месяц будут известны оценки жюри; чем ближе окажется оценка проверяющего к оценке жюри, тем, значит, она качественнее. А толк от выставления данной оценки будет лишь в том случае, если до неё средний балл (среди всех проверявших) данной задачи был хуже (дальше от истины), чем она сама (и, следовательно, чем средний балл с учётом её). Давайте за каждую оцененную задачу давать оценщику вот столько условных баллов:

\left| \overline{x}_{n-1} - x^* \right| - \left| x_n - x^* \right|

Здесь x_n – n-я по счёту оценка данной задачи (одну и ту же задачу могут оценивать несколько человек), x_0 предполагаем равным 0;

\overline{x}_n – средняя арифметическая из первых n оценок данной задачи, x^* – истинная оценка (оценка жюри). Пусть я – проверяющий. Когда я оцениваю какую-то задачу, мой "счёт" увеличивается на разность двух модулей: первый модуль – насколько средняя оценка до меня далека от истинной; второй модуль – насколько моя оценка далека от истинной. Если моя оценка более точная, мой счёт увеличивается; если менее точная – уменьшается. В конце олимпиады все оценщики будут упорядочены по этому счёту, и победители будут награждены.

Первым отреагировал крокодил Гена:

– Чебурашка, твоя формула кое-что не учитывает. Представь, что передо мной есть две задачи, оцененных неправильно (их текущий средний балл далёк от истины), но одну оценили два человека, а другую – двадцать два. Тогда, если моё время ограничено, и я не успею оценить обе задачи, то разумнее мне взяться за первую, т.к. там моя оценка может довольно сильно изменить средний балл (и тем самым принести пользу для составления предварительного рейтинга), в то время как на средний балл по второй задаче моя оценка практически не повлияет, и я лишь напрасно потрачу время. Если же проверяющие будут награждаться в соответствии с твоей формулой, то в этих двух случаях они получат одинаковое вознаграждение; это создаст неправильные стимулы.

Смотри, как можно модифицировать твою формулу:

\left| \overline{x}_{n-1} - x^* \right| - \left| \overline{x}_n - x^* \right|

Это и есть нужный нам показатель – насколько более точным стал средний балл этой задачи после вмешательства данного оценщика. Давайте столько баллов и начислять на его счёт!

– Нет, крокодил, твоя формула ещё хуже, – возразил Чебурашка. – Посмотри, какие стимулы она создаёт: оценщик будет стремиться подогнать средний балл \overline{x}_n как можно ближе к тому значению, которое он считает истинным, но для этого свою оценку x_n ему нужно будет поставить не на предполагаемом истинном уровне, а значительно выше (или ниже)! Но если каждый в качестве оценки ставит не то, что он считает истинной оценкой, то считать средний балл из поставленных оценок и составлять на его основе предварительный рейтинг уже не имеет смысла, получится какая-то белиберда. Каждый следующий оценщик может считать себя умнее предыдущих, но у нас нет оснований верить этому, и мы хотели бы, чтобы мнения всех оценщиков при подсчёте среднего балла данной задачи учитывались с одинаковым весом.

Наконец вмешалась старуха Шапокляк:

– Мне кажется, я знаю, как нужно правильно модифицировать формулу Чебурашки:

\frac{\left| \overline{x}_{n-1} - x^* \right| - \left| \overline{x}_n - x^* \right|}{n}

Если ровно столько баллов мы будет добавлять на счёт оценщика за данную задачу, то получим следующее:

1) если уж он взялся оценивать эту задачу, то в качестве оценки ему будет выгодно поставить ровно ту, которую он считает истинной;

2) если его мнение об истинной оценке соответствует нашему (то есть \overline{x}_n = x^* ), то при одинаковых затратах на проверку двух задач он в первую очередь возьмётся за ту, проверка которой даст большее увеличение точности среднего балла (то есть у которой будет больше величина, посчитанная по формуле крокодила Гены).

***

а) убедитесь, что всё написанное выше верно;

б) при чём здесь голубой вагон?