1. Очевидно, данная группа экспертов сравнила результаты ЕГЭ до и после реформы в стране M. Таким образом, эксперты предполагают, что реформа – единственный фактор, изменившийся с 2009 года по 2010 год и повлиявший на результаты ЕГЭ.

Эту предпосылку трудно назвать реалистичной: например, правительство могло провести другие реформы, прямо или косвенно влияющие на успеваемость старшеклассников (переподготовка педагогических кадров, изменение программы учебных дисциплин), могли измениться условия сдачи экзаменов. Наконец, выпускники разных лет могут отличаться по общему уровню успеваемости. К тому же, в стране M каждый год наблюдался устойчивый рост среднего балла на 3 пункта, однако эксперты не учли этого факта.

2. Данная группа экспертов сравнила результаты ЕГЭ в 2010 году в двух странах. Тем самым эксперты неявно предполагают, что вся разница в результатах ЕГЭ объясняется различиями в организации школьной программы в старших классах. Иными словами, эксперты не принимают во внимание потенциальные различия между начальной школой в двух странах, между воспитанием подростков и спросом экономики на различные уровни образования.

3. Можно заметить, что часть недостатков двух оценок можно нивелировать, если сравнить результаты одновременно между годами и странами. Предполагая, что существуют общие факторы, влияющие на результаты ЕГЭ в обеих странах, их роль можно оценить, используя данные в 2009-2010 годах по стране N, в которой не было реформы. Данный эффект равен 3. Между тем средний балл ЕГЭ вырос в 2009-2010 годах в стране M, где была проведена реформа, на 7 баллов. Разницу между двумя показателями ( 4 пункта) логично отнести на счёт реформы.

Хотя данная оценка более надежна, чем предыдущие два варианта, у неё также имеются существенные недостатки:

Прежде всего оценка предполагает, что все факторы, помимо реформы, влияющие на результаты ЕГЭ в двух странах, у них одинаковые. Если, скажем, страны N и M провели иные реформы в 2009 году, то это может привести к относительному росту результатов в стране M, даже если интересующая экспертов реформа реально не имела никакого эффекта.
Оценка сделана на основе данных о двух конкретных годах и регионах. Нельзя до конца быть уверенным, что реформа будет иметь одинаковый эффект при других обстоятельствах.
Оценка основана на очень небольшом объёме данных, поэтому скорее всего не отличается большой точностью. Если бы имелось больше информации из других регионов, можно было бы получить более надёжную оценку или по крайней мере сделать вывод о её точности.

4. Как отмечено выше, одна из главных предпосылок последней оценки заключается в том, что страны очень похожи за исключением проведения реформы. То есть изменения в результатах ЕГЭ между годами в двух странах обусловлены одними и теми же факторами. Хотя проверить точно это предположение при имеющихся данных невозможно. Естественно ожидать, что если оно верно, то динамика ЕГЭ в годы перед реформой в двух странах должна быть схожа. Действительно, согласно данным таблицы, в обеих странах в 2006-2009 годах рост результатов ЕГЭ составлял 3-4 балла в год. Если нарисовать два графика, можно заметить, что в двух странах "параллельные тренды".