Фильм, фильм, фильм
Студенты совместного бакалавриата ВШЭ и РЭШ во время учёбы выбирают множество курсов. Выбор своего образовательного плана — далеко не лёгкая задача! В этой задаче мы попробуем понять, почему узнать, насколько полезен и эффективен образовательный курс, бывает так сложно.
Университеты X и Y решили проанализировать влияние онлайн-курса по истории кино на студентов, но сделали это разными способами. В университете X курс сделали факультативом, то есть курсом по выбору, на который могут записаться все студенты университета. В университете Y доступ к материалам курса дали случайно выбранным студентам, проживающим в общежитии университета Y. В общежитии проживают около половины студентов университета Y. До и после прослушивания курса все студенты университета написали одинаковые по уровню сложности тесты по истории кино, оцениваемые по 100 -балльной шкале.
Интересный факт. В 2022-2023 учебном году студенты совместного бакалавриата ВШЭ и РЭШ могли записаться сразу на два курса, связанных с историей кино — «Русская философия XIX-XX вв. для кинематографа: от слова к образу» и «Кино на ощупь: история и практика».
а) Студенты университета X, прослушавшие онлайн-курс, написали тест по истории кино в среднем на 80 баллов из 100, в то время как не прослушавшие курс студенты написали тест в среднем на 40 баллов из 100. Можно ли сказать, что онлайн-курс повысил знание истории кино у студентов? Если вы считаете, что можно, аргументируйте свой ответ. Если вы считаете, что нельзя, приведите альтернативное объяснение полученных результатов.
б) Стажёрка-исследовательница лаборатории университета X Настя предложила альтернативный метод оценки полезности курса по истории кино. Настя хочет сравнить то, как студенты, прослушавшие курс до конца, справились с одинаковыми по уровню сложности тестами по истории кино до прослушивания курса и после. Почему метод, предложенный Настей, может плохо оценивать эффект онлайн-курса? Приведите две причины.
в) В университете Y результаты теста после прослушивания курса оказались в среднем одинаковыми у студентов, которые имели доступ к материалам курса, и у тех, кто доступа к курсу не имел. Могло ли так получиться, если курс действительно улучшает знание истории кино, а тест его объективно проверяет? Если вы считаете, что могло, аргументируйте свой ответ. Если вы считаете, что нет, предложите альтернативное объяснение того, что результаты оказались в среднем одинаковыми.
Задание позволяет участникам ощутить себя в роли начинающего исследователя-экономиста и проанализировать проблемы, с которыми учёные-экономисты сталкиваются, когда хотят оценить влияние образования на индивидуальные достижения.
а) Основная идея — студенты, которые решили посещать курс по истории кино, отличаются от тех, кто этот курс не выбрал. Кто же выбирает курс по истории кино? Логично предположить, что студенты, которые записались на факультатив по истории кино, это ребята, которым интересна история кино. Если им интересна история кино, вероятно, и до прослушивания курса они имели больший объём знаний в этой области, поэтому часть разницы между результатами в двух группах объясняется не эффектом онлайн-курса, а изначальным различием в знаниях.
б) В подходе, предложенном Настей, есть два ключевых недостатка. Во-первых, во время прослушивания курса студенты могут ходить в кинотеатры, читать книги и посещать другие курсы, связанные с историей кино. Определить с чем именно связано изменение в результатах студентов не так уж и просто. Во-вторых, прослушавшие курс до конца студенты отличаются от тех, кто по каким-то причинам не прослушал курс до конца. Например, если студент не чувствует положительного эффекта курса, он, вероятно, прекратит его посещать.
в) Ключевая причина, которая могла вызвать подобное расхождение результатов — это невозможность проконтролировать, кто на самом деле прослушал курс. Так, заинтересованные студенты, которым курс не достался, могли попросить доступ у студентов, получивших доступ к курсу. И наоборот, часть студентов, получивших доступ к курсу, могли им не воспользоваться.
Примечание:
За пункты (а) и (в) можно получить по 4 балла, а максимальный балл за пункт (б) — 5 баллов.