An introduction to educational research methods. Введение в образовательные исследовательские методы Білім беру-зерттеу әдістеріне кіріспе
жүктеу/скачать 32,4 Mb. Pdf көрінісі
|
- Бұл бет үшін навигация:
- Рисунок 9.1 Осмысление корреляции между двумя переменными
- Рисунок 9.2 Осмысление корреляции между тремя переменными
- БОКС 9.5 Преимущества неэкспериментального подхода
- Поиск данных других людей
- БОКС 9.6 Опасности неэкспериментального метода
- Рейтинг динамики роста показателей
- Рисунок 9.3 Понимание доверительных границ 1
- Рисунок 9.4 Понимание доверительных границ 2
- Контекстуальный рост показателей
Неэкспериментальный Данный метод не предполагает проведение собственного эксперимента; вы не можете контролировать никакие переменные. Вы просто наблюдаете за тем, что уже произошло, и пытаетесь это понять. Это значит, что вы берете переменную, демонстрирующую эффект (зависимую переменную), и пытаетесь найти переменную (переменные) (независимые переменные), которые могут иметь с ней причинно- следственную связь.
Этот метод весьма распространен в педагогике, и также полезен, когда этика не допускает экспериментального подхода. Например, было бы неэтично проводить эксперимент, намеренно подвергая учеников воздействию, пагубно влияющему на их успеваемость, но исследование результатов такой ситуации (которая уже сложилась) будет абсолютно этичным. Два примера помогут это прояснить.
В некой школе руководство внезапно осознало, что процент учеников, сдающих пять GCSE на A–C («5 A–C»), снижался в течение последних 15 лет. На своем собрании они выделили пять переменных, которые могут это объяснять. Они решили, что поскольку количество учителей в школе снижалось каждый год, то также снизились и показатели «5 A–C» (мы можем сказать, что «5 A–C» в значительной степени соотносится с количеством учеников в школе). Один из них предложил объяснение – присутствие меньшего числа учителей приводит к меньшему разнообразию идей для преподавания и обучения, отсюда и снижение результатов.
Выявление этих проблем и сбор некоторых дополнительных данных для их исследования добавит веса вашему исследованию при его написании.
Так что же происходит, если вы не можете выбрать свои группы случайным образом, не можете взять под контроль переменные и пр. Ну, вы должны сделать все, что сможете. «Квази эксперимент», вероятно, лучшее, что вы сможете получить. В этом методе также используются экспериментальная и контрольная группа, но вместо того, чтобы выбирать членов каждой группы случайным образом, вы выбираете существующие группы (к которым у вас есть доступ), которые максимально схожи по наибольшему числу переменных. Это означает, что если вы исследуете уровни мотивации, то вам, прежде всего, нужны две группы с весьма схожими уровнями мотивации, и схожий диапазон остальных переменных также может быть важен, как например предварительные результаты и социально-экономические факторы. Вместо того, чтобы просто искать общие различия между двумя группами, лучше сравнивать влияние эксперимента между парами учеников из экспериментальной и контрольной группы, как можно более близко соответствующих друг другу по таким релевантным переменным.
Данный метод не предполагает проведение собственного эксперимента; вы не можете контролировать никакие переменные. Вы просто наблюдаете за тем, что уже произошло, и пытаетесь это понять. Это значит, что вы берете переменную, демонстрирующую эффект (зависимую переменную), и пытаетесь найти переменную (переменные) (независимые переменные), которые могут иметь с ней причинно-следственную связь. Этот метод весьма распространен в педагогике, и также полезен, когда этика не допускает экспериментального подхода. Например, было бы неэтично проводить эксперимент, намеренно подвергая учеников воздействию, пагубно влияющему на их успеваемость, но исследование результатов такой ситуации (которая уже сложилась) будет абсолютно этичным. Два примера помогут это прояснить. В некой школе руководство внезапно осознало, что процент учеников, сдающих пять GCSE на A–C («5 A–C»), снижался в течение последних 15 лет. На своем собрании они выделили пять переменных, которые могут это объяснять. Они решили, что поскольку количество учителей в школе снижалось каждый год, то также снизились и показатели «5 A–C» (мы можем сказать, что «5 A–C» в значительной степени соотносится с количеством учеников в школе). Один из них предложил объяснение – присутствие меньшего числа учителей приводит к меньшему разнообразию идей для преподавания и обучения, отсюда и снижение результатов.
Рисунок 9.1 Осмысление корреляции между двумя переменными
Переменная А вызывает изменение переменной Б Переменная Б вызывает изменение переменной А Переменная А (количество персонала) Переменная Б (5 A–C)
Рисунок 9.1 Осмысление корреляции между двумя переменными Taking A Quantitative Approach 454
Но было ли изменение количества учителей причиной изменения «5 A–C»? Взгляните на рисунок 9.1. В действительности, все может быть наоборот (обратная связь). Например, показатели «5 A–C» за один год могли упасть, что заставило родителей, заинтересованных в академическом успехе, перевести своих детей в другие школы. Со снижением числа учеников снижается численность учеников, и то же количество учителей не требуется.
Давайте посмотрим на другой пример, пытающийся объяснить наблюдаемые различия между двумя группами. Старший преподаватель в школе А знает, что у разных преподавателей разные уровни прогулов в классах. Он использовал статистический тест, показавший, что в группах, учителем в которых была женщина, прогулов меньше, чем в группах под руководством учителей-мужчин. Обоснован ли его вывод, что учителя-женщины лучше?
Не совсем. В этой школе количество прогулов варьируется по возрасту (старшие ученики прогуливают больше), девятыми классами руководят преимущественно женщины, а 11 классами – преимущественно мужчины. Поэтому у нас есть третья переменная – год обучения – влияющая как на количество прогулов, так и на пол преподавателя (рисунок 9.2), создавая убедительную причинно- следственную, но в действительности искусственную связь между полом учителя и количеством прогулов.
Поэтому важно понимать, что нахождение взаимосвязи не означает, что это причинно-следственная связь, и что такая связь имеет место в любом направлении. В действительности иногда взаимосвязь может быть чистым совпадением – существует доказанная взаимосвязь между размером популяции аистов и человеческим уровнем рождаемости!
В некоторой степени вы можете контролировать влияние потенциально отвлекающих переменных за счет составления своей выборки, а также показателей измерения. Например, старший преподаватель из примера выше мог сделать следующее: • Случайным образом отобрать и сравнить равное количество групп под руководством мужчин и женщин из каждой возрастной группы. Это уменьшит размер выборки, но устранит влияние возраста. • Сравнить несколько пар из учебных групп, совпадающих как можно ближе по социально-экономическому статусу детей и другим потенциально важным переменным, с единственным различием – пол учителя. • Решить, какие переменные повлияют на уровень прогулов, и измерить их одновременно со сбором остальных данных. Некоторые умные статистики могут устранить эффект дополнительных переменных и «отыскать» любое воздействие пола учителя.
Taking A Quantitative Approach 455
Но было ли изменение количества учителей причиной изменения «5 A–C»? Взгляните на рисунок 9.1. В действительности, все может быть наоборот (обратная связь). Например, показатели «5 A–C» за один год могли упасть, что заставило родителей, заинтересованных в академическом успехе, перевести своих детей в другие школы. Со снижением числа учеников снижается численность учеников, и то же количество учителей не требуется. Давайте посмотрим на другой пример, пытающийся объяснить наблюдаемые различия между двумя группами. Старший преподаватель в школе А знает, что у разных преподавателей разные уровни прогулов в классах. Он использовал статистический тест, показавший, что в группах, учителем в которых была женщина, прогулов меньше, чем в группах под руководством учителей-мужчин. Обоснован ли его вывод, что учителя-женщины лучше? Не совсем. В этой школе количество прогулов варьируется по возрасту (старшие ученики прогуливают больше), девятыми классами руководят преимущественно женщины, а 11 классами – преимущественно мужчины. Поэтому у нас есть третья переменная – год обучения – влияющая как на количество прогулов, так и на пол преподавателя (рисунок 9.2), создавая убедительную причинно- следственную, но в действительности искусственную связь между полом учителя и количеством прогулов. Поэтому важно понимать, что нахождение взаимосвязи не означает, что это причинно- следственная связь, и что такая связь имеет место в любом направлении. В действительности иногда взаимосвязь может быть чистым совпадением – существует доказанная взаимосвязь между размером популяции аистов и человеческим уровнем рождаемости! В некоторой степени вы можете контролировать влияние потенциально отвлекающих переменных за счет составления своей выборки, а также показателей измерения. Например, старший преподаватель из примера выше мог сделать следующее:
• Случайным образом отобрать и сравнить равное количество групп под руководством мужчин и женщин из каждой возрастной группы. Это уменьшит размер выборки, но устранит влияние возраста. • Сравнить несколько пар из учебных групп, совпадающих как можно ближе по социально- экономическому статусу детей и другим потенциально важным переменным, с единственным различием – пол учителя. • Решить, какие переменные повлияют на уровень прогулов, и измерить их одновременно со сбором остальных данных. Некоторые умные статистики могут устранить эффект дополнительных переменных и «отыскать» любое воздействие пола учителя.
Рисунок 9.2 Осмысление корреляции между тремя переменными Существует взаимосвязь между переменной А и переменной Б Изменение переменной С вызывает изменение переменной B Изменение переменной С вызывает изменение переменной А Переменная А (пол учителя) Переменная B (число прогулов) Переменная С (год обучения) Рисунок 9.2 Осмысление корреляции между тремя переменными Даже используя эти стратегии по-прежнему сложно определить, учли ли вы все потенциально отвлекающие переменные. Ваша интерпретация данных как таковая уязвима перед вашей собственной необъективностью, и зачастую можно привести противоречащие друг другу объяснения одного массива данных. Вам следует обсудить такие объяснения при написании своего исследования, отметив все ограничения ваших разработанных идей. Также разумно использовать другие источники данных, чтобы пролить больше света на такие альтернативы. В идеальном мире объяснения и гипотезы были бы проверены экспериментальным путем позднее, но это зачастую невозможно. Преимущества и потенциальные опасности неэкспериментального метода представлены в боксе 9.5 и 9.6.
• Это лучший способ там, где экспериментальный подход невозможен. • Подходит для первоначального исследования массива данных и для выработки гипотез, которые можно затем протестировать экспериментальным путем. • Исключает использование искусственного вмешательства, исследует лишь «естественное» изменение данных.
Taking A Quantitative Approach 456
Поиск данных других людей Поиск данных со здоровым скептицизмом всегда хорошая идея! В остальной части главы мы поможем вам исследовать историю ученика и данных о школьной успеваемости. Таблицы рейтингов Когда таблицы рейтингов были впервые введены в 1992 году, результаты экзаменов были использованы в качестве показателя эффективности школы – на том основании, что лучшие результаты означают лучшее обучение. Офстед (Ofsted) основывает свои оценки школьных показателей на исходных результатах экзаменов, а учителя должны использовать достижения учеников для поддержки собственных заявлений на повышение. Так в чем же проблема?
1. Сложно контролировать переменные или получить действительно случайную выборку. 2. Сложно выявить все переменные (включая те, которые действительно имеют причинно-следственный эффект), потенциально связанные с наблюдаемым явлением. 3. Причина и следствие не всегда очевидны; легко предположить, что одна переменная вызывает другую, если она согласуется с вашими предыдущими идеями.
Многие обозреватели критиковали «результаты экзаменов» как невалидный показатель эффективности школы, и предположили, что их не следует использовать для сравнения школ. Обдумайте следующие вопросы.
Почему «результаты экзаменов» дают лишь ограниченное представление об «эффективности» школы? • Какие другие переменные могут повлиять на результаты экзаменов, и которые не связаны с самой школой? Taking A Quantitative Approach 457
Рейтинг динамики роста показателей В 2004 году министерство образования и профессионального обучения опубликовало показатель динамики роста (эффективности); он был предложен как более обоснованный показатель роста академических показателей школ с учетом предыдущих достижений. Целью было помочь родителям сделать обоснованное сравнение между школами. Для начальных школ данные сообщены относительно цифры 100. • Предложите причины, почему необоснованно вознаграждать учителей естественных наук в средней школе на основании результатов экзаменов их классов. Надеюсь, вы осознали, что существует колоссальное количество переменных, способных повлиять на результаты экзаменов. Исследование предполагает, что 76% изменений результатов GCSE определяется предыдущими достижениями учеников (что само по себе связано с их предыдущим образованием и социально-экономическими характеристиками). Это означает, что влияние средней школы на показатели GCSE достаточно ограничены, и что лучший способ для школ улучшить свое положение в таблице рейтингов, это выбрать учеников по их предыдущим показателям успеваемости!
Объясните, почему это должен быть более справедливый показатель эффективности школ, и чего, по-вашему, ему по-прежнему недостает. Давайте посмотрим, как они определили рост показателей между основным этапом 2 и 3 с помощью результатов SAT как индикатора достижений в каждом случае, но сравнивая учеников с одинаковым уровнем предыдущей успеваемости. Ниже приведено упрощенное объяснение:
• Все ученики в стране, которые показали весьма схожую успеваемость (напр., в пределах половины уровня) на основном этапе 2, упорядочены по числовым Taking A Quantitative Approach 458
результатам учебы на этапе 3. • Для каждой группы учеников найден средний результат, и каждый ученик получает балл относительно этого результата. Если кто-то показал результат лучше, чем средний ученик, то он получает положительный балл. Если хуже, то отрицательный балл. • Поэтому для школ с низкими вступительными требованиями будет проще повысить свою эффективность, даже если их показатели основного этапа 3 намного ниже, чем, например, в другой школе, выбирающей учеников по предыдущей успеваемости. Для оценки общих показателей для школы необходимо вычислить средний результат всех учеников школы и добавить этот результат к 100. Таким образом, балл 100 отражает «средний» рост показателей, 98 отражает рост «ниже среднего», а 102 – рост «выше среднего».
Статистики вычисляют эти значения путем расчета доверительных границ выше и ниже среднего показателя для каждой школы. Это часто не указывается в СМИ, но без этого вы бы не смогли правильно интерпретировать таблицы рейтингов. • Вы можете сказать, что две школы имеют существенно разные показатели динамики роста, если доверительные интервалы (между верхней и нижней границей) не пересекаются. • Вы можете сказать, что школа занимает позицию выше общенационального среднего показателя, если средний показатель школы выше среднего национального уровня, и если доверительный интервал школы не включает средний национальный показатель.
Посмотрите на рисунок 9.3. Для каждой школы он показывает среднее значение и доверительные интервалы. Какие два из следующих высказываний можно утверждать с 95% уверенностью? • Школа A значительно лучше школы B. • Школа D хуже школы B. • Школа C значительно лучше общенационального среднего показателя. • Существует существенная разница между школой A и школой C. Taking A Quantitative Approach 459
Рисунок 9.3 Понимание доверительных границ 1 Однако все становится еще сложнее. Способ расчета доверительных границ означает, что: • если вы вычислите средний показатель и доверительный интервал для небольшой школы с малым числом учеников, то границы будут стоять сравнительно далеко друг от друга • если вы вычислите средний показатель и доверительный интервал для школы с большим количеством учеников, то границы будут расположены сравнительно близко Эти различия затрудняют обоснованное сравнение школ разного размера, и еще больше затрудняют сравнение определенных предметов и классов с еще меньшим числом учеников. Рисунок 9.4 Понимание доверительных границ 2 Для оценки общих показателей для школы необходимо вычислить средний результат всех учеников школы и добавить этот результат к 100. Таким образом, балл 100 отражает «средний» рост показателей, 98 отражает рост «ниже среднего», а 102 – рост «выше среднего». Статистики вычисляют эти значения путем расчета доверительных границ выше и ниже среднего показателя для каждой школы. Это часто не указывается в СМИ, но без этого вы бы не смогли правильно интерпретировать таблицы рейтингов. • Вы можете сказать, что две школы имеют существенно разные показатели динамики роста, если доверительные интервалы (между верхней и нижней границей) не пересекаются. • Вы можете сказать, что школа занимает позицию выше общенационального среднего показателя, если средний показатель школы выше среднего национального уровня, и если доверительный интервал школы не включает средний национальный показатель.
Посмотрите на рисунок 9.3. Для каждой школы он показывает среднее значение и доверительные интервалы. Какие два из следующих высказываний можно утверждать с 95% уверенностью?
• Школа A значительно лучше школы B. • Школа D хуже школы B. • Школа C значительно лучше общенационального среднего показателя. • Существует существенная разница между школой A и школой C.
Рисунок 9.3 Понимание доверительных границ 1
Средний показатель Общенациональный средний показатель Доверительные границы
Однако все становится еще сложнее. Способ расчета доверительных границ означает, что: • если вы вычислите средний показатель и доверительный интервал для небольшой школы с малым числом учеников, то границы будут стоять сравнительно далеко друг от друга • если вы вычислите средний показатель и доверительный интервал для школы с большим количеством учеников, то границы будут расположены сравнительно близко
Эти различия затрудняют обоснованное сравнение школ разного размера, и еще больше затрудняют сравнение определенных предметов и классов с еще меньшим числом учеников.
Рисунок 9.4 Понимание доверительных границ 2
Задание 9.5
Взгляните на рисунок 9.4. На нем представлены средние показатели и доверительные границы для трех школ. В школе А учится 2000 учеников, в школе В – 500 учеников, и в школе С – 2000 учеников. Какое из следующих высказываний можно утверждать с 95% уверенностью?
• Школа A значительно ниже общенационального среднего показателя. • Школа B значительно выше общенационального среднего показателя. • Школа C значительно выше общенационального среднего показателя. • Не существует принципиальной разницы между школой А и школой В. • Не существует принципиальной разницы между школой В и школой C. • Не существует принципиальной разницы между школой А и школой C.
Общенациональный средний показатель
Taking A Quantitative Approach 460
Контекстуальный рост показателей Использование показателей эффективности все равно предполагает, что все изменения успеваемости учеников определяются тем, что происходит в школе. Но что насчет других переменных, способных повлиять на успеваемость? Есть ли возможность отделить их влияние от влияний школы?
Первые попытки делали поправку на количество учеников, получающих бесплатное школьное питание, в качестве показателя социально-экономического статуса. Затем в 2006 году правительство разработало более сложную статистическую модель. Они попытались идентифицировать соответствующие переменные и устранить влияние каждой, одна за другой, с помощью умной статистики, называемой многоуровневым моделированием, чтобы найти способ прогнозирования «ожидаемой» успеваемости каждого ученика. Отклонение от этого «ожидаемого» уровня успеваемости будет контекстуальным показателем эффективности (contextual-value-added (CVA)). Переменные, входящие в расчеты модели, могут меняться из года в год, но, как правило, включают следующее: • предыдущий уровень успеваемости ученика • пол • особые образовательные потребности • первый язык • показатели мобильности ученика • возраст • показатель, находится ли ученик «на воспитании» • этническая принадлежность • бесплатное школьное питание • соотношение детей школьного возраста из малообеспеченных семей к общему числу обучающихся (Income Deprivation Affecting Children Index (IDACI)) жүктеу/скачать 32,4 Mb. Достарыңызбен бөлісу:
|