Презентация и обсуждение первых результатов международной программы pisa-2009

24 

лучшие

19

  результаты  по  шкале  «умение  осмыслить  и  оценить  сообщение  текста». 

Для 37% стран преобладающей в профиле чтения оказалась шкала «умение найти и 

извлечь  информацию  из  текста».  Умение  интегрировать  и  интерпретировать 

информацию  текста  оказывается  отчетливой  вершиной  читательского  профиля 

гораздо реже – в 12% стран.  

 

Ясно,  что  за  разными  профилями  чтения  лежит  разная  история  обучения 

работе  с  текстами.  Там,  где  сильной  стороной  читательской  грамотности  является 

умение  осмыслять  и  оценивать  сообщения  текста,  читателей  приучали  в  первую 

очередь задаваться вопросом: что этот текст изменяет в моей картине мира? Там, где 

сильной  стороной  читательской  грамотности  является  умение  тщательно 

вычитывать  сообщения  текста,  читателей  приучали  в  первую  очередь  задаваться 

вопросом:  как  видит  мир  автор  этого  текста?  Ясно,  что  и  тот  и  другой  подход  к 

тексту  требует  умения  интегрировать  и  интерпретировать  текстовые  сообщения. 

Ясно,  что  оба  подхода  являются  односторонними;  развитый  читатель,  с  одной 

стороны,  точно  и  полно  понимает  авторское  сообщение,  а  с  другой  стороны, 

способен к конструктивному мысленному диалогу с автором. Данные, приведенные 

в таблице 7, убедительно свидетельствуют о том, что сегодняшний мир образования 

еще весьма далек от желанного результата – воспитать компетентного читателя. 

 

Российские  15-летние  учащиеся  в  2009  году  демонстрируют  относительную 

(значимо  ниже  среднего  уровня  по  странам  ОЭСР)  умелость  в  вычитывании  и 

интерпретации авторских сообщений и слабость в умении выразить свое мнение по 

поводу  прочитанного,  включить  сообщение  текста  в  контекст  собственного  опыта, 

критически  отнестись  к  авторскому  сообщению.  Что  изменилось  в  читательском 

профиле  российских  учащихся  за  девять  лет?  На  этот  вопрос  отвечают  данные, 

приведенные на рис. 4. Мы видим, что в России существенно (на 18 баллов) вырос 

показатель «умение находить и извлекать информацию из текстов», однако не менее 

существенно (на 14 баллов) уменьшился показатель «умение осмыслять и оценивать 

сообщения текстов».  

 

425

430

435

440

445

450

455

460

465

470

475

найти и извлечь 

информацию из текста

интегрировать и 

интерпретировать 

сообщения текста

осмыслить и оценить 

сообщения текста

Ба

л

л

ы

 по

 1000

-

бал

л

ьной 

ш

кал

е

2000

2009

 

Рис. 4. Динамика читательских действий российских 15-летних учащихся. 

                                                 

19

 Более чем на 10 баллов выше, чем по обеим или по одной шкале, измеряющей другие читательские 

умения. 

25 

ИЗМЕРЕНИЕ ЧИТАТЕЛЬСКОЙ ГРАМОТНОСТИ 

 

Трудность задания 

 

 

Тест  PISA  создан  для  того,  чтобы  получить  информацию  о  читательской 

грамотности учащегося, заканчивающего обязательное образование. Каждое задание 

теста  моделирует  условия  реальных  читательских  задач,  которые  встают  перед 

подростками  и  взрослыми  людьми  в  школе  и  за  пределами  школы.  По  трудности 

задания  теста  варьируются  от  самых  простых,  требующих  поверхностного  и 

буквального  понимания,  до  самых  сложных,  требующих  глубокого,  изощренного, 

многоуровневого понимания. Создатели теста могут варьировать трудность задания, 

опираясь  на  следующие  представления  о  факторах,  определяющих  эту  трудность 

(Kirsch, 2001; Kirsch & Mosenthal, 1990). 

 

 

Трудность  поиска  и  извлечения  информации  из  текста  определяют 

следующие факторы: 

 

число единиц информации, которые читателю надо найти, 

 

количество  «зияний»  в  тексте,  которые  читателю  надо  мысленно 

восстановить, 

 

объем  и  однозначность  единиц  информации,  между  которыми  читателю 

предстоит сделать выбор, 

 

объем и сложность текста. 

 

 

Трудность  интеграции  и  интерпретации  сообщений  текста  определяют 

следующие факторы: 

 

число  единиц  информации,  которые  читателю  надо  связать  в  единую 

картину, 

 

тип связи между единицами информации, который требуется установить 

(например, найти сходство, как правило, легче, чем найти различие), 

 

наличие  конкурирующих  единиц  информации,  между  которыми 

читателю предстоит сделать выбор, 

 

характер  текста:  чем  он  длиннее,  чем  более  абстрактен,  чем  меньше 

читатель  знаком  с  предметом  обсуждения,  тем  труднее  соединить 

сообщения текста в общую картину.  

 

 

Трудность осмысления и оценки сообщений текста определяют следующие 

факторы: 

 

требуемый  тип  осмысления  (например,  сравнить  два  факта  легче,  чем 

построить предположение на основе этих фактов), 

 

тип внетекстового знания, которое необходимо читателю для понимания 

текста  (например,  труднее  ответить  на  вопрос,  которые  требует  не 

общежитейского, а специализированного знания), 

 

размер и степень абстрактности текста.  

 

 

Трудность вопросов к сплошным текстам определяют следующие факторы: 

 

размер текста, 

 

четкость и прозрачность его структуры, 

 

явственность связи отдельных частей текста с его общей темой, 

26 

 

наличие  таких  формальных  характеристик  текста,  как  абзацы, 

подзаголовки и другие знаки, структурирующие изложение. 

 

 

Трудность  вопросов  к  несплошным  текстам  определяют  следующие 

факторы: 

 

объем информации в тексте, 

 

тип  связи  между  частями  текста  (например,  с  простыми  списками  легче 

иметь дело, чем со сложноорганизованными реестрами), 

 

наличие  формальных  характеристик  связи  между  частями  текста 

(например, специальное форматирование), 

 

место расположения искомой информации (например, в основном тексте 

ее легче найти, чем в сноске). 

 

Форма вопроса 

 

 

Для того чтобы проследить тенденции в развитии читательской грамотности, 

в тесте PISA из года в год поддерживается общая пропорция открытых и закрытых 

вопросов  в  тесте.  Открытые  вопросы  предполагают  более  или  менее  развернутые 

свободные  ответы,  требующие  экспертной  оценки.  Ответы  учащихся  на  закрытые 

вопросы  не  требуют  экспертной  оценки,  они  могут  быть  оценены  в 

автоматизированном  режиме.  Наиболее  классические  закрытые  вопросы 

предполагают выбор одного верного ответа из четырех-пяти вариантов, заданных в 

готовом  виде.  Более  сложные  типы  закрытых  вопросов  предполагают,  например, 

расположить  события  повествования  во  временной  последовательности  (поставить 

нужные  цифры  в  заданном  списке  событий).  В  эту  же  категорию  вопросов,  не 

требующих экспертной оценки, попадают и такие, где читателю приходится самому 

написать одно-два слова, например, выписать слово из текста (при этом в тексте есть 

только  одно  слово,  правильно  отвечающее  на  вопрос).  В  таблице  8  представлено 

отношение  между  разными  формами  вопросов,  использованных  в  PISA-2009. 

Следует  подчеркнуть,  что  для  осмысления  и  оценки  сообщения  текста  открытая 

форма вопроса является основной, так как здесь необходимо оценить, прежде всего, 

качество рассуждения читателя, а не «правильность» его оценок. 

 

Таблица 8 

Отношение между разными формами вопросов, измеряющими три 

читательских действия 

Читательское действие:

 

% вопросов, 

требующих 

экспертной оценки

 

% вопросов, не 

требующих 

экспертной оценки

 

% в 

тесте

 

Найти  и  извлечь  (информацию  из 

текста)

 

11 

14 

25 

Интегрировать  и  интерпретировать 

(сообщение текста)

 

14 

36 

50 

Осмыслить  и  оценить  (сообщение 

текста)

 

18 

7 

25 

ВСЕГО

 

43 

57 

100 

 

 

27 

Балльная оценка ответа 

 

 

Оценка каждого ответа каждого учащегося делается в строгом соответствии с 

правилами, подробно описанными в Руководстве по оценке ответов к вопросам теста 

PISA,  которое  разработано  и  согласовано  группой  международных  экспертов. 

Использование  этого  руководства  предполагает  специальную  тренировку 

специалистов по оценке. 

 

льшая часть вопросов теста PISA оцениваются дихотомически: либо одним 

баллом (верно), либо нулем (неверно). Однако часть вопросов имеют более дробную 

–  политомическую  кодировку.  Известно,  что  иногда  ответ  на  свободный  вопрос 

может  быть  неполным,  но  чрезвычайно  осмысленным.  Рассматривать  такой  ответ 

как  неправильный  (нулевой)  несправедливо.  Поэтому  для  оценки  самых  сложных 

вопросов  теста  применяется  модель  частичного  оценивания  (partial-credit  model), 

которая  позволяет  дифференцировать  полные  и  неполные  правильные  ответы. 

Полный  правильный  ответ  получает  оценку  два  балла,  неполный  –  один  балл. 

Психометрическая  модель  для  политомических  вопросов  хорошо  разработана  и  в 

некотором  смысле  предпочтительна:  она  более  полно  учитывает  информацию, 

содержащуюся в ответе. 

 

Увеличение дифференцирующей силы шкал теста PISA 

 

 

В  PISA  2000,  2003  и  2006  годов  указывалось,  что  точность  определения 

уровня  читательской  грамотности  заметно  снижается  для  наиболее  и  наименее 

успешных  учащихся.  Это  происходило  потому,  что  тест  содержал  слишком 

незначительное число очень трудных и очень легких вопросов. 

 

Составляя вопросы для PISA-2009, создатели теста пытались преодолеть это 

ограничение.  Благодаря  этому  повышается  надежность  измерения.  Кроме  того,  для 

многих  учащихся,  особенно  для  тех,  кто  плохо  справляется  с  тестом,  сам  опыт 

тестирования станет более приятным.  

 

Манипулирование  следующими  переменными  позволило  создать  вопросы 

наименьшего уровня трудности: 

 

в тест были включены более короткие и более легкие тексты, 

 

более часто ключевые слова в вопросе в точности совпадали с ключевыми 

словами в тексте, 

 

чаще указывалось, где именно в тексте надо искать нужную информацию,  

 

некоторые  вопросы  на  толкование  информации  были  адресованы  к 

конкретным объектам, описанным в тексте, 

 

некоторые  вопросы  на  осмысление  и  оценку  сообщения  текста 

апеллировали  не  столько  к  отвлеченным  проблемам,  сколько  к  личному 

опыту читателя. 

 

Как  задания  по  чтению  в  PISA-2009  составлялись,  анализировались  и 

оценивались 

 

 

Материал  для  PISA-2009  был  подготовлен  усилиями  нескольких 

международных исследовательских центров, изучающих проблемы образования, под 

руководством  группы  экспертов  из  стран,  участвующих  в  международной 

исследовательской  программе  PISA.  Эти  специалисты  в  области  чтения  в  течение 

трех  лет  разрабатывали  и  испытывали  тестовые  материалы,  которые  исходно  были 

предложены  странами  –  участницами.  Отобранные  тексты  и  вопросы  к  ним 

28 

многократно 

комментировались 

национальными 

координаторами 

PISA, 

редактировались  и  проходили  несколько  небольших  пилотных  экспериментов  и 

широкоформатный пилотаж, в котором участвовали все страны. На основании этих 

предварительных  испытаний  экспертная  группа  рекомендовала  окончательный 

набор тестовых материалов, в который вошли предложения 21 страны – участницы 

PISA-2009. При отборе материалов учитывались как статистические характеристики 

заданий, так и культурная, гендерная, религиозная, этническая корректность, а также 

степень  интереса  тестовых  материалов  для  15-летних  учащихся  (оценку  интереса 

делали эксперты из каждой страны). Кроме того, при отборе материалов необходимо 

было  соблюдать  баланс  между  всеми  измеряемыми  аспектами  чтения,  описанными 

выше.  Ключевым  при  отборе  материалов  было  требование  обеспечить  всю  шкалу 

трудности для каждого измеряемого аспекта чтения. 

 

Более  130  вопросов  по  чтению  было  использовано  в  PISA-2009,  однако 

тестовая  тетрадь,  которую  получал  каждый  учащийся,  содержала  лишь  несколько 

текстов и вопросов к ним. Кроме заданий по чтению тетради содержали задания по 

математике и естествознанию. Варианты тестовых тетрадей были составлены таким 

образом,  чтобы  текст  и  вопросы  к  нему  оказывались  и  в  начале,  и  в  середине,  и  в 

конце тетради.  

 

Такой  дизайн  тестовых  тетрадей  позволяет  создать  единую  шкалу 

читательской компетентности, на которой располагаются и все тестовые вопросы – в 

соответствии  с  уровнем  их  трудности,  и  все  учащиеся  –  в  соответствии  с  уровнем 

успешности,  математически  предсказанным  при  допущении,  что  этот  учащийся 

отвечал  на  все  вопросы  теста

20

.  Такая  шкала  позволяет,  с  одной  стороны, 

определить,  какие  читательские  умения  требуются  для  ответа  на  каждый  вопрос 

теста, а с другой стороны, указать уровень читательской умелости ученика: выявить 

тип заданий, с которыми данный читатель справится успешно. 

 

Так же как ограниченная, но репрезентативная  выборка 15-летних учащихся 

каждой  страны,  отвечавших  на  вопросы  теста,  позволяет  судить  о  возможностях 

всех 15-летних учащихся этой страны, так и ограниченный, но сконструированный 

по  строгим  правилам  набор  вопросов  теста  дает  представление  о  читательской 

грамотности  во  всей  полноте  ее  определения

21

.  Аппроксимированный  показатель 

индивидуальной  успешности  указывает  на  ту  группу  заданий,  с  которыми  этот 

учащийся  успешно  справится  с  высокой  вероятностью  (хотя  в  реальности  это 

происходит  не  всегда).  Одновременно  показатель  индивидуальной  успешности 

указывает  и  на  ту  группу  заданий,  с  которыми  этот  учащийся  с  большой 

вероятностью  не  справится  (хотя  в  реальности  это  тоже  происходит  не  всегда). 

Рисунок  5  показывает,  как  работает  такая  шкала  оценки  трудности  заданий  и 

вероятностной  успешности  учеников.  Зона  ближайшего  развития  читательской 

компетентности ученика расположена несколько выше точки его или ее актуальных 

достижений.  Чем  выше  по  шкале,  тем  с  меньшей  вероятностью  ученик  ответит  на 

вопрос теста самостоятельно, без дополнительной помощи. 

                                                 

20

  Описание  модели,  применявшейся  для  создания  этой  шкалы,  см.  PISA  2009  Technical  Report 

(OECD). 

21

  Имеется  в  виду  то  определение  читательской  грамотности,  на  основе  которого  разработан  тест 

PISA (см. выше). 

29 

 

 

Шкала читательской грамотности 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Рис. 5. Отношение между трудностью вопросов и успешностью учащихся 

 

 

Определение уровней читательской грамотности в PISA-2009: общая шкала 

 

1000-балльная  шкала  читательской  грамотности  построена  таким  образом, 

что  среднее  значение  для  стран  ОЭСР  соответствует  500  баллам  со  стандартным 

отклонением  в  100  баллов.  Для  качественной  интерпретации  результатов  шкала 

разделена  на  уровни.  Первичное  уровневое  деление  основано  на  статистических 

принципах,  далее  каждый  уровень  описывается  содержательно  –  с  ориентацией  на 

то,  какие  читательские  умения  необходимы  для  ответа  на  вопросы,  отнесенные  к 

тому или иному уровню.  

 

В  PISA-2009  выделено  семь  уровней  читательской  грамотности:  самый 

низкий  –  1б,  самый  высокой  –  6.  Учащиеся,  достигшие  уровня  1б,  с  большой 

вероятностью  справляются  с  заданиями,  отнесенными  к  этому  уровню,  но  с  очень 

низкой  вероятностью  могут  справиться  с  заданиями  более  трудными.  Учащиеся, 

достигшие  уровня  6,  с  большой  вероятностью  справляются  с  заданиями,  которые 

предъявляют  к  читателю  самые  сложные  требования,  а  также  с  более  простыми 

заданиями теста. 

 

Стандартная  процедура  определения  уровня  читательской  грамотности 

учащегося основана на его или ее реальных достижениях в тесте. Суммарный балл, 

полученный  учащимся  при  ответе  на  вопросы  теста,  помещается  на  шкалу 

читательской  грамотности,  что  позволяет  связать  этот  балл  с  уровнем  трудности 

 

 

Учащийся А с высокой успешностью.  

Ожидается, что учащийся А справится с 

вопросами I-V и с высокой вероятностью 

ответит на вопрос VI. 

 

Трудные вопросы 

вопрос

 VI 

вопрос

 V 

вопрос

 IV 

вопрос

 III 

вопрос

 II 

вопрос

 I 

 

Учащийся Б со средней успешностью. 

Ожидается, что учащийся Б справится с 

вопросами I-III, возможно, ответит на вопрос IV 

и с высокой вероятностью не сможет 

ответить на вопросы V-VI. 

 

Учащийся В с низкой успешностью. 

Ожидается, что учащийся В не справится с 

вопросами II-VI и, возможно, ответит на вопрос 

I. 

Вопросы средней 

трудности 

 

Легкие вопросы 

 

30 

заданий,  определенным  для  каждого  интервала  шкалы.  К  примеру,  учащийся, 

получивший в тесте балл, который соответствует 3-му уровню, с большой степенью 

вероятности  правильно  ответит  на  все  вопросы  3-го  и  более  низких  уровней 

трудности.  Если  балл  ученика  соответствует  нижней  точке  3-го  уровня,  то 

ожидается,  что  он(а)  верно  ответит  как  минимум  на  50%  вопросов  3-го  уровня 

сложности;  если  балл  ученика  соответствует  верхней  точке  3-го  уровня,  то 

ожидается,  что  он(а)  верно  ответит  как  минимум  на  70%  вопросов  3-го  уровня 

трудности.  В  таблице  9  представлены  детальные  характеристики  читательских 

умений,  соответствующих  каждому  уровню  читательской  грамотности.  Примеры 

заданий каждого уровня сложности приведены в приложении. 

Таблица 9  

жүктеу/скачать 2,11 Mb.

Достарыңызбен бөлісу: