Box 6. The status of writing skills in PISA 2018 reading literacy assessment

179
of foundational reading skills may be exerting so much attention and cognitive effort on lower level 
skills of decoding, word recognition and sentence parsing that they have diminished resources to 
perform higher-level comprehension tasks with single or multiple texts. This finding applies to 
developing as well as teenage readers (Rasinski et al., 2005; Scamacca et al., 2006).
103. The computerized administration and scoring in PISA 2018 allows the measurement of the 
ease and efficiency with which 15-year-olds can read simple texts for understanding. While not all 
slow reading is poor reading, as noted above, a large body of evidence documents how and why a 
lack of automaticity in one’s basic reading processes can be a bottleneck to higher-level reading 
proficiency and is associated with poor comprehension (e.g. Rayner et al., 2001). Thus, it is 
valuable to have an indicator of the ease and efficiency with which 15-year-olds can read simple 
texts accurately for understanding to better describe and interpret very low-level performance on 
PISA comprehension tasks.
104. It is further worth noting that with the exponential expansion of text content available on the 
Internet, there is an ever greater need for 21st century students to not only be proficient readers, 
but also efficient readers (OECD, 2011). Thus, a basic indicator of reading rate under low demand 
conditions can also be used descriptively for other purposes, such as investigating how much 
students regulate their rate or strategic processes in the face of more complex tasks or larger 
volumes of text.
105. While there are many variations in how to define, operationalize and measure reading ease, 
efficiency or fluency, the most common evidence collected when using silent reading tasks are 
indicators of accuracy and rate. Oral reading fluency measures can also be used to estimate 
prosody and expressiveness of the reader, but these attributes are more challenging to measure in 
silent reading tasks and there is less agreement concerning their added value over and above 
strong indicators of accuracy and rate (Eason et al., 2013; Kuhn, Schwanenflugel, & Meisinger, 
2010). In addition, it is not currently feasible to implement and score oral reading tasks in all the 
languages in which PISA is available. Thus, a silent reading task design is recommended.
106. In order to better understand the challenges facing 15-year-olds scoring at lower levels on the 
PISA reading literacy task, a specific task can be administered near the start of the assessment to 
measure reading ease and efficiency. Performance on this task can be scaled and reported 
independently from the main proficiency scales. As noted, inefficient reading can be a symptom of 
low foundational skills. However, there may be individuals who are relatively slow readers, yet 
possess compensatory or strategic processes that permit them to be higher-level readers when 
given sufficient time to complete complex tasks. This may be especially the case for non-native 
speakers of a language, who may be relatively slower than native speakers, but score comparably 
to more proficient students on untimed tasks. Thus, it seems most prudent to use the ease of 
reading indicator as a descriptive variable to help differentiate students who may have foundational 
skill deficits from those who are slow, but nonetheless proficient readers.
107. In addition, an index of ease and efficiency of reading could be, as one of several indicators, 
used for placing students in a level for adaptive testing (see section below on “Considerations for 
adaptive testing”). For the reasons cited in the previous paragraph, the index may not be suitable 
as a sole indicator of reading level, however, when combined with other evidence, inefficiency in 
basic processing may be helpful in placing students in appropriate levels. 
108. A task design that has been used effectively as an indicator of reading ease and efficiency in 
other empirical research requires students to read a sentence and make a judgment of the 
plausibility of the sentence in relation to world knowledge or internal logical consistency of the 
sentence. The measure takes into account both accuracy of understanding the text and the time it 
takes to read and respond. This sentence task structure has been used in the Woodcock Johnson 
Subtest of Reading Fluency (Woodcock, McGrew, & Mather, 2001) and the Tests of Silent Reading 

180
Efficiency and Comprehension (TOSREC) (Wagner, Torgesen, Rashotte, & Pearson, 2010). It is 
also the task type used in the PIAAC Reading Components task set (OECD, 2013a; Sabatini & 
Bruce, 2009), and in two PISA countries (Bruce & Sabatini, 2013) with success. A similar task has 
been used in the Austrian PISA 2000 assessment and showed high correlations (
r 
= .64) with 
students’ final test score (Landerl & Reiter, 2002). This task design thus has a proven empirical 
foundation as an index of reading ease and efficiency in international study contexts. Task 1 in 
Appendix B shows a sample item taken from the PIAAC Reading Components task.
109. While it may be possible in future cycles of PISA to use log-file data based on complex 
reading literacy tasks as the sole source for measuring ease and efficiency, this option is not 
recommended for the current cycle. In order to ensure that students complete tasks under 
conditions that yield a valid indicator of efficiency, the design and instructions accompanying the 
task should target the desired construct. The texts need to be simple and short in order to 
maximize reading efficiency versus strategic or compensatory processes. In addition, the task 
demands should take minimal reasoning so as to not confound individual differences in decision 
time with basic reading rate information. It will therefore be difficult to ensure that the reading rates 
and accuracy observed in tasks that were designed for different measurement purposes that are 
executed by students under these constraints. The more complex the task, the more likely that 
students will deploy strategic or compensatory processes that interfere with measuring ease and 
efficiency of basic understanding.
110. Thus, it is recommended that the log files from this cycle be analysed to evaluate whether 
there are indicators within the new PISA Reading Literacy task set that are strongly correlated with 
the sentence level efficiency task proposed. The probability is low that there is sufficient valid 
evidence in the field test log files 
– essentially psychometric equivalence with the sentence task – 
from initial item trials of the new reading literacy tasks. On the other hand, such log file 
correlational evidence would serve as cross-validation evidence for the ease and efficiency task.

жүктеу/скачать 3,64 Mb.

Достарыңызбен бөлісу: