Сборник тезисов 30 мая, 2018 г

151
СОДЕРЖАНИЕ
 
ОЦЕНКА
 
ДОЛИ
 
ЗНАНИЙ
 
В
 
ТЕСТОВОМ
 
ЗАДАНИИ
 
НА
 
СОРТИРОВКУ
 
ВАРИАНТОВ
 
ПРИ
 
ОБУЧАЮЩЕМ
 
ТЕСТИРОВАНИИ
 
Осипов А. В.
ВГУ им П. М. Машерова, г. Витебск, Беларусь
Аннотация. Рассматривается способ оценки доли знаний при обучающем тестировании с использова-
нием задания на сортировку вариантов. Обсуждается критерий правильности вычисления доли знаний 
в частично выполненных заданиях. Дается подробное математическое обоснование вычисления доли 
знаний и рекомендации по применению в обучающем тестировании.
Тестирование в настоящее время остается лидирующей формой контроля процесса обу-
чения ввиду всех его преимуществ, связанных с автоматической обработкой результатов, не-
допущением двусмысленности, вмешательства человеческого фактора и пр. Однако главным 
недостатком этой формы проверки остается исключение творческой работы тестируемого, иг-
норирование его речевых навыков, умения нестандартно мыслить. Исправить положение при-
звано внедрением различных типов тестовых заданий: с вводом текстового ответа, ответом-
формулой, табличным заданием, сопоставлением пар и др. Одно из таких новых типов зада-
ний – задание на сортировку вариантов. Задача обучаемого – найти правильное расположение 
последовательности случайно представленных элементов. 
Обучающее тестирование, в отличие от контрольного, несет в себе другие цели. Важно 
показать обучаемому, насколько он продвигается в усвоении и закреплении новых знаний, 
особенно, если запомнить предполагается не заранее известную постоянную последователь-
ность, а генерируемую автоматически. 
Учитывая то, что в процессе обучения важно не только оценить идеально правильный 
ответ, сравнив его с записанным ответом в базе данных, но и вычислить долю знаний в ча-
стично выполненном задании, проблема требует математического подхода к своему решению. 
В примерах будем применять задание с ответом «12345» и его возможные перестановки, 
например, «12534», где обучаемый неверно поставил 5-й элемент. 
Исходная формула, которая рассчитывает, как влияет угадывание на выбор из n вариан-
тов при доле знаний d, предложенная в [2], выглядит так: 
(1) 
Один вариант расположен всегда верно. Пусть p
2
, p
3
– это вероятности правильного рас-
положения в тестах, где есть два и три варианта. Тогда их вероятности вычисляются по фор-
мулам: 
(2) 
Другие n-k-1 вариант пусть будут расставлены случайно 
(3) 
Этот расчет производится с точностью до нормирующего множителя. 
Однако возникает неоднозначность при выборе критерия правильности. Изучим его 
возможные варианты: 
1. Сколько элементов стоит на правильных позициях. Пусть в ответе «21345» их только 
1, это 3-й ответ. По сути, это приводит задание на сортировку вариантов к заданию на сопо-
ставление пар, где учитываются только правильные такие пары. Этот критерий не распознает 
то, что близко будут расположены элементы на правильных позициях. 
2. Число верных пар, где номера различаются на 1 позицию в правильном результате. То 
есть вариант «34512» заключает такие правильные пары как «34», «45» и «12». 

152 
3. Длина наибольшей серии правильно расположенных вариантов. То есть в порядке 
«23541» это «235» размером 3. Но этот критерий не будет учитывать положение пар, не во-
шедших в эту последовательность. 
Недостатком подобных вариантов оценки является ограниченное число потенциальных 
значений и недостаточный учет информации. Альтернативной статистикой является число R 
перестановок значений, которое надо сделать, чтобы перевести ответ в заранее известный пра-
вильный. Пример: чтобы ответ «51234» привести к правильному ответу, необходимо 4 пере-
становки (пятерка последовательно передвигается вправо, обмениваясь позициями со своим 
соседом). Однако имеется две проблемы, которые необходимо решить прежде, чем применять 
данный критерий. 
1. Статистика уменьшается при улучшении порядка при необходимости увеличения. 
Решение: 
Выполнить переход к доле, которая будет вычислена по формуле 
(4), 
которая получает значения в том же промежутке и равна 0 при противоположном по-
рядке. Тогда перестановка «54321» достигает максимального значения, равного 
2) Диапазон статистики S больше n и необходима новая трактовка критерия S, либо отоб-
ражение в диапазон [1...n]. 
Решение: 
Произведем умножение: 
(5), 
Получаем, что статистика может принято нецелые значения. Выполним обобщение фор-
мулы числа верных ответов на не целое, дробное значение их числа. Идея заключается в обоб-
щении факториала через Г-функцию на дробные значения аргумента. Рассмотрим формулу 
для числа k верных ответов: 
(6)
Произведем тождественные преобразования: 
(7) 
Введем Г-функцию с использованием ее свойства: 
(8)
Достоинства данной формулы: 1. Рациональное число для k – доли знаний. 2. Формула 
чувствительна к отклонениям положения пар ответов. 3. Прозрачность для логики 4. Результат 
просто вычисляется по одной формуле линейной к вычислению 5. Начальный элемент и его 
выбор не важны итоговой сортировке. 
Формула дробных значений результата допускает использование и других статистик по-
сле их приведения в диапазон [1...n], однако есть основание полагать, что критерий парных 

153
СОДЕРЖАНИЕ
 
перестановок согласуется с коэффициентом корреляции Кендалла в непараметрической ста-
тистике и является вполне удачным. 
С целью недопущения переполнения при вычислениях с большим d применяли лога-
рифм Г-функции, с использованием асимптотической формулы [2, с 75]: 
(9), 
где LNG –формула приближения вычисления Г-функции. [1]
Качественному изменению подверглась тестирующая программа «Сократ». В функцио-
нал ее был внедрен новый тип задания – сортировка вариантов, разработана обучающая ин-
струкция и примеры выполнения заданий.
Для проведения исследовательского тестирования была создана база многоэтапных те-
стов по дисциплине «Основы информационных технологий». Разработка велась с использова-
нием рекомендаций по построению таких систем [3]. 
Опытное тестирование с такими тестами проходило в ВГУ им. П. М. Машерова на ка-
федре ИиИТ. Получены статистические данные, позволившие на педагогических измерениях 
утверждать об актуальности и полезности данного подхода. 
1. При обучающем тестировании нужно использовать новые формы контроля ответов 
для успешного усвоения знаний и эти новые формы требуют нового подхода к оценке частич-
ной правильности. 
2. Обучающее тестирование с заданиями на сортировку позволяет собирать преподава-
телю статистику о уровне сложности, как всех заданий, так и отдельных пунктов для более 
внимательного повторного их изучения с обучаемыми. 
3. Обратная связь в заданиях на сортировку необходима и служит пополнению и уточне-
нию базы заданий. 

жүктеу/скачать 14,01 Mb.

Достарыңызбен бөлісу: