M. kozybayev north kazakhstan state university хабаршы педагогикалық сериясы вестник серия педагогическая

Методические аспекты применения систем 

автоматического тестирования программ в образовательном процессе 

 

317 

Введение 

В настоящее вреся компьютеры целиком интегрированы в образовательный 

процесс.  Дистанционные  образовательные  технологии,  тест  классы, 

промежуточная  и  итоговая  аттестация,  все  это  напрямую  использует 

образовательное  программное  обеспечение.  Тем  самым  в  долгосрочной 

перспективе  существенно  снижается  нагрузка  на  преподавателя,  с  пополнением 

базы  электронных  метриалов  растет  качество  курсов.  Все  это  стало  возможно 

благодаря  внедрению  компьютеров  в  образовательный  процесс,  в  том  числе  в 

дисциплинах предельно далеких от компьютерных технологий. 

Рассмотрим ближе, как проходитв ВУЗах обучение дисциплинам напрямую 

связанных  с  программированием,  таких  практикум  на  ЭВМ  у  профильных 

специальностей.  

На первом этапе студенты учатся писать простейшие программы на бумаге, 

осваивают  синтаксис  изучаемого  языка  программироания.  Единственной 

возможной  системой  проверки  на  данном  этапе  является  проверка 

преподавателем вручную. 

Далее  обучающиеся  знакомятся  с  системой  программивания,  т.е. 

совокупностью  программных  средств  я  помощью  которой  текст  на  формальном 

языке  (языке  программирования)  преобразуется  в  исполняемый  файл  для 

конкретной  вычислительной  системы.  Студенты  пишут  простейшие  программы, 

направленные на освоение алгоритмических конструкций, на этом этапе главным 

критерием проверки является работоспособность написанной программы, которая 

проверяется преподавателем в присутствии студента. 

К  моменту  освоения  обучающимися  основных  алгоритмических 

конструкций  добалявтся  дополнительные  критерии  качества  программы,  такие 

как: 1) оформление, которое обеспечивает читабельность кода; 2) эффективность, 

т.е.  время  и  объем  ресурсов,  затраченных  на  решение  задачи;                                          

3)  масштабируемость,  т.е.  потенциал  расширения  функционала  прогаммы, 

сложность  его  сопровождения,  модификации.  Здесь  уже  преподаватель 

предоставляет  необходимые  спецификации  заданий,  которые  определяют 

требования  к  эффективности,  используемые  подходы  к  проектированию 

программ  и  актуальным  становится  процесс  адекватной  оценки  результата. 

Визуальное  оценивание  преподавателем  в  данном  случае  неприменимо,  в  силу 

трудоемкости  процесса.  Проверка  работоспособности  на  простейших  примерах 

также  не  дает  информации  об  эффективности  тестируемого  программного 

обеспечения.  

В  случае  промышленной  разработки  в  рамках  команды  все  решается 

примением  тестирования  на  всех  этапах  разработки,  в  том  числе,  привлечение 

специалистов,  чьей  единственной  задачей  является  выявление  ошибок  в 

функционировании программного обеспечения – тестировщиков. 

К  образовательному  процессу  такой  подход  в  чистом  виде  не  применим, 

поскольку  требует  настройки  всей  инфраструкуры  разработки,  о  которой,  на 

данном  этапе  обучения,  студенты  имеют  весьма  отдаленное  и  поверхностное 

представление. 

Таким  образом,  задача  оценки  качества  программ  в  образоватлельном 

процессе по указанным критериям является актуальной. 

Обратимся к опыту олимпиад по программмированию, в ходе их проведения 

приходится проверять большое количество программ участников на правильность 

и  эффективность  предлагаемого  решения.  Этим  целям  служат  системы 

Голодов В.А. 

318 

автоматической проверки программ, без них ни обходится ни одна современная 

олимпиада  по  программированию.  Начиная  от  внутрифакультетских 

соревнований и заканчивая финалами чемпионатов мира по программированию. 

Очевидные  плюсы  подобного  подхода  к  проведению  соревнований: 

оперативность проверки, монитор соревнования, доступный участникам и жюри в 

режиме  реального  времени,  неизбежные  издержки:  все  задания  должны  быть 

очень  четко  сформулированы,  и  повышенные  требования  к  оргкомитету 

(техническая  поддержка,  подготовка  тестов).  Олимпиады  –  передний  край 

образовательного процесса, именно на олимпиадах впервые появляются задания 

на использование самых научных современных разработок. 

Развитие  вычислительной  техники  и  оснащенность  учебных  заведений  

достигли  уровня,  позволяющего  содержать  достаточный  серверный  парк,  а 

студентам использовать компьютерные классы и/или собственные компьютеры и 

Интернет-соединение для взаимодействия с образовательными ресурсами. 

Сама специфика олимпиадного движения вовлекает в процесс лишь самых 

сильных  студентов.  При  этом  даже  задачи  уровня  ниже  среднего  «вводят 

студентов  в  ступор»,  что  делает  применение  готовых  олимпиадных  наборов  в 

учебном  процессе  напрямую  невозможным.  Тем  не  менее,  часть  олимпиадного 

опыта может быть перенесена, об этом и пойдет речь ниже. 

 

Теория 

Рассмотрим  некоторые  методические  аспекты  применения  систем 

автоматической  проверки  заданий,  опробованные  на  практических  занятий  по 

дисциплинам «Языки и методы программирования», «Теория конечных графов и 

ее приложения», «Прикладные задачи теории графов». 

1.

 

Четкая формулировка задания не допускающая двояких трактовок. 

Основное  требование  для  автоматической  проверки  задания  это  жесткий 

формат входных и выходных данных. Это требование относится в первую очередь 

к  преподавателю,  тем  самым  повышается  качество  и  продуманность  заданий  в 

курсе. 

Остановимся  на  этом  моменте  чуть  более  подробно.  В  тот  момент,  когда 

студент,  выполняющий  типовое  задание  получает  после  запуска  программы 

верные  значения,  его  первым  порывом  является  демонстрация  задания 

преподавателю,  с  практически  полным  пренебрежением  к  оформлению.  Если 

проверку осуществляет человек, то в первую очередь в программе проверяется ее 

«читаемость»,  т.е.  оформление  кода  и  комментариев.  На  следующем  этапе 

проверки  проверяется  работоспособность  на  простейших  примерах.  Однако 

проверяющий-человек  легко  воспринимает  практически  любой  осмысленный 

формат ввода и вывода, тем самым остается очень большой разброс в форматах 

используемых студентами.  

Специфика  выполнения  заданий  на  первичное  освоение  техники 

программирования  обязывает  выводить  в  программе  подсказки  пользователю, 

формат  которых  предназначен  для  восприятия  человеком.  На  начальном  этапе 

обучения  студентов  программированию  основной  упор  сделан  на  разработку 

консольных приложений с максимально удобным консольным интерфейсом, т.е. с 

большим  количеством  подсказок,  но  без  жесткой  формализации  содержания 

подсказок, их формата и т.д. 

При взаимодействии же с автоматической проверяющей системой на первый 

план  выходит  именно  четкое  следование  описанному  формату,  ввода-вывода, 

Методические аспекты применения систем 

автоматического тестирования программ в образовательном процессе 

 

319 

любые посторонние символы на выводе программы засчитываются системой как 

ошибочный  ответ,  наибольшую  трудность  представляют  лишние  пробельные 

символы, зачастую неразличимые в текстовом редакторе. 

2.

 

Важным  методическим  аспектом  является  формирование  у 

обучающегося  умения  формализовать  задачу,  свести  к  уже  известным  ему 

алгоритмам, разбиению крупной задач на более мелкие подзадачи.  

Умение  формализовать  задачу  можно  прививать  уже  на  первых  шагах  в 

курсе  «Языки  и  методы  программирования»,  например,  оберткой  для  задачи 

нахождения  максимального  элемента  в  последовательности  чисел  на  заданном 

отрезке  может  быть  следующая  формулировка:  «Камера  на  трассе  между 

городами XXX и YYY фиксирует дату-время и скорость каждого проезжающего 

автомобиля.  Оператору  камеры  поступают  запросы  вида,  какова  была 

максимальная скорость автомобиля, проехавшего за период времени [t

s

; t

f

]». При 

составлении прикладной формулировки важно учесть пункт 1, т.е., задача должна 

остаться четкой, а формулировка однозначной. 

Задания  из  курсов  «Теория  конечных  графов  и  ее  приложения», 

«Прикладные задачи теории графов», как правило, изначально имеют некоторую 

исторически  сложившуюся  прикладную  формулировку,  в  этом  случае  весьма 

полезно замаскировать известный алгоритм с помощью обертки, однако это сама 

по себе нетривиальная методическая задача.Развитие творческих способностей с 

помощью  решения  слабо  формалиованных  задач  подробно  рассматривается  в 

соответствующей методической литературе. 

3.

 

Различные  ограничения  на  размер  входных  данных  соответствуют 

различным  уровням  исполнителя,  от  начинающего  программиста  до 

продвинутого,  знакомого  с  основными  приемами  решения  задач.  Небольшой 

размер  исходных  данных  требует  лишь  первичных  навыков,  объемы  данных 

превышающие  сотни  тысяч  элементов  и  запросов  требуют  знания  эффективных 

алгоритмов и специальных структур данных. 

4.

 

Опыт  работы  с  группами  студентов  показывает,  что  более  сильным 

студентам  достаточно  единожды  объяснить  требования  к  оформлению  и 

быстродействию программы,  в то время как  менее внимательные будут каждый 

подходить  с  одними  и  теми  же  ошибками  и  недочетами.  Это  снижает  общую 

эффективность занятия и существенно сужает список тем, которые можно успеть 

осветить в курсе. Тестирующая система берет на себя большую часть работы по 

первичной  проверке,  дисциплинируя  обучающихся.  Время  занятия  целиком 

расходуется на объяснение нового материала и помощь отстающим. 

5.

 

Одним  из  практически  бесплатных  бонусов  является  проверка  на 

плагиат,  поскольку  все  посылки  хранятся  непосредственно  в  системе,  а  также 

ведению журнала успеваемости. 

 

Практическая часть 

Рассмотрим,  как  должно  выглядеть  задание  и  набор  необходимых  для 

проверки  материалов  в  соответствии  с  изложенными  выше  методическими 

аспектами на относительно простом примере. 

Ограничения программы на всех тестовых наборах: 

Ограничение по времени: 0.5 секунды 

Ограничение по памяти: 256 мегабайт 

Условие:  

Голодов В.А. 

320 

Имеется  последовательность  из  N  целых  чисел:  а

1

,  a

2

,…,a

N

,  а  также  К 

различных  запросов  вида  s

i

,  f

i

,  (1≤s

i

≤f

i

 

≤N),  1≤i≤K).  Для  каждого  запроса  s,  f 

требуется найти максимальное число на интервале [a

s

, a

f

]. 

Входные данные (файл input.txt):  

В  первой  строке  входного  файла  записаны  через  пробел  числа  N  и  K,  во 

второй  строке  записаны  N  чисел  а

1

,  a

2

,…,a

N 

– 

элементы  последовательности, 

далее  следует  K  строк,  описывающих  запросы:  каждый  запрос  –  два  числа 

разделенные пробелом. 

Выходные данные: 

В выходном файле ваша программа должна записать K чисел по одному в 

каждой строке – ответы на запросы. 

С  точки  зрения  математической  постановки  и  составления  алгоритма, 

решающего  поставленную  задачу,  приведенная  выше  постановка  вполне 

достаточна  и  корректна,  однако  с  точки  зрения  программиста  –  абсолютно 

неприемлема.  В частности, не прописаны ограничения на количество элементов 

последовательности  N  и  количество  запросов  и  их  «ширину».  Эти  значения 

являются  ключевыми  для  выбора  структуры  данных  и  алгоритма  для  решения 

поставленной задачи.  

Согласно  методическому  аспекту  из  пункта  3  разные  ограничения  и, 

следовательно,  различные  тестовые  наборы  соответствуют  разным  уровням, 

например, возможны следующие градации: 

•

 

Тестовые наборы с (1≤N≤ 100), (1≤K≤ 100), т.е. задача может быть решена 

непосредстенно («в лоб»). 

•

 

Тестовые  наборы  с  (1≤N≤  100),  (1≤K≤  10

5

),  для  решения  с  этими 

ограничениями  необходимо  проявить  смекалку  и  предварительно  просчитать  и 

запомнить ответы для всех возможных запросов [a

s

, a

f

], а затем выводить нужные 

ответы. 

•

 

Тестовые наборы с (1≤N≤ 10

5

), (1≤K≤ 10

5

), эти ограничения уже требуют 

дополнительно  знания  основ  динамического  программирования  и  частичного 

предпросчёта, что позволит отвечать на запрос за время O(1). 

Программа, корректно работающая на всех тестовых наборах одной группы, 

получает фиксированное количество баллов. 

 

Подготовка тестовых наборов и пакета задачи 

Помощь  в  составлении  пакета  для  загрузки  в  систему  автоматического 

тестирования предоставляет сайт https://polygon.codeforces.com/ 

 

Методические аспекты применения систем 

автоматического тестирования программ в образовательном процессе 

 

321 

 

 

Рисунок 1. Заглавная страница системы polygon 

 

Пакет  задачи  состоит  из  условия,  генератора  тестов,  программы, 

проверяющей  корректность  ответа,  правильных  решений,  в  том  числе, 

правильных частичных решений. 

Подготовка  тестовых  наборов  для  проверки  эффективности  представляет 

собой  отдельную  задачу,  в  данном  случае,  для  преподавателя.  Вручную 

сформировать  тест  с  10

5

 

значениями  практически  нереально,  следовательно, 

требуется  автоматизировать  генерацию  тестовых  данных,  написать  программу-

генератор тестов. 

Далее  требуется  написать  программу-чекер  ответа,  поскольку  ответ  может 

быть в задаче не единственным, то должна осуществляться проверка соответствия 

ответа условиям задачи. При длине вывода порядка 10

5

 

осуществить ее вручную 

невозможно. 

Далее  следует  этап  интеграции  тестовых  наборов,  правильных  решений, 

программы-генератора, программы-чекера в пакет, предназначенный для загрузки 

непосредственно в тестирующую систему. 

Страница подготовленного пакета выглядит следующим образом: 

 

 

 

Рисунок 2. Страница подготовленной задачи. 

Karen L. Applequist, Kelly D. Roberts, Hye-Jin Park 

 

322 

Выводы 

Опыт успешного применения систем автоматической проверки, показывает, что 

автоматическая  проверка  оптимизирует  работу  преподавателя,  повышает 

дисциплинированность 

и 

заинтересованность 

студентов. 

Обеспечивая 

круглосуточный  доступ  к  системе  проверки  задания,  возрастает  качество  и 

количество  самостоятельной  работы  студентов.  Подобная  практика  отвечает  самым 

современным тенденциям образовательного процесса. 

 

 

Литература: 

1.

 

Корнеев  Г.А.,  Елизаров  Р.А.  Автоматическое  тестирование  решений  на  соревнованиях 

по  программированию  //    Телекоммуникации  и  информатизация  образования  №1.  – 

Москва. – 2003. – с. 61-73. 

2.

 

Быстрова Ю.Ю., Иномистов В.Ю. Применение системы автоматического тестирования 

программ  в  учебном  процессе  //  Труды  III  Международной  научно-практической 

конференции  "Современные  информационные  технологии  и  ИТ-образование"  6-9 

декабря.– 

Москва.– 

2008.– 

Доступно 

по 

адресу: 

http://2008.it-

edu.ru/docs/2/2%206%20P%20Bistrova%20Inomistov.doc. 

 

 

 

УДК 167:37.01 

 

DESIGNING CULTURALLY APPROPRIATE SELF-DETERMINATION 

CURRICULA FOR STUDENTS AND PARENTS 

 

Karen L. Applequist 

(Northern Arizona University) 

Kelly D. Roberts 

(University of Hawai‘i at Manoa) 

Hye-Jin Park 

(University of Hawai‘i at Manoa) 

 

 

Аңдатпа 

Қайта даярлау үдерісінің жобасында студенттердің қатысу санын көбейту мақсатында өзін-

өзі қалыптастыру бағдарламасы қолайлы тәсілі болып санылады. Студенттерге арналған көптеген 

бағдарламалар бар, бірақ біразы жергілікті студенттерге ғана емес, сондай-ақ шетел студенттеріне 

арналған.  Көбінесе  оқу  бағдарламалар  индивидуалистік  бағдар  бойынша  негізделеді,  бірақ  ол 

коллективистік  бағдардық  студенттерге  сәйкес  келмейді.  Бұл  құжат  студенттің  өзін-өзі 

қалыптастыруында  өзгерістер  қағидаларын  немесе  жоспар  құруын  ұсынады.  Сондай-ақ  мәдени 

және тілдік өлшемдер бойынша ерекшеленетін студенттердің жоспарына сәйкестенеді. Ортақ оқу 

жоспарының дайындауында  ұсыныстар еңгізілген.  Сабақ үлгілері мен бөлімдердің сипаттамасы 

қосылған. 

 

Аннотация 

Использование учебных программ для самоопределения является эффективной стратегией, 

способствующей повышению уровня вовлеченности студентов в планировании перехода от одной  

образовательной ступени к другой. Несмотря на то, что существуют много программ, до сих пор 

мало  таких,  которые  предназначены  для    коренных  и  некоренных    студентов.  Программы 

зачастую базируются на индивидуализированном подходе, которые не совпадает с требованиями 

учащихся    групповой  направленности.  Представленная  статья  направлена  на  модификацию  и 

создание  программы   самоопределения студента в культурном и лингвистическом разнообразии 

(КЛР).    Руководства  для  развития  сопутствующей  учебной  программы  для  родителей  (КЛР) 

представлены. Описание разделов и примеры  занятий также включены 

Designing culturally appropriate self-determination curricula  

for students and parents 

323 

Annotation 

The use of self-determination curricula is an effective strategy for promoting increased student 

involvement in transition planning. While many curricula exist for students, few are designed specifically 

for students from indigenous or immigrant communities. Curricula are frequently based on an 

individualistic orientation that is discordant for students from a collectivist orientation. This paper 

presents strategies for modifying or creating a student self-determination curriculum that is appropriate 

for culturally and linguistically diverse (CLD) students.  Guidelines for developing a companion 

curriculum for CLD parents are introduced. Descriptions of units and examples of lessons are included. 

 

 

Secondary special educators and transition specialists generally assume primary 

responsibility for assuring that transition plans focused on post-school outcomes are 

developed when students eligible under IDEA turn 16.  Students often need additional 

support that will enable them to participate fully in the IEP process and articulate their 

long-term goals after high school.  This support can be provided in a variety of ways 

including the use of curricula that emphasize self-determination, a practice that is 

evidence-based (National Secondary Transition Technical Assistance Center, 2013).  

Guidelines for selecting a self-determination curriculum for your students is simplified 

by Test, Karvonen, Wood, Browder, and Algozzine (2000) who identify eight core 

components of self-determination and seven key questions to facilitate the selection 

process.   

 

The first two questions Test et al. (2000) present, pertain to the match between the 

curriculum and students’ needs.  Special educators and transition specialists working 

with indigenous students or in immigrant communities may encounter difficulty finding 

curricula that are suitable for their students.  Curricula are frequently based on a more 

individualistic view of self-determination that is dissonant to students whose orientation 

is collectivistic (Black &Leake, 2011).  For this reason, it is important to develop or 

modify self-determination curricula in a manner that is respectful of the unique cultural 

orientation of your students.  Moreover, parents of CLD students often experience 

difficulty supporting their children’s transition planning and can benefit from a 

companion curriculum. 

This article will describe a process undertaken to develop two curricula (one for 

students and one for parents) that were field tested with Native Hawaiians, American 

Indian, and Alaskan Native students and parents.  Detailed recommended steps will 

highlight important considerations when modifying curricula for culturally and 

linguistically diverse (CLD) students and their parents.   

Development of self-determination curricula for students and parents was part of a 

federally funded project investigating the efficacy of culturally responsive approaches to 

transition planning for indigenous students with high incidence disabilities and their 

parents.   The development process was predicated on the belief that a mismatch often 

exists between special education and CLD students and families and that the unique 

cultural resources of students should be recognized.  Self-determination is often viewed 

differently by individuals with a collectivist orientation who emphasize a shift from 

dependence to interdependence with family and community, rather than independence 

(Ewalt&Mokuau, 1995; Frankland, Turnbull, Wehmeyer, &Blackmountain, 2004). 

Studies reveal that CLD parents frequently lack a full understanding of the 

transition process and are not fully engaged in their children’s IEP and transition 

planning (Landmark, Zhang & Montoya, 2007).  To address these issues, the “I” in the 

IEP project developed a parent curriculum using a cultural brokering model (Goode, 

Sockalingam, & Snyder, 2004).   The cultural broker model involves individuals from 

Karen L. Applequist, Kelly D. Roberts, Hye-Jin Park 

 

324 

the cultural community who facilitate communication between professionals and 

parents.   

Recognizing the importance of the roles of parents and community in the 

transition process for CLD students, two curricula were developed, one for students and 

one for parents.   The purpose of both curricula is to strengthen the student’s cultural 

foundation to pursue his or her own goals encouraging self-determination, self-

advocacy, and person-centered planning with appropriate support from the family.  Both 

curricula were field tested with 143 Native Hawaiian, American Indian (Navajo), and 

Alaskan Native students, and 57 parents.  Teachers, students and their parents 

participating in focus groups were positive about the curricula.  Furthermore, the level 

of student participation in IEP meetings was more favorable when parents participated 

in the parent curriculum. 

The student curriculum has seven units and can generally be completed over a 

traditional semester.  These units were initially created using Hawaiian culture as the 

foundation.  They were then adapted for the Navajo and Native Alaskan students.  The 

units focus on self awareness, social conscience, social justice, self-determination, 

social action, advocacy, and self advocacy, and unit lessons address the eight core 

components of self-determination curricula described by Test et al. (2000).   

The parent curriculum initially developed in Hawaii includes six sessions focusing 

on self awareness; social consciousness; materials and resources; resources/priorities 

and decision making; using resources; and self-determination, and social action.  The 

units can be explored in 1 day or over several meetings, thus can be completed in a 

timeframe appropriate for the parents in your program.  The goals of the parent 

curriculum focus on building connections between parents and educational and 

rehabilitation professionals and compliment those of the student curriculum.  Specific 

goals for each of the six sessions are presented below.  

жүктеу/скачать 3,9 Mb.

Достарыңызбен бөлісу: