Образование: исследование устойчивое развитие


Сапалық  деректер  дегеніміз  не?



Pdf көрінісі
бет2/126
Дата03.03.2017
өлшемі11,35 Mb.
#7397
1   2   3   4   5   6   7   8   9   ...   126

Сапалық  деректер  дегеніміз  не?

 

Сапалық  деректер  сандардан  емес,  талдауды  қажет 

ететін хабарлы деректерден тұрады. Хабарлы деректерді әртүрлі пішіндерде, әртүрлі көздерден 

аламыз [8]. Төмендегі ұсынылған жағдайлардың кез-келгені хабарлы деректерден тұрады:

•  Жеке сұхбаттасу кезінде алынған мәліметтер;

•  Құжаттарды, есептерді қарау кезінде анықталған мәліметтер;

•  Бақылау негізінде алынған жазбаша ақпараттар;

•  Фокус-топтардың сұхбаттасуы, үйлестірушінің немесе бақылаушының толық ұғын-

дырулары мен ескертпелерін қамтиды.

Алдын-ала  дайындалған  тізім  бойынша  деректер  жинақталады.  Сапалық  деректер 

белгілі бір проблеманы, белгілі бір іріктелген адамдар тобымен зерттеуге мүмкіндік береді. 

Сұхбат  арқылы  алынған  сапалық  деректер  адамдардың  туындаған  проблема  бойынша  өз 

пайымдауларын түсіндіруге, өзінің қатысын анықтауға, олардың басымдықтарын анықтауға 

мүмкіндік  береді.  Сапалық  деректер  икемді  болғандықтан,  дерек  жинау  барысында  зерттеу 

құралдары,  хаттамаларға  анықталған  мәселелер  бойынша  толықтырулар  мен  өзгертулер 


7

енгізуге мүмкіндік болады. Зерттеушілер жалпы құрылымды сақтай отырып, жүйелі талдау 

жасай алады. Сандық деректерде белгілі бір туындаған проблема жайлы тександық мәлімет 

алсақ,  сапалық  деректер  арқылы  зерттеу  саласы  бойынша  қандай  проблема  бар  екенін 

анықтауға  болады.  Бұл  деректер  проблеманың  туындау  себебін  анықтауға,  салдарын  терең 

зерттеуге  тиімді.  Деректер  жинау  әдістері  ретінде  сұхбат,  бақылау  және  түрлі  құжаттарды 

зерделеу жатады.

Сапалық деректер интерпретацияның нәтижесі болып табылады. Зерттеу әдістерін дұрыс 

таңдаумен бірге, алынған ақпараттарды интерпретациялау кезінде зерттеуші топ үстірт шешім 

шығарып, қателіктер жіберуі мүмкін. Сонда да деректер жинаудағы жүйелілік пен қайталатын 

сценариймен жүргізілуі шынайылық пен объективтілікті қамтамасыз етеді. Сапалық деректерді 

жинау сандық деректерді жинауға қарағанда арзан және қолайлы. Алайда, кейбір құжаттарға 

қолжетімсіз  болған  жағдайда  жинақталған  деректер  қорытынды  жасауға  жеткіліксіз  болуы 

мүмкін.  Бұдан  шығатын  қорытынды,  зерттеу  сұрағына  нақты  жауап  алу  үшін  сапалық  та, 

сандық та деректерді біріктіріп қолдану керек.

Зерттеушінің басты құралы зерттеу әдістері мен дереккөздерін таңдау болып табылады. 

Дерек  жинаудың  тиімді  деп  танылған  бір  ғана  әдісін  қолдану  зерттеудің  сенімділігі  мен 

шынайылығына  күмән  келтіреді.  Сондықтан  зерттеу  нысаны  мен  мақсатына  қарай  дерек 

жинаудың бірнеше әдісі қолданылуы арқылы деректердің валидтілігіне қол жеткізе аламыз. 

Ол үшін сіздерге үнді ғалымының зерттеуіндегі сапалық және сандық деректерді кезектесіп 

қолдануын мысал ретінде ұсынамыз [6]. Үнді ғалымы Йодха (Jodha,1989) екі үнді ауылындағы 

кедейліктің таралуы жайлы зерттеу жүргізген.



Сандық зерттеу әдісі арқылы орташа отбасы табысы жайлы сандық көрсеткіштер жинап, 

соның негізінде әртүрлі жанұяның әлеуметтік жағдайының өзгеруі жайлы графиктер жасайды. 

Сандық талдау нәтижесі бойынша сұралғандардың 38 пайызы 20 жыл ішінде кедейлене түскен. 

Йодха  сонымен  бірге  тұрмыстық  жағдайы  нашарлаған  фермерлерден  сапалық  деректер 

жинайды.  Фермерлер  20  жыл  бойы  орын  алған  өзгерістер  жайлы  сөз  қозғағанда,  олар  өз 

жанұя табысының төмендегені жайлы емес, төмен жалақы төлейтін қожайындарынан тәуелсіз 

болғаны жайлы айтқан. Олар өздерінің мобильді бола бастағанын, өз өнімділігінің артқанын 

айтты. Дегенмен, фермерлердің табысы азайғанымен, өз әлеуметтік жағдайын жақсарды деп 

ойлайтындығы анықталған. Неліктен кедей бола тұра,  олар өздерінің тұрмыстық жағдайының 

жақсарды деп ойлайтындығын анықтау үшін Йодха сандық талдау жасайды. Анықталғаны: 

әлеуметтік жағдайы нашар болса да, олардың бақуатты қожайындарынан тәуелсіз болып, өз 

беттерінше жұмыс жасауында екен.

Йодханың  зерттеуі  сандық  және  сапалық  деректерді  жинау  әдістерін  біріктіре  және 

алмастыра  қолдану  арқылы  ақпараттардың  шынайылығы  мен  сенімділігіне  қол  жеткізудің 

керемет  мысалы  болып  табылады.  Дегенмен,  М.  Паттонның  пікірінше,  сандық  деректер 

субъективтілік  сөзіне  синоним  болған  жағдайда  сапалық  деректер  объективтілік  сөзіне 

синоним  бола  алмайды.  Демек,  зерттеушінің  субъективті  көзқарасы  талдау  барысында 

деректердің  шынайылығына  әсерін  тигізуі  мүмкін  [10].  Филлипс  Хансон:  «Зерттеушінің 

бұрынғы тәжірибесі, тұжырымы мен қолданған теориясы зерттеуге қатты ықпал етеді» деген. 

Шынайылыққа қол жеткізу үшін бір зерттеу әдісін екінші зерттеу әдісімен толықтырып, түрлі 

дереккөздерін, түрлі зерттеу әдістерін бірге қолданған тиімді. Сондықтан, шынайылыққа қол 

жеткізу үшін «триангуляцияның» тиімділігіне және түрлеріне тоқталсақ [6].



•  Деректердің  триангуляциясы:  дереккөздерінің  алуантүрлілігі,  бір  мәселе 

бойынша мұғалімдердің, мектепбасшыларының, оқушылардың және ата-аналардың 

көзқарастары әртүрлі болуы мүмкін. 

•  Зерттеушілердің  триангуляциясы:  бір  мәселені  зерттеуге  әртүрлі  ғалымдарды, 

эксперттерді, мұғалімдерді қатыстыру.



•  Зерттеу  әдістерінің  триангуляциясы:  бір  мәселені  зерттеу  үшін  сұхбат,  бақылау, 

8

5

сауалнама және екінші дәрежелі құжаттарды қарау әдістерін қолдану.



•  Теориялар триангуляциясы: белгілі бір мәліметті интерпретациялау үшін бірнеше 

теориялық тұжырымдарға сүйену.

Триангуляция  арқылы  бір  мәселеге  бірнеше  көзқарас  немесе  бірнеше  зерттеу  әдісі 

арқылы зерттеу бойынша біржақты қорытынды жасамай, түрлі ықтимал нұсқаларды қарастыру 

арқылы объективтілікке қол жеткізе аламыз.

Демек,  іс-әрекеттегі  зерттеу  барысында  деректер  жинаудың  тиімді  тәсілін  таңдау  да 

мұғалімдерге  зерттеушілік  дағдыларын  дамытуда  аса  мән  беретін  тұсы  екенін  тренерлік 

тәжірибе көрсетіп отыр.



 

Әдебиеттер тізімі

1.  «Іс-әрекеттегі зерттеу» нұсқаулығы/ «Назарбаев Зияткерлік мектептері»ДББҰ, 2012.

2.  LawrenceStenhouse.  /Что  можно  рассматривать  как  исследование  ?  /British  Journal 

of  Educational  Studies,  Vol.29,№2(Jun.,1981),  pp.103-114-  http://  www.jstor.org/

stable/3120018

3.  Фей 


Тернер./Даму 

сатысын 


зерттеу 

аясында 


іс-әрекеттегі 

зерттеу 


қағидаттары:Knowledge  Quartet  –бастауыш  мектептердегі  жас  мұғалімдердің 

математикалық  білімдерін  дамытуға  арналған  құрал./Педагогикалық  диалог/  №2 

(4)2013, 29-36 б..

4.  Н.Голафшани (2003) Сапалы зерттеудің сенімділігі мен нақтылығы. Сапалы есебінен 

алынған, 8 (4), 597-607.

5.  Уотлинг, Витнер./Сенімділік пен нақтылық маңызды позитивисттік эпистемологияның 

құралдары болып табылады./ 200, 7-б. 

6.  Журавлев Д.В. Методы психологического исследования.

7.  Петров Э.П. Метод наблюдения в социологическом исследовании.

8.  Краевский В.В. Методология педагогического исследования.

9.  Загвязинский В.И. Методология и методы психолого-педагогического исследования.

10. Новиков А.М. Методология образования



СУММАТИВНОЕ ОЦЕНИВАНИЕ НЕЗАВИСИМЫМ ТРЕНЕРОМ  

ПРЕЗЕНТАЦИЙ УЧИТЕЛЕЙ:

ДИЛЕММА В ОБЪЕКТИВНОСТИ ОЦЕНКИ НЕЗАВИСИМОГО 

ТРЕНЕРА

Абильдина Г. С.

Филиал «Центр педагогических измерений»

АОО «Назарбаев Интеллектуальные школы», г. Астана

РЕСПУБЛИКА КАЗАХСТАН



Андатпа

Мақалада  тәуелсіз  тренердің  мұғалімдер  таныстырылымын  суммативті  бағалау 

кезеңіндегі рөлі қарастырылған.Төл эксперт ретінде өз бақылауларына сүйене отырып, автор 

бағалаудағы мәселелердің бірі – тәуелсіз тренер бағасының субъективизмін байқаған. Бағалау 

барысындағы  әрекет  құзырлы,  мықты  және  сенімге  ие  болатындығын  бағалау  ниетінде 

жазылған.



Түйінді сөздер: суммативтік бағала, тәуелсіз тренер, бағаның объективтілігі.

9

Аннотация

В статье рассматривается роль независимого тренера в период суммативного оценивания 

презентаций  учителей.  Опираясь  на  свои  наблюдения,  автор  обнаружил  одну  из  проблем 

в  оценивании  –  объективная  оценка    независимого  тренера.  Данная  статья  написана  с 

намерением оценить, становится ли деятельность в сфере оценки более компетентной, сильной 

и заслуживающей доверия.



Ключевые слова: суммативное оценивание, независимый тренер, объективность оценки.

Abstract

The article considers the role of the indepen    dent  traier  during  the  summative  assessment 

of  teacher’s  presentations.  Based  on  own  observations,  the  author  found  one  of  the  problems  in 

assessment - subjectivit of theindependent trainer’s grade.This article is written with the intention to 

assess whether the activity  in assessing becomes competent, strong and reliable.

Keywords: summative assessment, independent trainer, objective assessment.

                                                «Все  можно  сделать  лучше,  чем  делалось  до  сих    пор»  

                                                                                                                                          Генри Форд 

Оценивание – это составляющий процесс преподавания и обучения. Процесс оценивания 

необходим  для  достижения  обучающимися  ключевых  элементов  в  учебной  деятельности: 

понимание  содержания  предмета,  приобретение  знаний,  совершенствование  навыков, 

формирование подходов в учебной деятельности и ответственности [9]. 

Оценивание и оценка имеют самое широкое распространение практически во всех сферах 

жизнедеятельности  человека,  и  как  теоретические  категории  рассматриваются  во  многих 

областях науки - философии, социологии, педагогике, психологии и многих других.

Сегодня  назначение  оценивания  не  ограничивается  обнаружением  слабых  сторон  в 

практике учителя, оно рассматривается как критический анализ образовательного процесса

подразумевающий точное определение направлений улучшения. 

Важно подчеркнуть, что речь идет не столько об изменении средств оценивания (хотя 

инструменты  и  процедуры  оценивания  тоже  могут  меняться),  сколько  об  изменении  целей 

оценивания и видения оценки как индикатора качества образования. Иными словами, главная 

задача  этой  процедуры  -  улучшение  качества  работы  конкретного  человека  и  через  это, 

достижение более широких целей - улучшение качества обучения. Качественное образование 

на  современном  этапе  могут  обеспечить  только  высококвалифицированные  педагогические 

кадры,  обучающиеся  по  Программе  повышения  квалификации  учителей.  Через  усвоение 

Программы  слушатели  сами  станут  поколением  новых  педагогов,  смогут  подготовить 

следующее поколение преподавателей, способных к постановке целей, анализу педагогических 

ситуаций, умеющих отслеживать и оценивать результаты своей деятельности.

Оценивание – категория, используемая для обозначения деятельности, направленной на 

систематическое суммирование результатов обучения с целью принятия решений о дальнейшем 

обучении [1, с.151].

Суммативное оценивание учителей проходит в три этапа: оценивание портфолио тренером 

группы  и  независимым  тренером;  оценивание  презентаций  разделов  портфолио  учителя 

независимым  тренером;  письменный  экзамен  (тестирование).  Роль  тренера  в  оценивании 

заключается в оценке обучения учителей на основе согласованных процедур и обеспечению 

конструктивной  обратной  связи,  чтобы  поднять  стандарты  достижений;  в  оценке  качества 

программы обучения, процесса обучения учителей и собственной практики, чтобы развить и 

улучшить будущую профессиональную практику[8].



10

5

Для  проведения  суммативного  оценивания  роль  тренеров  передается  независимым 

тренерам.  Оценивание  используется  для  обозначения  деятельности,  направленной  на 

систематическое суммирование результатов обучения с целью принятия решения о дальнейшем 

обучении. Однако, как показывает практика оценивания в системе образования одной из самых 

актуальных проблем была и остается проблема объективной оценки. 

Вопрос  отсутствия  объективности  в  оценивании  работ  учителя  и  отсутствия 

конструктивной  информации  о  том,  что  именно  является  причиной  низкого  или  высокого 

балла, а также трудность ранжирования результатов посредством представленных в рубриках 

приоритетности критериев – все это требует пересмотра роли независимого тренера.

Независимый  тренер  –  специалист  в  сфере  образования,  не  заинтересованный  в 

результате и независимый от руководства, обладающий необходимыми знаниями и навыками 

в  определенной  области  для  проведения  оценивания  и  представления  мотивированного 

заключения. В своей деятельности подобные специалисты руководствуются исключительно 

профессиональными критериями, что требует от них высокого профессионального мастерства и 

непоколебимости. Таким определением я стараюсь дать правильное направление деятельности 

тренерам на заключительной неделе трехмесячных курсов во время проведения презентаций 

по  образовательным  достижениям  учителей  на  основе  портфолио,  где  они  выступают  в 

качестве независимых.   Независимые тренеры, ответственные за оценивание презентаций, 

будут  нести  ответственность  за  выставление  итоговой  оценки  портфолио  учителей  в  их 

группе.  Как  отмечается    в    работе  группы  исследователей  (Новые  тенденции  в  оценке 

развития образования), «подготовка педагогов к смене образовательных стандартов в  целом 

предполагает  формирование  готовности  педагогов  к  использованию  современных  способов 

оценочной деятельности  позволяющих  оценить  как традиционные, так и  новые результаты 

образования»[4, с. 34]. Но в   реальности немногие учителя и   тренеры  в  собственной  оценочной 

деятельности готовы к  изменениям, нововведениям, инновациям. В сознании работающего 

учителя прочное место заняли традиции советского    образования, да   и  пережитки прошлого, 

общественные предрассудки не  дают возможности для развития.

Многие  тренеры,  выступая  в  качестве  независимого  тренера  в  группе  своего  коллеги 

испытывают некий дискомфорт. В связи с этим, существует ряд тенденций, характерных для 

современной образовательной ситуации в области оценочной деятельности. При этом какие-то 

тенденции навеяны традициями советского образования, а какие-то   являются предрассудками 

учительского сознания.

 Оценочная деятельность



Предрассудки 

Традиции

выделяя место оценочной деятельности среди 

других видов педагогической деятельности 

придают ей незначительное место;

многие тренеры не выделяют влияния оценочной 

деятельности на развитие у обучающегося 

адекватной самооценки;

страх перед оценкой коллеги собственной 

профессиональной педагогической деятельности;

в некоторых случаях формальное отношение к 

работам обучающихся

большинство испытывают трудности при оценивании 

обучающихся;

некоторые тренеры более глубоко понимают сущность 

оценочной деятельности на современном этапе;

не задумываются о вопросах и проблемах качества 

образования и собственной оценочной деятельности;

имеют большую потребность в практических знаниях

и умениях, связанных с новыми механизмами 

оценивания

При этом, независимые тренеры не всегда соотносят свою оценочную деятельность со 

стандартами тренера согласно Модели оценивания тренера уровневых курсов:

•  использовать концепции оценивания для обучения, чтобы планировать следующие 

шаги в обучении; 



11

•  изучать  доказательства  и  презентации  разделов  портфолио  обучающихся,  чтобы 

принять достоверное и справедливое решение о суммативной оценке; 

•  оценивать методы оценивания с точки зрения их обоснованности, достоверности и 

достаточности; 

•  анализировать  данные  суммативного  оценивания  для  улучшения  обучения 

обучающихся и собственной практики; 

•  обсуждать  результаты  оценки  с  людьми,  заинтересованными  в  достижениях 

обучающегося [2, с. 65].

Независимый 

тренер 

должен 


руководствоваться 

четко 


определенными 

профессиональными стандартами; основными критериями оценивания и вопросами, которые 

помогут ему правильно расставить приоритеты в процессе оценивания:ЗАЧЕМ оценивать? В 

соответствии с ЧЕМ оценивать? ЧЕМ и ПОЧЕМУ именно этим, а не другим инструментом 

оценивать? КАК оценивать? и  ЧТО оценивать? 

Процесс оценивания имеет очень большое значение для обучающихся, поэтому направлен 

на достижение соразмерности их деятельности. Независимый тренер несет ответственность 

за  итоговое  оценивание  презентаций,  демонстрирующих  содержание  портфолио  учителей. 

На презентации присутствуют коллеги, которые тоже участвуют в процедуре оценивания не 

только  в  качестве  наблюдателей,  но  и  как  участники  процесса  обучения.  При  выставлении 

оценки  независимый  тренер  будет  учитывать  оценки  членов  группы,  но  заключительную 

оценку он поставит самостоятельно. Эксперт, присутствующий на презентации может оказать, 

если это будет необходимо, помощь независимому тренеру. Он же может выступать в качестве 

модераторов и при необходимости влиять на результаты оценивания тренеров. Присутствие 

эксперта  на  презентациях  портфолио  учителей  также  будет  способствовать  объективному 

процессу оценивания тренера, в качестве независимого. Но тем не менее, проблема объективного 

оценивания существует. С чем это связано? Почему некоторые тренеры, выступающие в роли 

независимых,  необъективно  подходят  к  процедуре  оценивания?  Почему  при  выставлении 

оценки независимый тренер ориентируется на оценку родного тренера? Почему независимый 

тренер чаще руководствуется   предвзятым отношением к отдельным учителям?...

Наблюдаемые явления в этом направлении, ознакомление с отечественным и зарубежным 

опытом,  наблюдение  за  учебным  процессом  позволили  выявить  ряд  существующих 

противоречий между:

•   потребностью обучающихся в новой, объективной системе оценивания достижений, 

с  одной  стороны,  и  недостаточной  разработанностью  и  пониманием  системы 

оценивания – с другой;

•  сложившейся  научно-теоретической  базой  по  вопросу  оценивания  и  отсутствием 

глубокого понимания того, что знают и понимают обучающиеся в результате обучения 

и как они могут эти знания и понимание применить;

•  сложившейся  традиционной  практикой  оценивания  и  отсутствием  научно 

обоснованной модели технологии оценивания.

Таким образом, сегодня оценивание должно быть направлено не просто на выявление 

недостатков,  оно  должно  стать  механизмом,  обеспечивающим  непрерывность  процесса 

совершенствования  качества  образования,  должно  обеспечить  конструктивную  обратную 

связь для всех субъектов образовательного процесса. 

Возможно  ли  оценить,  становится  ли  деятельность  в  сфере  оценивания  более 

компетентной,  сильной  и  заслуживающей  доверия?  Для  ответа  на  данный  вопрос      А. 

Бахмутским  рассмотрены  позитивные, нейтральные и негативные тенденции в следующих 

трех областях:

Интеллектуальные достижения. Благодаря теоретическому обоснованию роли оценки, 


12

5

ее сфера расширилась и слабых мест стало меньше. Пришло более ясное

понимание  и  у  независимых  тренеров,  и  у  экспертов,  что  оценка  –  это  приобретение 

знаний,  а  негативное  восприятие  оценки  как  формы  аудита  и  инспектирования  постепенно 

уходит в прошлое. Одновременно мы стали лучше понимать, на каких этапах оценка помогает 

приобретению знаний. Это происходит не только на стадии измерения влияния, но в течение 

всего цикла оценки, начиная с исходного анализа ситуации и далее в течение всего жизненного 

цикла программы. Одним из крайне положительных последствий стало признание значения 

формативной оценки, проводимой для приобретения знаний в середине программного цикла.

Ответственность. Какие меры необходимы, чтобы обеспечить качество нашей работы? 

Как влияет формальное оценивание портфолио учителя на его дальнейшую практику? Ведь 

оценка нужна для того чтобы обучающиеся смогли получить своевременную и

надежную  информацию  о  том,  как  прошла  их  практика,  насколько  эффективно 

использовали  знания,  полученные  на  первом  этапе  обучения,  верно  ли  выбранные  ими 

стратегии, сильные и слабые стороны преподавания и обучения, конструктивные предложения 

для улучшения их практики.

Предложение и спрос на независимых тренеров. Качество оценки независимых тренеров 

эволюционирует, можно найти объективного и надежного тренера даже при существующих 

недостатках нашего менталитета. Но проблема с объективностью выставления суммативной 

оценки остается. Отрицательной стороной такого положения вещей является то, что тренер 

группы и независимый тренер –коллеги, работают в одной организации бок о бок несколько 

лет и поэтому независимый тренер готов работать на условиях коллеги. Еще одной негативной 

тенденцией является, что у независимого тренера есть своя группа, которую оценивает коллега 

из другой группы. Таким образом, объективность оценивания  может быть достигнута только 

вынесением оценивания за пределы отношений тренер  группы – независимый тренер. Но тем 

не менее, присутствие независимого тренера во время процедуры оценивания, положительно 

влияет  на  содержательность  презентаций,  желание  учителей  услышать  конструктивные 

предложения для планирования дальнейших усовершенствований собственной практики.

Практика  позволила  выявить  необходимые  условия  и  требования  к  технологии 

оценивания: 

•  объективно  —  вне  зависимости  от  какого-либо  частного  мнения  или  отдельных 

суждений;

•  надежно — относительно свободно от влияния ситуативных факторов (настроения, 

погоды, прошлых успехов и неудач, возможно, случайных);

•  достоверно  в  отношении  деятельности  —  оцениваться  должен  реальный  уровень 

владения навыками — насколько успешно человек справляется со своим делом.

Становится  ли  деятельность  в  сфере  оценивания  более  компетентной,  сильной  и 

заслуживающей доверия? На мой чисто субъективный взгляд, да. Положительные тенденции 

полностью перевешивают отрицательные, сомнений нет. Если заглянуть в будущее, ожидают 

ли  нас  там  значительные  трудности,  которые  будут  способны  изменить  ситуацию  в  сфере 

оценки? Снова да. 

Наконец, какое из реально возможных изменений было бы способно оказать наиболее 

позитивное  и  продолжительное  влияние  на  деятельность  независимого  тренера? По-моему, 

этого  можно  добиться,  если  в  качестве  независимого  тренера  будут  выступать  педагоги  со 

стороны, незнакомые учителям и если каждый тренер осмыслит свою личную ответственность 

за  оценивание  презентаций.  Для  этого  есть  все  условия:  увеличиваются  предложение  и 

компетенция;  растут  потребности  участников  образовательного  процесса,  увеличивается 

степень ответственности. 



13


Достарыңызбен бөлісу:
1   2   3   4   5   6   7   8   9   ...   126




©emirsaba.org 2024
әкімшілігінің қараңыз

    Басты бет