УДК 004.4’24
РАЗРАБОТКА МОДЕЛЕЙ АНАЛИЗА ДАННЫХ НА ОСНОВЕ
ПРОГРАММНОГО ПРИЛОЖЕНИЯ RAPIDMINER
71
Ж.С. САУХАНОВА
кандидат физико-математических наук,
доцент кафедры теоретической информатики,
Евразийский национальный университет им. Л. Н. Гумилева
А.Б. САРСЕКЕЕВ
магистрант кафедры теоретической информатики,
Евразийский национальный университет им. Л. Н. Гумилева
Аннотация
В
данной
статье
представлены
основные
понятия
и
определения
интеллектуального анализа данных и базовые аспекты теории машинного обучения.
Показана разработка модели анализа данных для задачи кластеризации с помощью
программного приложения RapidMiner.
Ключевые слова: RapidMiner, Data Mining, интеллектуальный анализ данных.
В современном обществе все более отчетливым становится понимание
последовательного наступления информационной цивилизации, где важнейшим товаром,
продуктом, а также средством развития становятся информационные ресурсы. В
«Стратегии вхождения Казахстана в число 50-ти наиболее конкурентоспособных стран
мира. Казахстан на пороге нового рывка в своем развитии» Президент Республики
Казахстан Н.А. Назарбаев отметил, что информатизация казахстанского общества
является
механизмом
формирования
национальной
экономики
[1].
Целью
информатизации является наиболее полное удовлетворение информационных
потребностей общества во всех сферах деятельности, в особенности в системе
образования. Информатизация является решающим фактором, определяющим развитие
казахстанского образования. Объектом компьютеризации становится все общество. Это
обуславливает новые приоритеты и задачи.
Использование информационно-коммуникационных технологий в анализе данных
открывает для пользователей широкие возможности. Для обработки данных имеются
разнообразные программно-технические средства. Однако ускорение темпов развития
информационных и коммуникационных технологий приводит к необходимости смены
подходов в разработке анализа данных. Объем информации неуклонно растет и для ее
обработки необходимо создание новых, более эффективных и продуктивных,
инструментов. Скорость обработки данных, мощность языка программирования стали
новыми качественными требованиями программного обеспечения. Именно от этих
качеств зависит насколько быстро и качественно будут обработаны полученные данные.
В статье речь пойдет об использовании, на наш взгляд, очень продуктивной и
эффективной программы RapidMiner, которая существенно меняет характер
организаторской и конструктивной деятельности.
Data Mining изучает процесс нахождения новых, действительных и потенциально
полезных знаний в базах данных. Data Mining лежит на пересечении нескольких наук,
главные из которых – это системы баз данных, статистика и искусственный интеллект.
Data Mining широко используется во многих областях с большим объемом данных. В
науке – астрономии, биологии, биоинформатике, медицине, физике и других областях. В
бизнесе – торговле, телекоммуникациях, банковском деле, промышленном производстве
и т.д. Благодаря сети Интернет Data Mining используется каждый день тысячи раз в
секунду – каждый раз, когда кто-то использует Гугл (Google) или другие поисковые
системы на просторах Интернета.
72
Математический и статистический подходы являются основой для Data Mining.
Виды информации, с которыми работают исследователи, включают не только цифровые
данные, но и все более текст, изображение, видео, звук и т.д. Одна новая и быстро
растущая часть Data Mining – это анализ связей между данными [2].
Методы Data Mining помогают решить многие задачи, с которыми сталкивается
аналитик. Из них основными являются: классификация, регрессия, поиск ассоциативных
правил и кластеризация. Ниже приведено краткое описание основных задач анализа
данных.
- Задача классификации сводится к определению класса объекта по его
характеристикам. Необходимо заметить, что в этой задаче множество классов, к которым
может быть отнесен объект, заранее известно.
- Задача регрессии, подобно задаче классификации, позволяет определить по
известным характеристикам объекта значение некоторого его параметра. В отличие от
задачи классификации значением параметра является не конечное множество классов, а
множество действительных чисел.
- При поиске ассоциативных правил целью является нахождение частых
зависимостей между объектами или событиями. Найденные зависимости представляются
в виде правил и могут быть использованы как для лучшего понимания природы
анализируемых данных, так и для предсказания появления событий.
- Задача кластеризации заключается в поиске независимых групп (кластеров) и их
характеристик во всем множестве анализируемых данных. Решение этой задачи помогает
лучше понять данные. Кроме того, группировка однородных объектов позволяет
сократить их число, следовательно, и облегчить анализ. Задача кластеризации состоит в
разделении исследуемого множества объектов на группы «похожих» объектов.
Кластеризация может применяться практически в любой области, где необходимо
исследование экспериментальных или статистических данных [2].
Программа RapidMiner является средой для машинного обучения и анализа
данных, в которой пользователь огражден от всей «черной работы». В программе ему
предлагается «нарисовать» весь желаемый процесс анализа данных в виде цепочки
операторов и запустить его на выполнение. Цепочка операторов представляется в
RapidMinerе в виде интерактивного графа и в виде выражения на языке XML (Extensible
Markup Language, основного языка системы). Система написана на языке Java. Сейчас в
системе реализовано более 400 операторов.
Представим пример разработки модели анализа данных для задачи кластеризации
с помощью программного приложения RapidMiner.
Пусть имеется текстовый файл с данными вида
0.29 0.37
0.39 0.30
0.50 0.85
0.72 0.76
и т.д.
Для загрузки такого файла подойдет оператор Import/Data/Read CSV. Файл не
удастся перетащить мышкой в директорию репозитория (панель Repositories), поскольку
эта операция не поддерживается для текстовых файлов. Обойти это препятствие можно
следующим образом:
1) открыть файл в программе Excel;
2) сохранить как «книга Microsoft Excel»;
3) перетащить созданный файл на панель Repositories в нужный каталог.
При третьем действии откроется помощник переноса файлов (рисунок 1).
73
Рисунок 1. Помощник переноса файлов
Созданный файл можно перенести мышкой на панель Process (из репозитория),
при этом автоматически создастся оператор Retrieve, который загружает нужные данные
(рисунок 2).
Рисунок 2. Оператор Retrieve
Перетащим несколько операторов кластеризации на панель Process . Выбрав на
панели Process опцию Rewire Operators (Recursively), получаем автоматическое
связывание операторов (рисунок 3). Это полезная опция: часто с помощью нее операторы
связываются «правильно » и пользователь освобождается от «лишней» работы. Каждый
оператор (кластеризации) должен подавать свой выход на выход основного процесса
(иначе нельзя будет просмотреть результат – доступно только то, что подается на выход).
В данном случае связывание «оказалось не совсем правильным»: на выход подается
описание настроенной модели кластеризации, но не сама выборка для визуализации – она
подается на вход следующему оператору. Если вручную указать, что выход какого-то
оператора должен подаваться еще куда-то (соединив мышкой выход с нужным входом),
то система запросит, что ей делать со старой связью: разорвать или разветвить выход
(рисунок 4). При выборе «разветвить» создается специальный оператор разветвления
Multiply.
74
Рисунок 3. Автоматическое соединение операторов
Рисунок 4. Разветвление связей
В результате создана цепочка операторов кластеризации (рисунок 5). Запустив ее
на исполнение кнопкой RUN, получаем результат кластеризации: описание обученной
модели – на панели Cluster Model, визуализацию кластеризации – на панели Example Set
(рисунок 6).
Рисунок 5. Цепочка операторов кластеризации
75
Рисунок 6. Визуализация кластеризации
В RapidMiner реализовано много средств для визуализации моделей: дендограмм,
каталогов кластеров и т.д. (а в классификации – деревьев решений) [3].
Как было отмечено выше, программное приложение написано на языке
программирования
Java.
Подключая
библиотеку
rapidminer.jar
к
проекту,
разрабатываемую на языке Java, можно использовать построенные модели для
дальнейшей обработки. Тогда имеем следующую модель построения корреляционной
матрицы для данных (рисунок 7), представленных таблицей Excel на RapidMiner [4]:
Рисунок 7. Модель построения корреляционной матрицы для данных
Код запуска модели на языке программирования Java можно написать следующим
образом:
import
java.io.File;
import
java.io.IOException;
import
com.rapidminer.Process;
import
com.rapidminer.RapidMiner;
76
import
com.rapidminer.example.ExampleSet;
import
com.rapidminer.operator.IOContainer;
import
com.rapidminer.operator.OperatorException;
import
com.rapidminer.tools.XMLException;
import
com.rapidminer.operator.visualization.dependencies.NumericalMatrix;
public class SOrapid {
public
static
void
main(String[] args) {
try
{
RapidMiner. setExecutionMode(RapidMiner.ExecutionMode.
COMMAND_LINE
);
RapidMiner. init();
Process
process
=
new
Process(
new
File(
"C:\\Users\\Administrator\\.RapidMiner5\\repositories\\RapidMiner\\corr.rmp"
));
IOContainer ioResult = process.run();
ExampleSet resultSet2 = (ExampleSet)ioResult.getElementAt(0);
System.
out
.println(resultSet2);
com.rapidminer.operator.visualization.dependencies.NumericalMatrix
resultSet1
=
(NumericalMatrix) ioResult.getElementAt (1);
System.
out
.println(resultSet1);
catch
(IOException ex) {ex.printStackTrace();}
catch
(XMLException
ex)
{x.printStackTrace();}
catch
(OperatorException
ex)
{
ex.printStackTrace();}
Таким образом, информатизация является решающим фактором, определяющим
развитие казахстанского образования. Модель анализа данных, разработанных на основе
программного приложения RapidMiner, можно успешно внедрять в проект Java, что дает
возможность дальнейшей обработки результатов.
Список литературы
1 Казахстан на пороге нового рывка вперед в своем развитии [Текст] : стратегия вхождения
Казахстана в число пятидесяти наиболее конкурентоспособных стран мира // КАЗАХСТАНСКАЯ
ПРАВДА. - 2006. - N45-46. - С.1.
2 Барсегян А. А.,. Куприянов М. С, Степаненко В.В., Холод И.И. – Методы и модели анализа
данных: OLAP и Data Mining: учебное пособие. – Санкт – Петербург, 2004. – 68с.
3 Дьяконов А. Г. - Анализ данных, обучение по прецедентам, логические игры, системы
WEKA, RapidMiner и MatLab: учебное пособие. – Москва, 2010. – 181 с.
4 Dr. Matthew North - Data Mining for the Masses – 2012. – 74 с.
Tүйін
Мақалада RapidMiner бағдарламалық қамтама негізінде кең ауқымды деректерді талдау
модельдерін құру қарастырылған.
Resume
In the article there were considered the developed models of data of the analysis based on software
RapidMiner.
77
ӘОЖ 37.032
МҰҒАЛІМДЕРДІҢ РЕФЛЕКСИВТІ ОЙЛАУ ДАҒДЫЛАРЫН
ҚАЛЫПТАСТЫРУ
А.Ш. ТАНИРБЕРГЕНОВА
педагогика ғылымдарының кандидаты, доцент,
педагогика кафедрасының меңгерушісі
«Тұран-Астана» университеті
А.Б. КЕРІМБЕРДИНА
педагогика кафедрасының магистранты
Тұран-Астана университеті
Аннотация
Мақалада қазіргі таңда мұғалімдердің рефлексивті ойлау дағдыларын ғылыми
негіздемелерге сүйеніп қалыптастыруда назар аударарлық маңызды дүниелерге көңіл
бөлінеді. Рефлексия тұлғаның дамуын қозғаушы күш болып табылатындығы туралы идея
қарастырылады. Білім саласындағы ізденушілерге автор ұсынған рефлексивті ойлау
төңірегіндегі ақпараттар жаңаша бағыт алуға ықпал етеді.
Түйін сөздер: рефлексия, рефлексивті ойлау, рефлексия кезеңдері, рефлексия.
Қазақстанда білім саласы көптеген өзгерістерді қажет ететіндігі мәлім. Соңғы
онжылдықта енгізіліп жатқан жаңалықтар да жеткілікті. Мұндай қоғамда алғашқы
орында өзінің және қоғамның игілігі үшін жауапты адам тұратыны белгілі.
Инновациялық өзгерістер қазіргі таңда мектеп дамуының да басты факторы болып
табылады.
Ересек адам санасының рефлексивті қасиеттері көптеген қызметтердің, атап
айтқанда, «адам-адам» жүйесі мамандықтары үшін психограмманың қажетті компоненті
екені сөзсіз. Заманауи мектептердегі кәсіби-педагогикалық қызметтердегі рефлексиялау
педагогтардың тәжірибе-сынақ жұмыстарын жасау, инновациялық тәжірибелерді
диссеменациялауда, жобалау жұмыстарын жасау барысында жаңа қырынан танылуда.
Мектепті дамытудың негізгі факторы инновациялық өзгерістер болып табылады.
Бұл жағдайда педагог қызметінің жаңа қырларын меңгеруде жаңаша әдістер мен
тәсілдерді тауып пайдаланып көру және оның нәтижесі үшін жауапкершілікті сезіну
қажеттілігі туындайды. Рефлексия кәсіби
қызметтегі басты
құрал болып
табылатындықтан, өзгерістерге бейімделуге ықпалын тигізеді. Қазіргі таңда
рефлексиялай алу білігін жеткілікті игеру білім саласында жақсы жетістіктерге
жетелеуге ықпал ететіндігі ғалыми негізделіп отыр.
Кәсіби-педагогикалық рефлексиялауға қабілеттілік келесі икемдердің жиыны
78
ретінде анықталады: ойлау және ұйымдастыру қызметтері кеңістігінен ерекшелеу
кеңістігіне өту; аталмыш кәсіби қызметін талдау және жобалау; талдау нәтижелерін өз
схемалары мен ұсынылымдарында (қайта жобалау) тіркеу, ал бұл схемалар мен
ұсынылымдар өзгерісінен өз кәсіби әрекетінің мазмұнын жасау [1].
Тұлғаның табысты кәсіби дамуы оның өзін және кәсіби қызметін адекватты
бағалай алу қабілетінен, яғни өзінің кәсіби маңызды аспектілерін қандай дәрежеде
рефлексиялай алу қабілетінен тәуелді. Рефлексивті процесстерге қызығушылық заманауи
мәдениеттер тенденцияларымен түсіндіріледі: зиякерлік үдерістер модельдерінің
түрлерінің дамуы, таным үдерістерінің күрделенуі, әлеуметтік жүйеде кері байланыстың
дамуы және т.б.
Заманауи сатыдағы кәсіби педагогикалық қызмет - әсер ету нәтижесінде педагог
пен оқушыға қатысты бағытталған әртүлі міндеттерді шешу үдерісі ретінде
қарастырылады. Педагогикалық міндеттерді тиімді шешу көптеген факторларға қатысты,
соның ішінде қажетті этаптың бірі – рефлексия.
Рефлексия – жеке сананың шектеуден шығуын болжайды: қоғамның басқа да
құраушы индивидтерімен бірге, сондай-ақ адамның өзі жасап жатқан әлемін
объективизациялау деп мойындайды.
Кәсіби педагогикалық рефлексияның қайсыбір жағдайларда жаңа деңгейге
көтеретін даму потенциялы бар. Кәсіби тәжірибесін молайғанымен, мұғалімдердің
көпшілігінің рефлексиялау қабілеттерінің артпайтындығы байқалады. Педагогикалық-
психологиялық әдебиеттерге жасалған талдау төмендегіні көрсетеді:
Мұғалімдердің кәсіби рефлексиялаулары заманауи зерттеулерде кеңінен
талқыланғанымен, мектеп мұғалімдерінде даму концепциясы байқалмайды;
Мұғалімнің педагогикалық рефлексиясының құрылымы болмауы;
Рефлексия тәжірибесі көбіне белсенді оқыту әдістерімен байланысты, дегенмен
олардың әзірге ұйымдастырылған мақсатты бағытының қалыптаспауы;
Голландтық әріптестер тәжірибесінде рефлексияның басты этаптарын кесте
түрінде көрсеткен (кестені қараңыз) [2].
Кәсіби педагогикалық рефлексияны ұйымдастыру
Кесте1.
Рефлексия кезеңі
Рефлексиялау сұрақтары
Әрекет
Сипаттамасына
егжей-тегжейлі
тоқталатын
ситуацияға немесе әрекетке ойша оралу
Мен не қаладым?
Мен не ойладым?
Мен не сездім?
Мен не істедім?
Менің
оқушыларым не
қалады?
Олар
не
ойлады?
Олар не сезінді?
Олар не істеді?
Ситуацияның
көңіл
аударарлық
тұстарын
анықтау. Қайшылықтарды айқындау.
Сіз үшін қазір осы ситуациядағы аса маңыздысы
не? Қандай қайшылықтар бар?
Әрекеттердің
альтернативті
тәсілдерін,
ситуацияны шешу жолдарын анықтау. Ең тиімді
әрекет тәсілін анықтау
Табылған қайшылықтардың позитивті шешілуіне
әкелетін
қандай
альтернативаларды
ұсынуға
болады?
Альтернативті әрекеттер тәсілін жүзеге асыру
-
Рефлексивті дағдыларды қалыптастыру дегеніміз - жаңа педагогикалық
міндеттерді шешуді мұғалімдердің күрделі тәсілдерді меңгеру арқылы әр кезеңде игеруі.
В.А. Сластениннің пайымдауынша рефлексия мазмұны педагогикалық қызметтің
әр этапында түрліше болады. Сол себепті педагогтың жобалау әрекетінде рефлексияның
әрбір келесі кезеңі, алдыңғы кезеңнің нәтижесі ретінде анықталады. Рефлексиялау
79
болжалған мақсат пен әрекет нәтижесін бекіту қажеттілігінен күрделене түседі [3].
Ф. Кортхаген рефлексия түсінігін тәжірибені, мәселені, білімді құрылымдауға
немесе қайта құрылымдауға бағытталған ақыл-ой үдерісі ретінде қарастырады. Ол
ұсынған мұғалімдер іс-әрекетінің рефлексивті моделін голландтық педагогтар ALACT
model деп атаған және ол келесі рефлексия этаптарын білдіреді [4]:
action - іс-әрекет;
lof essential actions – іс-әрекеттердің альтернативті тәсілдерін құру;
сreating of alternative methods of action – іс-әрекеттердің альтернативті әдістерін
құру;
trial – жаңа әрекетті сынақтан өткізу.
Рефлексивті бағалау нәтижесінде мұғалімдерде кәсіби әрекеттерінің субъектісі
ретіне өз-өзіне деген көзқарас қалыптасады. Ойлау әрекетіндегі эгоцентриканы жеңу
үшін рефлексивті үдерістерді және рефлексиялауға қабілеттілікті дамыту қажетті шарттар
болып табылады. Сол кезде ғана мұғалім өзіне және өз әрекеттеріне сырттай, яғни өзге
адамның позициясына қарай алады. Өзінің шығармашылық ойлау күйін жүйелендіріп,
біржақты ұстанымдарын жеңе біледі.
А.А. Бизяева педагогикалық рефлексияның екі деңгейін көрсетеді:
1) операционалды деңгей, рефлексивті сананың құрылымды-орындаушылық,
мотивациялық, прогностикалық аспектілерінен құралады;
2) меншікті-жеке деңгей, мұғалімнің кәсіби-жеке субъектілік бағытын рефлективті
жағдайға енуіне бағыттайды.
Педагогикалық рефлексия мұғалімнің шығармашылық ерекшелігін дамытудың
маңызды алғышарты болып табылатындығына көз жеткізуге болады. Мұғалімнің кәсіби
қызметінде пеагогикалық рефлексия келесі функцияларды атқарады:
жасалатын әрекетке саналы көзқараспен қарауы жетіледі;
педагогикалық қызметінде толықтай реттеле алады;
шығырмашылық ойлау сапасы артады;
педагогикалық қызметінің сапалылығы артады;
кәсібилік деңгейі, педагогикалық шеберлігі, кәсіби жетілуі жоғарылайды;
өзін-өзі бағалау, реттеу, талдай алу қабілеттері өседі.
Заманауи рефлексивті оқу ережелерін негіздеген Дж. Дьюи позициясы зерттеу
жұмысымда маңызды орын алады. «Күмәнді шешу қажеттілігі рефлексия процесінде
тұрақты және жетекші фактор болып табылады. Шешімін қажет ететін сұрақ немесе
мәселе болмаса, қиындық кездеспесе ой ағыны текке кетеді. Мәселелер ойды мақсатқа
бағыттайды, ал мақсат ойлау үдерісін бақылайды» [4].
Дьюи рефлективті ойлаудың толық актісін талдап, бес логикалық қадамдарды
ерекшелеген:
1 Қиындықты сезіну;
2 Оны анықтау және оның шекараларын анықтау;
3 Мүмкін болатын шешімін елестету;
4 Әрекеттер тәсілін ойша дамыту;
5 Әрекеттер тәсілдерін жетілдіруге немесе одан бас тартуға жетелейтін кейінгі
бақылаулар.
Тұрақты ойлану мен өз тәжірибесін байыту мұғалім шеберлігін арттыруға әсер
етеді. Бұл тарапта теориялық білім мен практиканы ұштастыруда рефлексияның да бірге
жүруі орынды.
Мұғалімдердің рефлективті ойлау дағдыларын қалыптастыруға өз бетімен іздену,
рефлексивті ойлау дағдыларын үйрететін арнайы курстарға бару және өзара үйрену
арқылы қол жеткізуге болады деген қорытынды жасай аламыз.
80
Пайдаланылған әдебиеттер
1 Зельцерман Б.А. Мастерская открытий. Опыты альтернативного образования. Рига, 1995. -
208 с.
2 Пискунова Е.В. Профессиональная педагогическая рефлексия в деятельности и подготовке
педагогов // Вестник ТГПУ. Серия: Психология. - 2005. - Выпуск 1 (45). - 65 с.
3 Сластенин В.А., Чижакова Г.И. Введение в педагогическую аксиологию. - Москва, 2003. -
192 с.
4 Гаджиева Н.М., Никитина Н.Н., Кислинская Н.В. Основы самосовершенствования. –
Екатеринбург, 2009. - 144 с.
Резюме
Рефлексия является необходимым этапом процесса решения педагогических задач.
Эффективность решения педагогических задач будет более успешной при формировании и
развитии рефлексивной компетенции педагога.
Resume
Reflection is a necessary step in the process of solving educational problems. Efficiency solutions
of pedagogical tasks will be more successful at forming and developing of reflexive competence of the
teacher .
Достарыңызбен бөлісу: |