Технологиялары

48 
---------------------------------------------------------------------------------------
1-ші ереже: 
Декан - Факультет маңыздары
2-ші ереже: 
Қызметкер-Лауазым
3-ші ереже: 
Қызметкер-Айырықша белгілер
4-ші ереже: жоғарыда келтірілген немесе 
Оқытушы –Пәндер 1:M 
5-ші ереже:
Студент-Стипендия түріM:1 
6-ші ереже: 
Қызметкер-Жоба M:N 
5.4
Мәліметтерді интеллектуалды жүйелермен іздеу технологиялары 
Мемлекеттің инновациялық дамуын қамтамасыз ету міндеттері жаңа озық 
технологияларды жасауға бағытталған интеллектуалды ақпараттық жүйелерді 
(ИАЖ) енгізуді қажет етеді. Ал бұл мәселені шешуде қолданыстағы тәсілдер 
мен технологиялардың кемшіліктері айтарлықтай кедергілер туғызады. 
С. Аманжолов атындағы ШҚМУ жоғары оқу орнының (ЖОО) 
автоматтандырылған ақпараттық жүйесінде (ААЖ) студенттердің білім беру 
процесін заманауи құрылғылар көмегімен бақылау мақсатында, студенттің 
сабақ кестесі, үлгерімі, жеке оқу жоспары және транскрипт қалыптастыру 
үрдістері толығымен автоматтандырылған. Жоғарыда айтылған үрдістерді 
қамтитін бағдарламалардың кемшілігі ескі технологиялардың қолданылуы және 
бірнеше бағдарламашылармен өзгертулер енгізілгені болғандықтан олардың 
өмір сүру мерзімінің қысқаруында болып отыр. ЖОО-да студенттердің саны 
артуына байланысты бағдарламалардың жұмыс жасау жылдамдығы да 
төмендегені байқалды. Қазіргі уақытта, ААЖ мәліметтер базасында (МБ) 30 
мыңнан астам студенттердің жеке құжаттары, транскриптері және т.б. 
мәліметтері сақталған. ААЖ бағдарламасының жұмыс жасау статистикасын 
зерттей келе келесідей мәселелер айқындалды: 
−
Бірнеше критерийлер бойынша бір уақытта іздеу жүргізу үрдісінің 
жылдамдығының төмендеуі; 
−
МБ кестелер арасындағы үлкен JOIN (SQL тілінің реляциялық бірікту 
операторы) біріктірулер арқылы жүктелетін Мәліметтердің көлемділігі; 
−
МБ кестелерден мәліметтерді алу барысында олардың бұғатталуы. 
Жоғарыда айтылған мәселелерді шешуге және негізді кітапханаларды 
таңдау үшін аналитикалық жоспарлар жасалып, функционалдық және 
функционалдық емес талаптар қойылды[3]. Функционалдық талаптар: 
−
Критериялар бойынша сұраныс. Бір немесе бірнеше мәндер бойынша 
сәйкестіктер табу; 
−
Диапазон бойынша сұраныстар жасау (сандар, уақыт мерзімі); 
−
Толық сөйлемдерді іздеу мүмкіндігі; 
−
Логикалық сұраныстар (және/немесе критерийлерін біріктіру); 
Бағдарламалық өнімнің сапалық мінездемесін сипаттайтын функционалдық 
емес талаптар: 

49 
−
Сенімділік (бөлінген индекстерді қолдау); 
−
Маштабталу (бірнеше серверлерге таратуға және барлық қажетті 
инфрақұрылымды қолдау); 
−
Пайдаланудың қарапайымдылығы (қажетті платформалар/тілдер үшін 
«клиенттер» болуы, ашық хаттамаларды пайдалану, мысалы, HTTP); 
−
Өнімділік (үлкен мәліметтерді аз уақыт ішінде өңдеу); 
−
Өзіндік құны және қолдау құны. 
Мәліметтерді іздеу міндеттерінің интеллектуалдық құрамын арттыру 
мақсатымен негізгі кітаптханалар ретінде келесі Elasticsearch, Solr және Sphinx 
бағдарламалар таңдалды және бір бірімен салыстырылды[10,12].
Solr – Apache Lucene жобасына негізделген ашық толық мәтінді іздеу 
платформасы. Оның негізгі ерекшеліктері: толық мәтінді іздеу, нәтижелерді 
бөлектеу, динамикалық кластерлеу, дерекқорлармен біріктіру, күрделі 
форматты құжаттарды өңдеу (мысалы, .PDF). Solr іздеуді және репликацияны 
таратуға қабілетті болғандықтан өте ауқымды болып табылады. 2016 жылдың 
мамыр айындағы жағдай бойынша[15], Solr екінші ең танымал іздеу жүйесі. 
ААЖ бағдарламасына Solr жүйесі сәйкес келмеді. Себебі, 1-суретте 
көрсетілгендей онлайн индексация кезінде мәліметтерді өңдеу жылдамдығы 
төмен көрсетішпен байқалды. 
Сурет 5.4.1 – Solr және Elasticsearch іздеу жылдамдықтары 
GNU GPL лицензиясы негізінде 3.0+ нұсқалары үшін таратылатын толық 
мәтінді іздеу жүйесі Sphinx болып келеді. Осы жүйе арқылы PHP, Python, Java 
веб-бағдарламалау тілдері үшін қолданыстағы MySQL, PostgreSQL Мәліметтер 
қорымен басқару жүйелері негізінде индекстеудің және іздеудің жоғары 
жылдамдығы мен Application Programming Interface (API) интерфейсті 
интеграциялау қамтамасыз етіледі. Sphinx іздеу жүйесінде шардинг, 
репликация, біріктірілген сұраныстар мәліметтерін іріктеп алу мүмкіндігі 
шектеулі. Мысалы, сұраныс ұйымдастырылған жағдайда, олардың саны тым 
өскенде бір уақытта көптеген сұраныстарды орындауда жүйе жұмысы іркіліп, 

50 
«тұрып» қалуы мүмкін. Мәліметтердің сақтау сенімділігін жоғарлату да көп 
жағдайда арнайы командаларды қолданып бақылауды қажет етеді. Elasticsearch 
іздеу жүйесіне келсек, жоғарыда айтылған сұраныстар толығымен 
автоматтанған, кіріктірілген режимінде алдын ала қарастырылған.
Elasticsearch –Apache лицензиясы бойынша Java бағдарламалу тілінде 
жазылған, 2018 жылдың бірінші кварталының статистикасы бойынша [15] 
әлемде ең танымал іздеу механизмі болып келеді. База жазбаларын 
индексациялау және іздеу ортасы ретінде (движок) Lucene кітапханасы 
қолданылады. Java, Python, .NET және т.б. бағдарламалау тілдеріне арналған 
API жүйесі қарастырылған. 
Elasticsearch жүйесін университетіміздің автоматтандырылған ақпараттық 
жүйесіне интеграциялау келесі компоненттердің қолдануын ескереді. Біріншісі, 
реляциялық мәліметтер базасы (MySQL). Екіншісі, Elasticsearch іздеу жүйесінің 
индекстелген мәліметтер базасы (NoSQL). 
Эксперимент негізінде іздестіру бірнеше платформаларда жүргізілді. 
Мәліметтер базасындағы студенттер саны 33155 алдын ала белгіленді.
$json = [ 
“_source” => [ 
“firstname”, 
“lastname”, 
“patronymic” 
], 
“query” => [ 
“multi_match” => [ 
“query” => “Акк”, 
“type” => “cross_fields”, 
“operator” => “and”, 
“fields” => [ 
“firsname”, “lastname”, “patronymic” 
] 
] 
] 
]; 
Elasticsearch іздеу жүйесі арқылы индексациялау жылдамдығы секундына
0,4 – 1,6 миллион жазбаны тіркеді. Табылған жазба саны 785-ді құрады. 
SELECT firstname, lastname, patronymic 
FROM students 
WHERE
firstname like ‘Акк%’ OR 
lastname like ‘Акк%’ OR 
patronymic like ‘Акк%’ 

51 
Дәстүрлі түрде іздестіру жылдамдығы әлде қайда төмен болғаны байқалды 
– 1 секундына 173 жазба. Табылған жазба саны 576-ы құрады. 
Бірінші компонент болып келетін реляциялық мәліметтер базасы 
ақпараттың толықтығын және реттілігін басқаруға арналған болып отыр. Ал, 
Elasticsearch іздеу жүйесі Мәліметтерді іздеуге және олармен амалдар жасауға 
арналған негізгі компонент деңгейінде қолданылғаны дұрыс. Екі жүйені қатар 
қолдану жоғарыда айқындалған мәселелерді толықтай шешуге мүмкіндік берді 
[12,13]. 
Дегенмен, шешілген өзекті мәселелермен қатар, алдағы уақытта келесі 
есептерді зерттеп қарастыру көзделіп отыр. 
-
Elasticsearch ортасында іздестіру мүмкіндіктерін жүзеге асыру 
бағдарламашыда арнайы дайындық деңгейінің болуын талап етеді; 
-
Жұмыс нәтижелерін жақсарту үшін жоғары өнімді сервердің қажетті 
екенін ескертеміз;
-
Мәліметтер ашық түрде сақталғандықтан, оларға қатынауды шектеу 
мақсатымен екі компонентің арасында авторизациялау сервері қолдану 
қажеттілігі туады. 
Elasticsearch-те Мәліметтерді және сұралынатын параметрлерді сақтау 
тиімді болғанымен, нақты Мәліметтердің өзін сенімді реляциялық базада 
сақталғаны жөн. Elasticsearch-ты Мәліметтерді сақтау үшін бейімдеуге 
реляциялық базасымен синхронизация жасау талабы бар.
5.5
Мәліметтердің тұтастығын қамтамасыз ету. Аномалиялар. 
Транзакция механизмі 
Мәліметтер базасын жобалау кезеңінде жіберілген қателер себебінен пайда 
болатын проблемалар аномалиялар (ауытқулар) деп аталады. 
ДББЖ құралдары арқылы тұтастық шектеулерді жүзеге асыруда кездесетін 
қиындықтар аномалияларға әкелуі мүмкін. Бұл проблема пәндік аймақтың 
Мәліметтер базасында амалдар орындау кезінде келесі түрлі аномалиялар 
кездеседі: 
−
Жаңадан қосу (INSERT) 
−
Жаңарту немесе модификациялау (UPDATE) 
−
Жою (DELETE) 
Себебі-бір қатынаста көп түрлі ақпараттың сақталуы, Мәліметтердің артық 
қайталануы 
Қорытынды-Мәліметтер базасы дұрыс жұмыс істей алмайды. Мәліметтер 
базасының жобалануының күрделенуі. Шешім – триггерлер жасау 

52 
1.
Студент
қатынасы
СКН 
Аты жөні 
мамандық 
курс 
факультет 
Факультетке 
түсу немесе 
ауысу 
оқу 
жылы 
001 
Әбілмажинов 
Қуаныш 
5В011100-
Информатика 
3 
МФжТ 
2012 
002 
Камалиттенов 
Серик 
5В011100-
Информатика 
3 
МФжТ 
2012 
011 
Шотпанова 
Еркежан 
5В070300-
Ақпараттық 
жүйелер 
3 
МФжТ 
2012 
012 
Жумажанов 
Ернар 
5В070300-
Ақпараттық 
жүйелер 
3 
ЖҒжТ 
2015 
013 
Калошин Роман 5В070300-
Ақпараттық 
жүйелер 
3 
ЖҒжТ 
2015 
2.

жүктеу/скачать 2,79 Mb.

Достарыңызбен бөлісу: