«Ақпараттық жүйелер» кафедрасы №1 емтихан билеті
жүктеу/скачать 21,26 Kb.
|
Якияева билет 1 (копия)
|
«Ақпараттық жүйелер» кафедрасы № _1_ЕМТИХАН БИЛЕТІ «Үлкен деректерді өндеу (Big DATA)» пәні бойынша 5В070300- «Ақпараттық жүйелер»мамандығының білім алушыларына арналған 1. «Үлкен деректер» түсінігінің мәнін анықтаңыз, анықтамасын келтіріңіз, мысал келтіріңіз, оларды классификациялауды түсіндіріңіз. 2. MapReduce. Деректерді визуализациялау дегеніміз не? Оны қандай бағдарламаларда жасай аласыз? Жасау жолдарын түсіндіріңіз? Жауаптары: 1.Үлкен деректер үнемі өсіп келе жатқан қарқынмен өсетін ақпараттың үлкен, алуан түрлі жиынтығын білдіреді. Ол ақпарат көлемін, оны жасау және жинау жылдамдығын қамтылатын деректер нүктелерінің әртүрлілігін немесе ауқымын қамтиды. Үлкен деректер көбінесе деректерді өндіруден келеді және бірнеше форматта келеді. Үлкен деректерді әлеуметтік желілер мен веб-сайттардағы жалпыға ортақ пікірлерден, жеке электроника мен қолданбалардан өз еркімен, сауалнамалар, өнімді сатып алу және электронды тіркеу арқылы жинауға болады. Бүгінгі таңда деректерді өте жылдам жылдамдықпен жасайтын миллиондаған деректер көздері бар. Бұл деректер көздері бүкіл әлемде бар. Кейбір ірі деректер көздері әлеуметтік медиа платформалары мен желілері болып табылады. Мысал ретінде Facebook-ті қолданайық - ол күн сайын 500 терабайттан астам деректерді жасайды. Бұл деректерге суреттер, бейнелер, хабарлар және т.б. кіреді. Деректер құрылымдық деректер, жартылай құрылымдық деректер және құрылымданбаған деректер сияқты әртүрлі пішімдерде де болады. Мысалы, кәдімгі Excel парағында деректер белгілі пішімі бар құрылымдық деректер ретінде жіктеледі. Керісінше, электрондық пошталар жартылай құрылымды, ал суреттеріңіз бен бейнелеріңіз құрылымдалмаған деректер санатына жатады. Бұл деректердің барлығы біріктірілген Үлкен деректерді құрайды. Төменде үлкен деректердің кейбір мысалдары берілген. Нью-Йорк қор биржасы тәулігіне шамамен бір терабайт жаңа сауда деректерін генерациялайтын үлкен деректердің мысалы болып табылады Бір Jet қозғалтқышы 30 минуттық ұшу уақытында 10+ терабайт деректер жасай алады. Тәулігіне мыңдаған рейспен деректер генерациясы көптеген петабайттарға дейін жетеді. Үлкен деректер үш жолмен классификацияланады: Құрылымдық деректер Құрылымдалмаған деректер Жартылай құрылымды деректер Бұл үш термин техникалық тұрғыдан аналитиканың барлық деңгейлерінде қолданылуы мүмкін болғанымен, үлкен деректерде маңызды болып табылады. Құрылымдық деректер. Құрылымдық деректер бекітілген схема арқылы жасалады және кестелік пішімде сақталады. Құрылымдық деректердегі элементтер тиімді талдау үшін адрестеледі. Онда SQL дерекқорында кестелік форматта сақтауға болатын барлық деректер бар. Бүгінгі таңда мәліметтердің көпшілігі ақпаратты басқарудың қарапайым тәсілімен әзірленеді және өңделеді. Құрылымдалмаған деректер: Ол алдын ала анықталған стандартқа сәйкес келмейтін деректер ретінде анықталады немесе кез келген ұйымдасқан пішімге бағынбайды деп айтуға болады. Мұндай деректер реляциялық дерекқорға да сәйкес келмейді, себебі реляциялық дерекқорда сіз алдын ала анықталған әдісті көресіз немесе деректердің ұйымдастырылған тәсілін айта аласыз. Құрылымы жоқ деректер үлкен деректер домені үшін де өте маңызды және Құрылымдалмаған деректерді басқару және сақтау үшін No-SQL дерекқоры сияқты оны өңдеуге арналған көптеген платформалар бар. Жартылай құрылымды деректер. Жартылай құрылымдық деректер реляциялық деректер қорында тұрмайтын, бірақ талдауды жеңілдететін кейбір ұйымдастырушылық қасиеттері бар ақпарат. Кейбір процестермен сіз оларды реляциялық дерекқорда сақтай аласыз, бірақ жартылай құрылымды деректердің кейбір түрі үшін өте қиын, бірақ кеңістікті жеңілдету үшін жартылай құрылымдалғандар бар. 2. MapReduce – Hadoop кластеріндегі жүздеген немесе мыңдаған серверлер бойынша ауқымды масштабтауға мүмкіндік беретін бағдарламалау парадигмасы. MapReduce атауының реттілігі көрсеткендей, азайту тапсырмасы әрқашан карта тапсырмасынан кейін орындалады. MapReduce бағдарламалау үлкен деректеріңізден құнды түсініктер алуға көмектесетін бірнеше артықшылықтарды ұсынады: Масштабтау мүмкіндігі. Кәсіпорындар Hadoop таратылған файл жүйесінде (HDFS) сақталған петабайт деректерді өңдей алады. Икемділік. Hadoop бірнеше деректер көздеріне және деректердің бірнеше түріне оңай қол жеткізуге мүмкіндік береді. Жылдамдық. Параллельді өңдеу және деректерді минималды жылжыту арқылы Hadoop деректердің үлкен көлемін жылдам өңдеуді ұсынады. Қарапайым. Әзірлеушілер Java, C++ және Python тілдерін қоса алғанда, таңдаулы тілде код жаза алады. Деректерді визуализациялау – ақпарат пен мәліметтердің графикалық көрінісі. Диаграммалар, графиктер және карталар сияқты көрнекі элементтерді пайдалану арқылы деректерді визуализациялау құралдары деректердегі трендтерді, шектен тыс мәндерді және үлгілерді көру және түсінудің қолжетімді жолын қамтамасыз етеді. Бұған қоса, ол қызметкерлерге немесе бизнес иелеріне деректерді техникалық емес аудиторияға шатастырусыз ұсынудың тамаша әдісін ұсынады. Үлкен деректер әлемінде деректерді визуализациялау құралдары мен технологиялары ақпараттың үлкен көлемін талдау және деректерге негізделген шешімдер қабылдау үшін өте маңызды. Power BI жүйесіндегі визуализациялар Осы визуализациялардың барлығын Power BI есептеріне қосуға болады, Q&A ішінде көрсетілген және бақылау тақталарына бекітеді. Power BI жүйесіндегі визуализациялар Аймақтық диаграммалар: Негізгі (Қабатты) және Стектелген Жолақ және баған диаграммалары Карталар Құрама диаграммалар Ыдырау ағашы Дөңгелек диаграммалары Шұңқыр диаграммалары Өлшеу диаграммалары Негізгі әсер етушілер диаграммасы KPI Сызықтық диаграммалар Карталар Матрица Дөңгелек диаграммалар Power Apps көрнекі Атап көрсетілген визуализация түрлерін біз Power BI бағдарламасында зертханалық жұмыстарда жасап үйрендік Мысалы: Толтырылған карта.Толтырылған карта мәннің география немесе аймақ бойынша пропорцияда қалай ерекшеленетінін көрсету үшін көлеңкелеуді немесе реңкті немесе үлгілерді пайдаланады. Матрица Матрицалық визуалды скриншот. Матрицалық көрнекі кестенің визуалды түрі (осы мақаладағы кестелерді қараңыз), ол сатылы орналасуды қолдайды. Кесте екі өлшемді қолдайды, бірақ матрица деректерді бірнеше өлшемдерде мағыналы көрсетуді жеңілдетеді. Көбінесе есеп құрастырушылар есеп бетіндегі басқа көрнекілерді айқас бөлектеу үшін матрицадағы бір немесе бірнеше элементті (жолдар, бағандар, ұяшықтар) таңдауға мүмкіндік беру үшін есептер мен бақылау тақталарына матрицаларды қосады. Шектегіш.(Срез)Шектегіш - беттегі басқа көрнекі бейнелерді сүзу үшін пайдалануға болатын оқшауланған диаграмма. Шектегіштер әртүрлі пішімдерде (санат, ауқым, күн, т.б.) келеді және қол жетімді мәндердің тек біреуін, көптігін немесе барлығын таңдауға мүмкіндік беру үшін пішімделуі мүмкін. Шектегіштер мыналар үшін тамаша таңдау болып табылады: Жеңіл қол жеткізу үшін есеп кенепте жиі қолданылатын немесе маңызды сүзгілерді көрсету үшін. Ашылмалы тізімді ашпай-ақ ағымдағы сүзгіленген күйді көруді жеңілдету үшін. жүктеу/скачать 21,26 Kb. Достарыңызбен бөлісу:
|