«интеграция казахстанской науки в международное научно образовательное пространство»

251 

 

Краткое резюме 

 

Аральское  море  —  бессточное  соленое  озеро  в  Средней  Азии. 

Аральское  море,  ставшее  трагично  известным  всему  миру,  может 

возродиться.  Благодаря  реализуемому  проекту  по  рациональному 

регулированию  русла  реки  Сырдарьи  уже  удалось  создать  первое 

рукотворное море Малый Арал. 

Executivesummary 

 

The  Aral  is  an  inland  salt-water  sea  with  no  outlet.The  Aral  Sea  which 

became tragically known  around the world.Due to ongoing projects for the sound 

management  of  SyrDarya  it  has  already  managed  to  create  the  first  man-made 

Small Aral Sea.

 

 

 

УДК 004.67                                                                      Дауренбеков И.Р., 

студент 4 курса специальности 

«Информационные системы» 

Университет НАРХОЗ 

Научный руководитель: Ph.D. проф.Укубасова Г.С. 

 

BIG DATA: АППАРАТ АНАЛИЗА ДАННЫХ, ПРОБЛЕМЫ И 

ТЕХНОЛОГИИ 

 

Ключевые  слова:  Big  Data,  большие  данные,  анализ  данных, 

подсистема анализа, многомерный анализ. 

Тҥйінді  сӛздер:  Big  Data,  Big  Data,  деректерді  талдау,  ішкі  жүйесі 

талдау, кӛпӛлшемді талдау. 

Keywords:    Big  Data,  Big  Data,  data  analysis,  subsystem  analysis, 

multivariate analysis. 

 

Анализ  данных  сам  по  себе  процесс  очень  трудоемкий  и  требует 

больших ресурсов для  обработки,  а  если  говорить  уже  о  больших  массивах 

данных,  то  тут  дела  обстоят  сложнее.  Обычно  ситуация  с  большими 

массивами  данных  встречается  в  местах,  где  работа  связана  с  ведением 

розничной  торговли,  банками,  интернетом,  телекоммуникациями,  где 

присутствует  огромный  поток  информации,  который  растет  изо  дня  в  день 

(чеки, платежи, звонки, сообщения и т. д.) [1]. 

Подсистема анализа может быть построена на основе: 

1. 

подсистемы  информационно-поискового  анализа  на  базе 

реляционных СУБД и статических запросов с использованием языка SQL; 

2. 

подсистемы  оперативного  анализа.  Для  реализации  таких 

подсистем  применяется  технология  оперативной  аналитической  обработки 

данных  OLAP,  использующая  концепцию  многомерного  представления 

данных; 

3. 

подсистемы  интеллектуального  анализа,  реализующие  методы  и 

алгоритмы Data Mining. 

На

рх

оз

 У

ни

ве

рс

ит

ет

і

252 

 

Большие  массивы  данных,  хранящиеся  в  компаниях  и  разного  рода 

предприятиях,  должны  отвечать  3-м  основным  характеристикам  данных: 

скорость,  объем,  разнообразие.  Существует  много  других  характеристик, 

относящиеся  в  эту  категорию,  но  их  можно  считать  дополнением  к  3 

вышеперечисленным.  Опираясь  на  три  основных  фактора,  создаются 

технологии,  за  счет  которых  и  появляется  возможность  хранить  большие 

объемы  информации.  Их  можно  соизмерять  петабайтами.  Таким  образом, 

всплывает проблема с хранением данных. 

Проблемы  хранения  и  обработки  аналитической  информации 

становятся  все  более  актуальными  и  привлекают  внимание  специалистов  и 

фирм,  работающих  в  области  информационных  технологий,  что  привело  к 

формированию полноценного рынка технологий бизнес-анализа. 

Или  же  взять  сферу  бизнеса.  Каждый  день  составляются  отчеты, 

которые  со  временем  собираются  в  очень  большое  количество.  И  может 

случиться  так,  что  при  анализе  могут  поставить  задачу,  на  которую  эти 

отчеты не смогут дать ответ. Вот и всплывает проблема несоответствия цели 

сбора  информации  и  ее  использования,  но  проблема  неструктурированных 

данных  всегда  остается  актуальной.  Обработка  неструктурированных 

массивов  данных  определяется  рядом  признаков,  которые  осложняют 

процесс  обработки  данных.  Первым  признаком  считают  разнообразность 

данных.  Вторым  признаком  является  такое  свойство,  что  если  даже 

существует несколько файлов с одинаковыми наборами данных, то они могут 

содержать  совсем  различный  смысл.  Третьим  признаком  считают 

динамичность  информации,  так  как  информация  со  временем  меняет  свою 

структуру  и  значение.  Использование  способов  обработки  данных, 

соприкасается  с  таким  понятием,  как  онтология.  Онтология  -  это 

совокупность 

схем, 

которые 

описывают 

предметную 

областью, 

определяющая проблемы и общую базу задачи [2]. 

К проблемам Big Data так же можно отнести и дефицит специалистов, 

которые могли бы работать с большими данными на должном уровне, ведь от 

их  работы,  зависит  срок  окупаемости  инвестиций  вложенных  в  Big  Data.  В 

связи  с  этим,  все  проекты,  которые  связаны  с  Big  Data,  принято  считать 

сложными  в  реализации  и  оценке  результатов.  Из-за  генерации  большого 

потока  данных  в  бизнес-сфере,  процесс  обработки  проходит  в  режиме  ETL 

("extract",  "transform",  "load"-«извлечение,  преобразование,  загрузка»).  Этот 

режим  помогает  в  управлении  хранилищами  данных,  извлекая  данные  из 

источников  хранения,  трансформирует  и  очищает  с  той  целью,  что  в 

дальнейшем они будут полезны. То есть это не только инструмент переноса 

данных, но и подготовки данных к анализу. 

Традиционными  хранилищами  являются  те  хранилища,  у  которых 

имеется одинаковый набор инструментария для проведения анализа данных. 

Тут  используются  такие  методы  как  многомерный  анализ  (OLAP), 

кластеризация 

данных, 

проведение 

анализа 

регрессии, 

поиск 

закономерностей.  Так  же  существуют  и  программные  продукты, 

На

рх

оз

 У

ни

ве

рс

ит

ет

і

253 

 

выполняющие  эти  же  функции,  которые  позволяют  работать  с  большими 

данными. 

Книмможноотнести: 

SAPHANA, 

GreenplumChorus, 

AsterDatanCluster.Важным моментом в анализе больших данных является то, 

что нельзя зацикливаться на одном методе, а брать только самые ключевые 

моменты.  Ключевым  фактором  скорости  при  работе  с  Большими  данными 

является  количество  операций  ввода  и  вывода  и  эффективность  ключевых 

индексов. 

Многомерный  анализ  строится  на  построении  многомерного  OLAP 

куба, который в результате выводит таблицу с ячейками. Внутри этих ячеек 

находятся  показатели.  В  свою  очередь  OLAP  подразделяется  на  такие 

системы,  как  MOLAP,  ROLAP  и  HOLAP.  Среди  них  самой  изученной 

является  ROLAP,  а MOLAP  и  HOLAP относятся к категории  «ноу-хау»  что 

мало изучено. 

При  использовании  регрессии  строится  параметрическая  функция, 

которая  основывается  на  числовых  величинах  и  определенный  промежуток 

времени.  Использование  такого  метода  предполагает  то,  что  использование 

нынешних данных с промежутками времени может предсказать дальнейшее 

значение этих величин уже в будущем. 

Метод  классификации  отчасти  схож  с  методом  регрессии,  но 

построение тут строится на зависимости одного переменного от нескольких 

других. 

Кластеризация  строится  на  принципе  разбиения  групп  по  схожим 

признакам. Члены одной группы схожи по определенным признакам между 

собой,  но  разные  по  сравнению  с  другими.  Тут  уже  идет  работа  с 

метаинформацией.  Таким  примером  может  служить  поисковая  система, 

причем любая. 

При  выполнении  различного  рода  "манипуляций"  с  большими 

массивами  данных  нет  определенного  способа  обработки  этих  данных. 

Поэтому существует множество способов, которые отличны друг от друга, но 

стремятся  к  единому  результату.  Отличием  этих  способов  является 

производительность,  удобство  в  эксплуатации,  а  так  же  технологии 

обработки данных и требования данных. 

В СУБД есть возможность увеличения скорости обработки данных при 

использовании определенных встроенных механизмов. Помимо оптимизации 

работы БД, можно использовать подходы, которые во много раз увеличивают 

скорость  обработки  информации.  Например,  «Комбинированная  модель».  В 

ней  использую  различного  вида  математические  модели  для  обработки. 

Данные  проходят  через  ряд  моделей,  которые  отбирают  данные  по  своему 

функционалу.  В  Комбинированной  модели  есть  свое  правило  «не  тратить 

время на обработку того, что можно и не анализировать». 

В  модели  есть  закономерность  от  простого  к  сложному  (рис.  1).  В 

начале  используются  простые  алгоритмы  решения  задачи,  которые  в 

процессе обработки отбирают данные, под силу их обработки или не стоящие 

смысла  обрабатывать.  Тем  самым  остальные  данные  идут  на  дальнейшую 

На

рх

оз

 У

ни

ве

рс

ит

ет

і

254 

 

обработку,  где  используются  более  сложные  алгоритмы  обработки.  В  итоге 

остается  этап  со  сложной  системой  обработки,  но  и  объем  данных  уже  не 

велик, что увеличивает скорость обработки в несколько раз [3]. 

 

 

 

Рисунок 1–  «Комбинированная» модель обработки 

 больших массивов данных[3]. 

 

Есть  другая  модель,  которая  называется  «параллельная  обработка» 

(рис.2). Это еще один способ обрабатывать БМД с большей скоростью, чем в 

обычном  режиме.  Суть  способа  в  том,  что  поток  данных  он  делит  на 

сегменты и для каждого сегмента строится своя собственная модель. 

 

 

 

 

 

 

 

 

Рисунок 2 –  Модель «параллельной» обработки больших  

массивов данных[3] 

 

В итоге все полученные результаты объединяются в один единый. Этот 

подход  позволяет  выполнять  обработку  с  большей  скоростью,  благодаря 

тому,  что  данные  обрабатываются  пучками  и  не  требует  больших  объемов 

памяти.  Режим  ETL  значительно  уменьшает  время  работы,  а  также  дает 

хорошее преимущество в том, что создавать и содержать простые модели по 

отдельности легче, чем одну массивную. 

Существует много подобных методов, которые различными способами, 

своими  фишками  и  особыми  технологиями  позволяют  выполнять  функцию 

увеличения скорости обработки данных занимая при этом малое количество 

времени. 

Выводы.  В  настоящее  время  предприятиям  приходится  работать  с 

большими объемами информации, которая часто обновляется и приходит из 

разных  источников.  С  помощью  технологий  Big  Data  предприятия  могут 

анализировать  огромные  массивы  данных  и  выявлять  полезные 

На

рх

оз

 У

ни

ве

рс

ит

ет

і

255 

 

закономерности, дающие им конкурентные преимущества. Для более легкого 

восприятия  и  быстрого  принятия  управленческих  решений  необходимо 

представить  результаты  анализа  данных  визуально.  На  данный  момент  есть 

несколько видов представления массивов данных. Но существующие методы 

визуализации еще недостаточно развиты и требуют усовершенствования.  

 

Литература: 

1.  http://polit.ru/article/2013/12/09/ps_bigdata  –  Большие  данные  // 

[Электронный ресурс]. –Дата обращения:24.03.2016 г. 

2. http://www.osp.ru/os/2012/07/13017638  –  Проблемы  анализа  Больших 

Данных // [Электронный ресурс]. Дата обращения:27.03.2016 г. 

3. 

https://basegroup.ru/community/articles/very-large-data 

– 

Анализ 

больших объемов данных//[Электронный ресурс]. Дата обращения:28.03.2016 

г. 

 

Краткое резюме 

В  данной  статье  обоснована  перспективность  применения  технологий 

Big  Data.  Рассмотрены  проблемы  и  описаны  современные  методы  анализа 

больших  данных.  Показаны  преимущества  при  использовании  технологий 

Big Data. 

Қысқаша тҥйіндеме 

Бұл  қағаз  технологиялар  Big  Data  перспективалы  пайдалануды 

негіздейді. Проблемалар және ірі деректерді талдау қазіргі заманғы әдістерін 

сипаттайды. Технологиялардыпайдаланаотырып, BigDataартықшылықтары. 

Executivesummary 

This  paper  substantiates  the  use  of  promising  technologies  Big  Data.  The 

problems and describes modern methods of analysis of large data. The advantages 

of using technologies Big Data. 

 

 

Елібай А.Ә. 

«Экология» мамандығының магистранты  

Ғылыми жетекші: «Табиғатты пайдалану экономикасы»  

кафедрасының доцент м.а., б.ғ.к. Бӛрібай Э.С.   

 

АЛМАТЫ ҚАЛАСЫ ТОПЫРАҚ РЕСУРСТАРЫНЫҢ АУЫР 

МЕТАЛДАРМЕН ЛАСТАНУЫНА ЭКОЛОГИЯЛЫҚ МОНИТОРИНГ 

ЖҤРГІЗУ   

 

Ключевые  слова:  мониторинг,  мегаполис,  эмиссия,  предельно-

допустимое  концентрация  (ПДК),  гидрометеорология,  аккумуляция, 

техногенез, энергосбережение.  

На

рх

оз

 У

ни

ве

рс

ит

ет

і

256 

 

Кілтті  сӛздер:  мониторинг,  мегаполис,  эмиссия,  рауалды  шекті 

концентрация  (РШК),  гидрометеорология,  аккумулятивті,  техногенді, 

энергияүнемдеу. 

 

Key words:monitoring, metropolis , emissions , maximum permissible 

concentration (MPC) , hydrometeorology , accumulation , technogenesis , energy 

saving . 

 

Алматы  қаласы  еліміздегі  ең  ірі  мегаполис  болып  табылады.  Қазіргі 

танда Алматы еліміздің экономика, қаржы, мәдени және білім беру орталығы 

болып  қана  қоймай,  сонымен  қатар    ӛндірістің  ӛсуі,  экономиканың  дамуы, 

халықтың  әл-ауқатының  жақсаруы  қоршаған  орта  мен  қала  экологиясына 

кері  әсерін  тигізуде.  Ауаны  ластаушы  стационарлы,  жылжымалы  кӛздердің 

жылдан-жылға  артуына  байланысты  қала  атмосферасының  ластану  деңгейі 

халықтың  денсаулығына  кері  әсерін  тигізіп  отырғаны  аса  маңызды 

экологиялық жағдайды тудырып отыр.  

Осы  жағдайды  ушықтыруға  қомақты  үлес  қосып  жатқан  қаламыздағы 

автокӛлік  қозғалысы  екендігі  баршамызға  аян.  Алматыда  автокӛліктің  саны 

521 мыңнан астам бірлікті құраса, халықтың автокӛліктерге  ие болу деңгейі 

әрбір 1000 адамға есептегенде 350-ден астам жеңіл кӛлікке жетіп отыр. 

Алматы  қаласы  гидрометеорологиялық  мониторинг  орталығының  

ресми  мәліметтеріне  сүйенсек,  соңғы  жылдары  экологиялық  жағдай 

жақсаруға  бет  алғанын  айтуға  болады.  Алматыда  атмосфералық  ауаның 

ластану  деңгейі  2008  жылы  13,3  құраса,  2015  жылы   бұл  кӛрсеткіш  11,1 

құрады. 

Экологиялық  проблемалардың  қоғам  үшін  жоғарғы  маңыздылығын 

ескере  отырып,  қала  әкімшілігі  мегаполистің  экологиялық  жағдайын 

жақсарту  үшін  кешенді  жұмыс  атқарып  жатқаны  белгілі.  Соған  қарамастан 

Алматы қаласының экологиясы күн тәртібінен түскен емес.  

Біздің  зерттеулерімізде    топырақтың  құрамындағы  ауыр  металдардың  

мӛлшерін анықтауға ерекше  мән берілді. Себебі, су және атмосфералық ауа 

ортасы ауыр металдардың қозғалысы үшін миграциялық орта болып саналса, 

ал  топырақ  ресурсы  обьективті  орта  болып  қана  қоймай,  техногенді 

ластануды,  ластаушы  заттардың  эмиссиясын  айқындайтын  тұрақты 

индикатор.  Ауыр  металдар  топырақ  қабатында  жинақтала  отырып, 

уыттылығының  деңгейіне  байланысты  топырақ  түзуші  бионттардың 

биологиялық белсенділігіне әсер етіп, дамуын тежейді. 

Зерттеу  нысаны  ретіндеӛзіміз  тұратын    жерлердің    топырақ 

ресурстарынан үлгілер алынып, құрамындағы кейбір ауыр металдар мӛлшері 

анықталды. Олар: №1 – Бас ботаникалық бақ; №2 – Нархоз университеті; №3 

– Шаңырақ ықшам ауданы; №4 – Каменка. 

Зерттеу нәтижелері. Топырақтың ауыр металдармен (Cd, Cu және Pb) 

ластану дәрежесін анықтау жұмысы «Алматы қаласы гидрометерологиялық 

мониторинг» мекемесінің экологиялық ақпараттар және химико-

аналитикалық зерттеу лабораториясында  жүргізілді.  

На

рх

оз

 У

ни

ве

рс

ит

ет

і

257 

 

1-кесте. Алматы қаласы бекеттерінен анықталған топырақ құрамындағы ауыр 

металдар мӛлшері 

№ 

Үлгілер 

Кӛктем 

Күз 

Ауыр металдар мӛлшері, мг/кг 

Pb 

Zn 

Cu 

Pb 

Zn 

Cu 

1  Ботан. бақ  25,5±1,5  18,5±0,8  0,5±0,02 

28,3±1,2  20,7±1,5  0,5±0,01 

2  Нархоз 

47,0±1,2  20,7±1,1  0,75±0,01  59,7±1,8  31,3±1,7  1,2±0,02 

3  Шаңырақ 

86,7±2,4  33,0±1,6  1,2±0,03  107,0±8,3  32,0±1,2  1,7±0,02 

4  Каменка 

113±6,3  25,7±0,9  0,8±0,03  127±8,8 

25,0±1,2  1,2±0,02 

 

РШК 

32,0 

23,0 

3,0 

- 

Топырақ құрамындағы ауыр металдардың мӛлшері жылдың кӛктем және 

күз  айында  анықталды    (1-кесте).  Қорғасын  мӛлшері  РШК-мен  (32  мг/кг)  

салыстырғанда  ең  қарқынды  ластанған  Каменка  елді  мекенінде  кӛктем 

айында 113 мг/кг мӛлшерде жоғары болды.  

 

 

1-сурет. Топырақ құрамындағы қорғасынның мӛлшері, мг/кг 

 

Мырыш  элементі  РШК-мен  салыстырғанда  зерттелген  барлық  үлгілерде 

жоғары кӛрсеткіште болды. Ал мыстың мӛлшері 20м қашықтықтан алынған 

топырақ  үлгісінде  83%  жоғары  болды.  Барлық  үлгілерде    зерттелген  ауыр 

металдардың мӛлшері жоғары екендігі байқалды.  

 

 

25,5 

47 

86,7 

113 

28,3 

59,7 

107 

127 

0

20

40

60

80

100

120

140

Бот. бақ 

Нархоз 

Шаңырақ  Каменка 

Кӛктем Pb 

Күз Pb 

18,5 

20,7 

33 

25,7 

20,7 

31,3 

32 

25 

0

5

10

15

20

25

30

35

Бот. бақ 

Нархоз 

Шаңырақ 

Каменка 

Кӛктем Zn 

Күз Zn 

На

рх

оз

 У

ни

ве

рс

ит

ет

і

258 

 

2-сурет. Топырақ құрамындағы мырштың мӛлшері, мг/кг 

 

 

3-сурет. Топырақ құрамындағы мыстың мӛлшері, мг/кг 

 

Қорытынды.  Алматы  қаласының  ластануын  тудыратын  ең  басты 

ластаушы  кӛздерге  автокӛліктердің  қозғалысын    және  қаланың  негiзгi 

экологиялық  мәселелерiнiң  бiрi  ластаушы  заттардың  эмиссиясы  болып 

табылады.  Қаладағы  экологиялық  мәселені  тӛмендету  шараларының  бірі 

толықтай    табиғи  газға  кӛшу,  экологиялық  таза  отынды  пайдалану. 

Сондықтан  бiрiншi  кезектегi  шараларға:   ТЭЦ-1  қазандық  агрегаттарына 

жаңа  эмульгаторлар  қою;   ТЭЦ-1-дегi  ескiрген  қазандық  агрегаттарын 

ауыстыру;  әртүрлi бағыныстағы қазандықтарды экологиялық талаптарға сай 

жаңа  қондырғылармен  жабдықтау; тау  бӛктерi  аймағы  қазандықтарын 

электрмен  жылытуға  кӛшiру  жоспарланған.  Сонымен  қатар  отынның  әр 

түрiмен  жұмыс  iстейтiн  қазандық  агрегаттары  мен  қазандықтарды 

қалдықтардан 

нормативтi 

тазалануын 

қамтамасыз 

ететiн 

тазалау 

қондырғыларын қолдануға баса назар аударылу керек. 

Алматы озық инженерлiк-техникалық қызметкерлерi, экологтары, 

маркетологтары,  экономистерi,  ғылыми  зертханалары,  сертификаттық 

орталығы,  озық  конверсиялық  қондырғысы,  республика  бойынша  дамыған 

инвестициялық, инновациялық, ақпараттық және бiлiм инфрақұрылымы бола 

отыра,    қаланы  кӛгалдандыру  жүйесiн  де  шектемеу  керек.  Қаланың  еркiн 

кәсiпкерлiк  мәртебесi  ынталандырушы  салықпен,  энергия    үнемдегiш 

тауарларды,  озық  технологияны  енгiзумен,  Қазақстан  бекiткен  энергия 

тиiмдiлiгi  Еуропа  Хартиясы  мен  энергия  үнемдеу  туралы  заңда 

қарастырылған  энергия  кӛздерiн  пайдалану  мен  нығайту  жұмыстарын 

жалғастыру  керек.  Қала  аумағын  экологиялық  аудандастыру  мен 

экологиялық  жол  берiлген  жүктеме  кӛлемiн  ескере  отырып,  нақты  қала 

құрылысы  саясатын  жүргiзудi  оңтайландыра  отырып,  урбаанизация 

жағдайын  ескере  отырып,  Алматы  қаласының  экологиялық  картасын  қайта 

құру  қажет  деп  санаймыз.  Сол  үшiн  Алматыға  құрылыс  салу  мен  оны  

жоспарлаудың тиiстi тәртiптерiн, стандартқа сай  экологиялық нормативтерін 

әзiрлеу қажет. 

0,5 

0,75 

1,2 

0,8 

0,5 

1,2 

1,7 

1,2 

0

0,2

0,4

0,6

0,8

1

1,2

1,4

1,6

1,8

Бот. бақ 

Нархоз 

Шаңырақ 

Каменка 

Кӛктем Cu 

Күз Cu 

На

рх

оз

 У

ни

ве

рс

ит

ет

і

259 

 

жүктеу/скачать 8,62 Mb.

Достарыңызбен бөлісу: