ббк76. 0 Қ 54 Редакционная коллегия

«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ»  V ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ 

 

 

135 

 

2.  Д.  П.  Bertsekas.  Распределенная  динамического  программирования.  IEEETransactions  по 

автоматическому контролю, 27: 610-616, 1982. 

3. Марк d'Inverno, Майкл Удача. Понимание системы агента. [PUB?] 2001. 

4. Тим Иден, Энтони Книттел, Рафаэль ван Uffelen. Обучение с подкреплением. Скачано 10/02 

от www.cse.unsw.edu.au/~aek/catmouse. 

5. Рассел С., Норвиг П. Искусственный интеллект: современный подход, 2- е изд.: Пер. с англ. 

– М.: Издательский дом “Вильямс”, 2007.  

6.  Тарасов  В.Б.  От  многоагентных  систем  к  интеллектуальным  организациям:  философия, 

психология, информатика. – М.: Эдиториал УРСС, 2002.  

 

ӘОЖ 004.02 

 

САУХАНОВА Ж.С., САУХАНОВА М.С. 

 

МӘТІНДЕРДІ  ТАЛДАУ ЕСЕБІН  RAPIDMINER ОРТАСЫНДА МОДЕЛДЕУ 

 

(Л.Н. Гумилев атындағы Еуразия ұлттық университеті, Астана қаласы, Қазақстан) 

 

Кіріспе 

Қазіргі таңда әлеуметтік желілер ақпарат таратудың тиімді құралына айналуда. Бүкіл 

әлем  бойынша  таратылатын  ақпараттық  қорларда  көлемі  террабайттар  болатын  мәтіндік 

деректер  сақталған.  Text  minig  технологиясы  көлемі  үлкен  ақпараттарды  талдап,  

тенденцияларды,  шаблондарды,  байланыстарды  анықтауға  мүмкіндік  береді.  Text  mining 

технологиясының  негізгі  компоненттері  мәтіннен  оны  сипаттайтын  метадеректерді,  кілттік 

сөздерді  табу,  құжаттарды  қандай  да  бір  категорияларға  жіктеу  және  семантикалық 

талдаумен байланысты.  

Мәтіндік құжаттарды кластерлеу, ассоциация негізінде талдау есептерінің моделдерін 

Rapidminer программалық қамтамасының көмегімен тұрғызу мысалы қарастырылады.  

Мәтіндерді кластерлеу есебінің қойылымы 

Кластерлеу  әдісі  деректердің  векторлық  кеңістіктегі  модель  түрінде  (vector  space 

model) берілуін талап етеді. Құжат әрбір өлшемі құжаттар жиынтығындағы сөз болатын көп 

өлшемді кеңістікте беріледі. Құжаттар жиынын  D= {d

1

, .., d

i ,…, 

d

n

} деп белгілейік, ал F= {f

1

, 

… , f

k

, … ,  f

z

} деп сөздерден және сөзтіркестерінен тұратын сөздікті белгілейміз.  

Модель келесі түрде сипатталады: 

М=|F|х|D|, 

мұндағы  F=  {f

1

,  …  ,  f

k

,  …  ,    f

z

},  D=  {d

1

,  ..,  d

i  ,…, 

d

n

},  d

i

  -  z  -өлшемді  R

z

  кеңістігіндегі 

вектор.  

F  сөздігін  құру  барысында  мәтіндер  келесі  қадамдар  негізінде    алдын-ала  өңдеуден 

өтеді: 

- 

стоп-сөздерді  жою,  бұл  сөздер  құжаттың мазмұны жөнінде  аз  ақпарат  беретін 

көмекші сөздер. 

- 

стэммингті  орындау,  яғни  морфологиялық  іздестіру  жүргізу  арқылы  сөздерді 

қалыпты формаға түрлендіру. Мысалы traveling, traveled сөздерінің қалыпты формасы travel  

түрінде болады. 

- 

 n-граммалар  құру  -  бұл  морфологиялық  талдаумен  стоп  сөздерді  жоюдың 

баламасы.  n-грамма  жолдың  n  символынан  тұратын  бөлігі.  Мысалы,  «data»  сөзі  3-грамма 

арқылы  «_da», «dat», «ata» сөздерімен, ал  4-грамма арқылы «_dat», «data», «ata_» сөздерімен 

беріледі. 

- 

жоғары  не  төменгі  регистрге  түрлендіру,  яғни  кіші  не  үлкен  әріптерге 

түрлендіру.  

«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ»  V ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ 

 

 

136 

 

d  құжатындағы  f  сөзіне  осы  сөздің  берілген  құжаттағы  маңыздылығын  сипаттайтын 

TF-IDF  (Term  Frequency  Inverse  Document  Frequency)  салмағы  сәйкестендіріледі.  Сөздің 

салмағы  0  мен  1  аралығында  болады,  егер  сөз  мәтінде  жиі  кездесетін  болса,  оның  салмағы 

үлкен және керісінше,   сөздің жиілігі аз болса, салмақ мәні кіші болады. Сөз салмағы келесі 

формула бойынша есептелед і [1]: 













k

s

s

i

k

k

i

i

k

N

N

D

N

2

,

,

,

)

1

)

(log(

)

/

log(

))

log(

1

(



, 

 

мұндағы    N

i,к

  –  f

к

  сөзінің  d

i

  құжатында  кездесу  саны,  N

к

  –  f

к

  сөзінің  барлық  D 

жиынындағы құжаттарда кездесу саны, |D| - құжаттар саны.  

Қарастырылатын модельде кластерлер келесі вектор түрінде беріледі: 

С={с

1

, … , c

j

, … , c

m

}, 

мұндағы с

i

  - z - өлшемді R

z

 кеңістігіндегі вектор.  

Вектор  с

i

  кластер  центрі  (центроид)  болып  табылады.  Кластерлеу  есебінің  мақсаты  - 

құжаттардың центроидтарға жақындығына қарай топтау. Кластермен құжаттың жақындығы 

төмендегі формула негізінде есептеледі [1]: 

.

)

,

cos(

2

,

2

,

,

,



















F

k

j

F

k

i

F

k

j

k

i

j

i

j

i

j

i

d

d

c

d

c

d

c

d

c

d













 

 

Rapidminer ортасында мәтіндерді кластерлеу есебінің моделі 

Құжаттар жиынтығы мен мәтіндерде кездесетін сөздер арасындағы өзара байланысты 

анықтау    Process  Documents  From  Files  операторынан  басталады.  Бұл  оператор  -  мәтінді 

алдын-ала  өңдеу  процесі  кірістірілген  күрделі  оператор.  Оператор  параметрлерінде 

кластерлеу  қажет  құжаттар  орналасқан  бума,  кодтау  түрі,  вектор  құру  және  қысқарту 

шарттары  беріледі.  Кластерленентін  құжаттар  бумада  .txt  форматында  сақталынуы  қажет, 

кодтау түрі - encoding,  вектор түрі - TF-IDF,   қысқарту шарттары: prune method - percentual, 

purne below percent - 60, purne above percent - 65.  Талданатын құжаттар ретінде клиенттердің 

ағылшын тіліндегі пікірлері берілген 100 мәтіндік файл қарастырылды [3]. 

Мәтінді алдын ала өңдеу процесі Сурет 1-де бейнеленген. 

 

 

Сурен 1. Мәтіндерді  алдын ала өңдеу процесі 

 

Процесс  операторлары  жоғарыда  келтірілген  қадамдарға  сәйкес  келеді:    Tokenize  -    

сөздерді бөліп алау, Filter Stopwords -  стоп-сөздерді жою, Stem -  сөздерді қалыпты формаға 

келтіру, Transform Cases - сөздерді бір регистрге түрлендіру.  

Кластерлеу  процесі  (Сурет  2)  нәтижесінде  5  кластер  алынды:  cluster_0(17), 

cluster_1(25),  cluster_2(23),  cluster_3(26),  cluster_4(9).  Filter  Examples  операторының 

көмегімен  әр  кластер  жөнінде  ақпарат  ала  аламыз.  Ол  үшін  кластерлеу  моделіне  Filter 

Examples 

операторын 

қосып, 

 

параметрлерін 

анықтаймыз: 

condition 

class 

= 

attribute_value_filter, parameter string = “cluster=cluster_0”.   

«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ»  V ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ 

 

 

137 

 

 

Сурет 2. Кластерлеу процесі 

 

Ассоциация негізінде талдау есебінің қойылымы 

Есеп    қойылымын  беру  үшін  алдамен  келесі  ұғымдарды  береміз.  Талданатын 

объектілер (сөздер) жиынын F= {f

1

, … , f

k

, … ,  f

z

} деп белгілейміз. Құжатты   F жиынының 

ішкі жиыны ретінде анықтаймыз:  d

i 

 = { f

k

 | f

k 

∈ }.  Құжаттар жиынын  D= {d

1

, .., d

i ,…, 

d

n

} деп 

белгілейміз.  Әрбір  құжатқа    T

i   

бинарлық  векторын  сәйкестендіреміз.  Егер    f

k   

сөзі    d

i 

құжатына тиісті болса, онда  t

i

(k)=1, кері жағдайда   t

i

(k)=0.    Егер Х

⊂ d

i

, онда d

i  

құжаты  F  

жиынының  элементтерінен құралған Х жиынтығын қамтиды дейді.  

Егер  Х

⊂  F,  Y⊂  F    және  X  ∩

= ∅,  онда  импликация  Х=>Y  ассоциативті  ереже  деп 

аталады.  Егер  D  жиынының  S%  құжаты 

∪   элементтер  жиынын  қамтыса,  онда  Х=>Y  

ережесі  мәні  S (support) болатын қолдауға ие делінеді: 

( => ) =

( ∪ ) 

Талдау жасау барысында қолдаудың минимум мәнін supp

min

 береді.  

Егер 

supp(X)>supp

min

 , 

онда Х сөздер жинынтығы жиі (large itemset) кездеседі деп аталады 

Құжатта  Х  сөздер  жиынтығы  бар  болсын, онда  Y  сөздер  жинынтығының  да  құжатта 

бар болу ықтималдылығы  Х=>Y  ережесінің сенімділігі (confidence) деп аталады. Ереженің 

сенімділігі келесі формула бойынша есептеледі: 

( => ) =

 ( ∪ )

( )

. 

Сенімділіктің мәні үлкен болған сайын ережеде берілген ақпарат құнды болады. 

Сонымен,  ассоциация  негізінде  талдау  есебінің  қойылымы:  жиі  кездесетін  барлық 

сөздер жиынтығын анықтау, анықталған жиынтықтарда ассоциативті ережелерді құру. 

 

Rapidminer ортасында ассоциация ережелерін құру моделі  

Модель  құру  барысында  жоғарыда  құрылған  кластерлеу  моделін  одан  әрі 

жалғастырамыз. Ассоциация ережелерін құру моделі  Сурет 3-те келтірілген. 

 

 

Сурет 3. Ассоциация ережесін құру моделі 

«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ»  V ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ 

 

 

138 

 

Numerical  to  Binominal  операторы  T

i   

бинарлық  векторларын  құрады,  FP-Growth 

операторы  жиі  кездесетін  сөздер  жиынтықтарын  анықтайды,  Greate  Association  Rules 

операторы ассоциация ережесін құрады (Сурет 4). 

 

 

Сурет 4. Ассоциация ережелері кестесінен үзінді 

 

Клиенттердің  пікірлерін  талдау  нәтижесінде  cluster_0  кластеріне  негізінен  қолайлы 

ауданда орналасқан арзан қонақ үйлер жататындығын анықтаймыз. 

Filter  Examples  операторында  parameter  string  параметрінің  мәнін  өзгерту  арқылы 

басқа кластерлердің мінездемелерін білуге болады.  

Қорытынды 

 Rapidminer программалық қамтамасы Text Mining технологиясын жүзеге асыру үшін 

қажет  операторлармен  толығымен  қамтылған.  Алдағы  уақытта  осы  программалық 

қамтаманың  Web  Mining  қосымшасын  қолдану  арқылы  желідегі  ақпараттарды  талдау 

көзделеді.  

 

Әдебиеттер: 

 

1. 

Барсегян  А.  А.  Анализ  данных  и  процессов:  учеб.  пособие  /  А.  А.  Барсегян,  М.  С. 

Куприянов,  И.  И.  Холод,  М.  Д.  Тесс,  С.  И.  Елизаров.  –  3-е  изд.  перераб.  и  доп.  –  СПБ.:  БХВ-

Петербург, 2009. – 512 с. 

2. 

Rapid 

Miner: 

Operator 

Reference 

Manual, 

(2014). 

www.rapidminer.com/wp-

content/uploads/2014/10/RapidMiner-5-Operator-Reference.pdf 

3. 

RapidMiner 

Book. 

Editors: 

Dr.Markus 

Hofmann 

& 

Ralf 

Klinkenberg    

rapidminerbook.com/index.php/chapter-downloads-13-24/chapter-15/ 

 

 

УДК 004 934 

 

СЕМЕНОВ В. И.,  ШУРБИН А. К. 

 

РАСПОЗНАВАНИЕ ПРЕДЛОЖЕНИЙ С ПРИМЕНЕНИЕМ НЕПРЕРЫВНОГО 

БЫСТРОГО ВЕЙВЛЕТ-ПРЕОБРАЗОВАНИЯ 

 

(ФГБОУ ВПО «Чувашский государственный университет им. И. Н. Ульянова», Чебоксары, 

Россия) 

 

Распознавание  речи  как  одна  из  составляющих  искусственного  интеллекта  давно 

интересует исследователей. Несмотря на определенные успехи, достигнутые в этой области, 

есть еще нерешенные проблемы. Для распознавания речи в работе используется вейвлет на 

основе второй производной функции Гаусса (MHAT-вейвлет), длительность речевого сигнала 

составляет четыре секунды, частота дискретизации речевого сигнала – 8000 Гц, разрешение 

– 16 бит, режим записи – моно. 

«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ»  V ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ 

 

 

139 

 

Для  вычисления  вейвлет-спектра  речевого  сигнала  S(t)  используется    формула 

непрерывного (интегрального) вейвлет-преобразования: 





 

dt

a

b

t

t

S

a

b

a

W











 













1

,

. 

Вычисление  вейвлет-спектра  производится  в  частотной  области  с  применением 

быстрого преобразования Фурье (БПФ) [1]. 

Для 

вычисления 

Фурье-спектра 

сегментов 

вейвлет-спектра 

используется 

преобразование Фурье: 

.

)

(

)

(

2

dt

e

t

f

F

t

i

















 

Для вычисления энергии сегментов фонем используется формула Парсеваля:  



















.

)

(

)

(

2

2





d

F

dt

t

f

 

Для  формирования  эталонов  отдельных  предложений  применяется  следующий 

алгоритм.  Вычисляются  вейвлет-коэффициенты  W(1,b),  W(2,b),  W(3,b),  W(22,b)  и  W(50,b) 

предложений, где b меняется от 1 до 32768. Полученные вейвлет-коэффициенты (функции) 

W(1,b),  W(2,b),  W(3,b),  W(22,b)  и  W(50,b)  разбиваются  на  сегменты  фиксированной 

длительности  (n  =  128),  что  соответствует  16  мс.  Количество  сегментов  равно  256. 

Длительность  сегмента  не  меньше  длительности  произношения  фонем,  но  превышает 

максимально возможный период основного тона фонем. Так как при каждом произношении 

речевого  сигнала  длительность  предложений  будет  отличаться,  потому  определяются 

положение  максимумов  и  минимумов  вейвлет-спектра  W2(4,b)  для  сравнения  одинаковых 

участков  предложений  и  для  этих  участков  формируются  усредненные  для  пяти  сегментов 

эталонные признаки.  

Мерой  сходства  (различия)  является  евклидово  расстояние  между  эталонными 

признаками  предложений  и  признаками  сегментов  произнесенного  в  данный  момент 

речевого сигнала:  









n

k

jk

ik

ij

x

x

d

1

2

)

(

. 

Для каждого предложения на этапе обучения в базу данных записываются несколько 

вариантов  одного  и  того  же  предложения  с  соответствующими  признаками  для  которых 

евклидово  расстояние  минимальное.  При  каждом  произношении  предыдущие  эталонные 

признаки складываются с новыми признаками и делятся на два. Таким образом, для каждого 

предложения и его варианта путем многократного произношения формируется усредненные 

эталонные  признаки.  При  распознавании  вычисленные  значения  расстояний  для  каждого 

предложения  сравниваются  между  собой.  Предложение,  у  которого  евклидово  расстояние 

минимальное, выводится на экран монитора.  

Вейвлет-преобразование  речевого  сигнала  отражает  временную  организацию  речи  и 

положение  фонем  предложения,  что  позволяет  разработать  алгоритмы  определения  границ 

между  гласными  и  согласными  звуками  речи.  Так  как  различные  предложения  имеют 

определенное  количество  гласных  букв,  то  их  можно  предварительно  различать  по 

количеству  пиков  вейвлет-спектра  W2(4,b)    и  сравнивать  предложения  с  одинаковым 

количеством  пиков.  На  рис.1  представлен  результат  вейвлет-преобразования  предложения 

“бегите  быстро”,  где  положительным  значениям  функции  W2(4,b)  соответствуют  гласные 

звуки, а отрицательным значениям – согласные. 

 

«ҚОҒАМДЫ АҚПАРАТТАНДЫРУ»  V ХАЛЫҚАРАЛЫҚ ҒЫЛЫМИ-ПРАКТИКАЛЫҚ КОНФЕРЕНЦИЯ 

 

 

140 

 

 

Рисунок 1 -  Вейвлет-спектр W2(4,b) предложения бегите быстро 

 

Таким  образом,  если  слово  в  предложении  содержит  одну  гласную  букву,  то 

выделяется  один  положительный  максимум  (пик),  если  две  гласные  буквы  –  два 

положительных  максимума,  и  т.д.  Каждое  слово  и  предложение  имеют  определенную 

структуру. При произношении предложения число гласных увеличивается пропорционально 

числу  слов,  то  есть  максимумов  и  минимумов  будет  больше.  Детальную  картину 

расположения  фонем  в  слове  или  предложении  можно  установить,  исследуя  зависимость 

энергии  сегментов  вейвлет-спектра  от  масштабного  коэффициента  a.  Для  вычисления 

энергии в каждом сегменте вычисляются коэффициенты Фурье d(i), e(i) функций W(а,b): 

 











1

0

)

2

cos(

)

,

(

1

M

k

M

nk

k

a

W

M

n

d

, 

 











1

0

)

2

sin(

)

,

(

1

M

k

M

nk

k

a

W

M

n

e

. 

По формуле 

 

 

 

i

e

i

d

i

F

2

2





 

вычисляется  Фурье-спектр  функций  W(а,b).  Энергия  сегментов  вычисляются  по 

формуле: 

 







n

i

i

F

E

1

. 

На  рис.  2  представлен  график  зависимости  энергии  сегментов  Е  от  масштабного 

коэффициента а вейвлет-преобразования W(а,b) предложения “открыть бункер”. 

 

 

 

Рисунок  2 -  Энергия сегментов  ВП W(а,b) предложения открыть бункер 

 

Масштабный коэффициент а меняется от 1 до 50 с шагом 1. При вычислении энергии 

просуммирована  первая  половина  коэффициентов  Фурье.  Первые  два  максимума 

жүктеу/скачать 14,62 Mb.

Достарыңызбен бөлісу: