№4 Дәріс. Шартты энтропия және біріктірудің энтропиясы. Қарастырылатын сұрақтар

Шартты энтропия және біріктірудің энтропиясы
1 бет 
№4 Дәріс. Шартты энтропия және біріктірудің энтропиясы.
 
Қарастырылатын сұрақтар: Өзара және шартты ақпарат энтропиясы 
Өзара және шартты ақпарат 
Ақпарат теориясының аксиоматикалық желісін құруда жұп оқиғалар ақпараты 
түсінігі қолданылады. Бұл тұжырымдарды енді талдайық. Х және Y екі дискретті 
ақпарат көздерін қарастырайық. Олардың оқиғаларын (x
i
, y
j
) жұп оқиғаларға 
біріктірейік. Біз байланысқан ақпарат көздерін қарапайым 
моделін аламыз (2.6-сурет). 
2.6-сурет. Екі байланысқан ақпарат көздерінің моделі 
Егер екі ақпарат көзі де қалай болсын бір-бірімен байланысы болса, онда бір 
Ақпарат көзінің оқиғасы, екіншісінің оқиғасы туралы кейбір жорамалдар жасай 
алады. Ақпарат теориясы терминдерінде бұл – екінші Ақпарат көзінің 
анықталмағандығын төмендетеді, яғни ақпарат көздері өзара ақпараттармен 
айырбастасады. 
Шартты p(x/y) ықтималдықты енгізейік, ол y оқиғасы болғанда х оқиғасының 
ықтималдығы. Екі x
i
және y
j
оқиғасының және ортақ p(x
i
,y
j
) ықтималдықтарын 
априорлы және шартты ықтималдықтары арқылы өрнектесек, 
Логарифмдік функцияны қолдана отырып (x
i
) және(y
j
) оқиғаларының 
ақпараттарын табамыз: 
яғни: 

Шартты энтропия және біріктірудің энтропиясы
2 бет 
(2.19) формуланың бірінші бөліміне I(x
i
) және соған сәйкес екінші бөліміне I(y
j
) 
қоса азайта отырып, төменгі формулаға келеміз: 
бит 
Сонымен, жұп (x
i
,y
j
) оқиғасының ақпараты анықталады: ол осы оқиғалардың 
ақпаратының қосындысынан алып тасталған кейбір теріс емес анықталмағандықты 
төмендететін шама. Оның өзі, ақпарат болып саналатындықтан, оны жұп оқиғаның 
өзара ақпараты деп атаймыз. 
Жұп оқиғаның ортақ ақпараты былай анықталады: 
(2.21) 
Ортақ I(x
i
 ,y
j
) ақпараттың мағынасы арқашан оң. 
Ақпараттың мәнін өзара жақсы түсіну үшін екі шекті жағдайды 
қарастырайық. 
1. 
Ақпарат көздері тәуелсіз. Онда жұп тәуелсіз оқиғалардың ықтималдығы 
яғни ақпарат көздері ақпаратпен ауыспайды 
2. 
Ақпарат көздері бір-бірімен тығыз байланысты, яғни бір ақпарат көзінің 
оқиғасы екіншісінің оқиғасына әсер етеді 
Бұл жағдайда ақпарат көздері өз ақпараттарын толық ауыстырады 
Формула (2.20)-дан 
жұп оқиғаның I(X
i
)+I(Y
j
) ақпараты қос тәуелсіз оқиғалардың 
ақпараттары 
X және Y ақпарат көздері 
арасында шартталған байланысымен
алдын 
ала айтылған өзара I(xi , y j ) ақпаратының айырмашылығы дәл 

Шартты энтропия және біріктірудің энтропиясы
3 бет 
интерпреттеуге болады.