Дәріс №5. Біріккен және шартты энтропия Қарастырылатын сұрақтар

Біріккен және шартты энропия, Алиева А.М. 
1 бет 
Дәріс №5. Біріккен және шартты энтропия 
Қарастырылатын сұрақтар: Біріккен және шартты энтропия 
Алдыңғы бөлімде жеке оқиғаларды қарастырылған соң ақпарат 
көздерінің орташа бағалауына қарастыруға болады. Екі X және Y жадысыз 
дискреттік байналысқан ақпарат көздерінің бастапқы жағдайы 2.7-суретте 
көрсетілген. 
2.7-сурет. Екі байланысқан дискретті ақпарат көздері 
Екі X және Y дискретті жадысыз ақпарат көздерінің біріккен энропиясы: 
Ескерту. Мұнда бірлескен оқиғалардың барлық жұптары 
қарастырылады, яғни 
 
Шартты энтропияны табу үшін барлық жұп оқиғалардың шартты 
ақпараттарын орташаландырамыз. 
Екі дискретті X және Y жадысыз ақпарат көздерінің шартты энтропиясы: 
Сонымен, біріккен энтропия бір ақпарат көзінің энтропиясы мен басқа 
ақпарат көзінің кейбір бөлігі энтропиясының қосындысы деп ұсынуға 
болады. Тәуелсіз ақпарат көздері үшін екінші ақпарат көзінің энтропиясы, 

Біріккен және шартты энропия, Алиева А.М. 
2 бет 
қосындысына толығымен кіреді, себебі H(X/Y)= H(X) және H(Y/ X) = H(Y) . 
Сондықтан, жалпы жағдайда, бұл әрқашан орынды: 
H(X,Y) ≤ H(Y) + H(X) . 
1-мысал. Байланысқан ақпарат көздері. 
Жоғарыда көрсетілген формулалар мен анықтамаларды түсіндіретін 
сандық мысалды қарастырайық. Бұл үшін тәжірибеде есептеу әдісі 
қолданылатын есеп таңдалды. 
Айталық, (x
i
, y
j
) үйлесімді жұп оқиғалардың 100000 таңдауы бар. 
Дискретті ақпарат көздері X және Y және әрбір ақпарат көздердің алфавиті 
төрт оқиғадан тұрады (x
i
, y
j
) жұбы 10000 рет кездеседі.
Сонда (x
i
, y
j
) жұбының ықтималдық бағасы
10000/100000=0,1-ге тең.
Қалған жұп оқиғалардың бағасы солай, олардың салыстырмалы 
жиіліктің есептеулерімен алынған және ол 2.2-кестеде келтірілген. Алынған 
бағаларды жұп оқиғаның ықтималдықтарына жақын деп есептеп, ары қарай 
сол ықтималдықтарды қарастырамыз. Оқиғаларының x
i
, y
j
ықтималдықтары 
бағандар мен жолдарды қосындылау арқылы алынды. 
Бақылау қосындысы 
2.2-кесте 
Жұп символдардың үйлесімді p(x
i
, y
j
) ықтималдықтың бағасы 
және жеке p(x
i
), p(y
j
) символдарының ықтималдықтары 
Сонымен, барлық ықтималдықтар белгілі болды. Энтропияны есептеу 
үшін керекті ықтималдықтарды анықтайық: 
1. X және Y ақпарат көздерінің энтропиясы; 
2. Ақпарат көздерінің үйлесімді энтропиясы; 
3. Екі шартталған энтропия. 
Бақылау үшін мынандай энтропияны есептейік: 
1. P(x
i
, y
j
) шартты ықтималдықтар; 
2. H(Y X ) шартты энтропияны анықтайық. 
Шешімі. 

Біріккен және шартты энропия, Алиева А.М. 
3 бет 

Біріккен және шартты энропия, Алиева А.М. 
4 бет 
Ақпарат кездейсоқ оқиғадан шыққандықтан, бірінші бағанада оқиғаның 
ықтималдық түсінігі мен жұп оқиғалардың үйлесімді ықтималдығы 
енгізілген. Жұп оқиғалар үшін шартты ықтималдық түсінігі енгізіледі.
Екінші бағанада оқиға мен жұп оқиға ақпаратының, сонымен қатар шартты 
және өзара ақпараттар анықтамасы беріледі. Үшінші бағанада ақпарат көзінің 
анықталмағандық өлшемі ретінде энтропия түсінігі енгізіледі. 
Ақпарат көзінің энтропиясы, екі ақпарат көзінің үйлесімді және шартты 
энтропиясы, оқиғаның сәйкес ақпаратының математикалық үміті ретінде 
беріледі. Шартты ықтималдық – бұл басқа оқиғаның орындалуы іске 
асырылған шартындағы бір оқиғаның ықтималдығы, сондықтан да шартты 
ақпарат пен шартты энтропия түсінігі шартты ықтималдықтан шығарылады. 

Біріккен және шартты энропия, Алиева А.М. 
5 бет