Шартты энтропия және оның қасиеттері. Біріккен энтропия

Шартты энтропия және 
оның қасиеттері. Біріккен 
энтропия. 

Шартты энтропия -В оқиғасының
нәтижесі белгілі болғаннан кейін, А
оқиғасының энтропиясынан қалған санды
анықтайтын энтропия.
Шартты энтропия формуласы:

Шартты энтропия:
а) алфавиттің символдары арасындағы
өзара тәуелділікті анықтау үшін;
ә)байланыс
каналдарымен
ақпаратты
тасымалдағанда жоғалтуларды анықтау
үшін;
б) біріккен энтропияны есептеу үшін
қолданылады.

Шартты энтропияның 
қасиеттері
1. Шартты энтропия шартсыз энтропиядан асып
кетпейді:
H(X/Y)<=H(X)
2. Жүйелер өзара тәуелді болса, онда
H(X,Y)=H(X)+H(Y/X)=H(Y)+H(X/Y)
3. X и Y тәуелсіз болса, онда
H(X,Y)=H(X)+H(Y)