Дифференциалдық энтропия

Дифференциалдық энтропия
Алиева А.М. 
1 бет 
Тақырып: Дифференциалдық энтропия 
Қарастырылатын сұрақтар: Дифференциалдық энтропия 
Дифференциалдық энтропия 
 
Тәжірибеде ақпарат, ақпарат көзінің мүмкін болатын көптеген қалпының 
континуумын құрайды, яғни ақпарат көздері – үздіксіз. 
Үздіксіз ақпарат көзінің энтропиясын былай анықтайық: үздіксіз 
кездейсоқ U шама ықтималдығының тығыздығың p(u) 
үлестірімен сипатталатын, оның өзгеру диапазонын шектеулі п санынан 
тұратын кіші интервалды – 

u енді бөлеміз. (ui , u i 


u) интервалында тиісті 
кез келген u мәні орындалғанда, мәні u
i
дискретті кездейсоқ U шама 
орындалды деп есептеуге болады. Интервал 

u -дың мәні кішкентай 
болғандықтан, (ui , ui + Δu) интервалында u мәнінің орындалу ықтималдығы 
p(ui 

u 

u i 


u) 
Онда U дискретті кездейсоқ шаманың энтропиясын мына түрде жазуға 
болады: 
Интервал u -дың мағынасы азайған кезінде p(ui 

u 

u i 


u) нөлге тең 
p(ui ) ықтималдығына, ал U дискретті шаманың қасиеті – U үздіксіз 
кездейсоқ шаманың қасиетіне жақындайды. Үздіксіз ақпарат көздің H(U)
энтропиясы 

u 

0 

Дифференциалдық энтропия
Алиева А.М. 
2 бет 

2

2 

Бұл шама 

u 

0 ол да шексіздікке ұмтылады, таңдаудың 
анықталмағандығы болатын шексіз үлкен жағдайларынан (мәндерінен) 
шексіз, бұл үлкен интуитивті түсінігіне толық сәйкес келеді. 
Оң бөлігіндегі (2.24) қатынастың бірінші мүшесінің мәні шектеулі, ол 
тек қана үздіксіз кездейсоқ U шаманың үлестірім заңына тәуелді және 
кванттау Δu қадамынан тәуелсіз. Оның құрылымы дәл дискретті ақпарат 
көзінің энтропиясы сияқты. 
Осы (2.24) қатынастың екінші мүшесі керісінше, тек қана U кездейсоқ 
шаманың кванттау қадамына тәуелді, сондықтан H(U) мағынасы шексіздікке 
ұмтылады. 
Үздіксіз ақпарат көзінің ақпараттық қасиеттерінің шекті сипаттамасын 
табу үшін үздіксіз ақпарат көзінің анықталмағандығы ретінде (2.24) 
қатынасының бірінші мүшесін қабылдайды. 
Ол дифференциалдық энтропия немесе ақпараттың үздіксіз ақпарат 
көзінің дифференциалдық энтропиясы (кездейсоқ U шаманың үздіксіз 
үлестірімі): 

h(U) 



p(u)log p(u)du . 


Оны тағы біркелкі үлестірімімен бірге, тең диапозанда өзгеретін U' 
кездейсоқ шаманың орташа таңдау анықталмағандығымен салыстырғанда, 
үлестірімі еркін заңды U кездейсоқ шаманың орташа таңдаудың 
анықталмағандығы дәл түсіндіруге болады. 
Дифференциалдық энтропияның негізгі қасиеттері: 
а) егер U кездейсоқ шаманың мүмкін болатын мәндері аймағының 
жалғыз ғана 

α , β 

шегі болса, онда дифференциалдық энтропияның мәні 
максимальды болса, осы аймақтағы шаманың ықтималдықтарының үлестірімі 
біркелкі болады. 
ә) егер U үздіксіз кездейсоқ шаманың мүмкін болатын мәндерінің 
аймағына шектеу болмай, бірақ оның дисперсиясы шектеулі екені белгілі 
болғандықтан, максимальды дифференциалдық энтропияға нормальды 
үлестірімді U шамасы болады. 
2.8-мысал. Гаусс ақпарат көзінің дифференциалдық энтропиясы. Гаусс 
ақпарат көзінің дифференциалдық энтропиясы: 
Квадрат жақшадағы өрнек екі интегралға ыдырауы мүмкін. 
Сонымен, біз соңында мынандай өрнекке келеміз: 
 

Дифференциалдық энтропия
Алиева А.М. 
3 бет 
x 
 
 
2.9-мысал. Оң үздіксіз x шама экспоненциальды заң бойынша 
үлестірімді 
оның орташа мағынасы m
x
=3 Осы шаманың энтропиясын есептеу. 
Шешімі. 
Үздіксіз кездейсоқ х шаманың дифференциалдық энтропиясы былай 
анықталады: 
Көп қолданылатын үш үлестірімдердің сандық мысалдары 2.5-кестеде 
келтірілген. 
2.5-кесте Дифференциалдық энтропиялардың мысалы 

Дифференциалдық энтропия
Алиева А.М. 
4 бет 
 
 
2.10-мысал. Телефония. 
Жоғарыда келтірілген нәтижелердің тәжірибелік пайдасын цифрлық 
телефон желісінде, ақпаратты тасымалдау жылдамдығы (битпен өлшенеді) 
жетістіктерін бағалағанда айқын көрсетіледі. Қазіргі цифрлық сөйлеу – 
тасымалдауышының стандартты әдісі (логарифмдік РСМ) бойынша, жиіліктігі 
8 кГц бір санақты кодтауға 8 бит шығын қажет. Сонымен, сөйлеу 
тасымалдауышының жылдамдығы 64 кбит/сек. 
Егер [ – 1,1] интервалындағы ықтималдықтың үлестірімі біркелкі болса, 
тәжірибелі жолмен дисперсияның мағынасы σ
2
= 1/3. Сонымен қатар, бір 
санаққа келетін дифференциалдық энтропия: 
Санақтар 8 кГц жиілікпен жүргізілгендіктен, сөйлеуге 
8 кбит/сек тасымалдауыш жылдамдығы қажет. Энтропияны бағалауда 
біз көрші санақтардың (ақпарат көзінің жадысы) өзара байланысына назар 
аудармадық. Сондықтан сөйлеу, ақпарат көзінің нақты дифференциалдық 
энтропиясы одан аз болады. Белгілі, сөйлеу кодтауының қазіргі заманғы 
алгоритмі, сөйлеу сигналын тасымалдауыш 8 кбит/сек жылдамдықпен 
өткізеді, ол сапасы РСМ стандартының сапасынан кем емес.