Ансанбль энтропиясының қасиеттері

Ансанбль энтропиясының қасиеттері 
Ақпарат кӛзінің энтропиясын бағалау үшін мысал қарастырайық. 
Айталық, Ақпарат кӛзінің ақпараты эксперимент нәтижесі бойынша а, b, с, d 
(2.1-кесте) кездейсоқ оқиғалар болсын. Экспериментті қайталағанда 
нәтижесінде мына тізбек 
шығады {o, b, a,d, a,a,c,d, b, a, a, b,...}. 
 
 
 

 
 
2. Ақпарат кӛзі оқиғаларының ықтималдықтары бірқалыпты 
p
i
=1/N болғанда, оқиғалардың санының N ӛсуімен энтропия ұлғаяды. 
3. Оқиғаны таңдау процедурасын бірнеше этапқа ыдыратуы энтропияны 
ӛзгертпейді (таңдау процедурасын тізбектелген екілік шешімге келтіруге 
болады). 
2.3-мысал. Таңдау процедурасының ыдырауы. 
Берілген мысал 3-аксиоманы түсіндіреді. Үш а, b және с оқиғалардың 
ықтималдықтары 1/2. 1/3. 1/6. 
Мына үшеуінің біреуін таңдау үшін біз екі тәуелсіз сұрақ қоя аламыз 
(2.2-сурет).
2.2-сурет. Символдарды таңдау процесінің ыдырауы Мына сұрақтарға 
тек қана екі жауап болады: немесе «иә» немесе «жоқ». (3) аксиомаға сәйкес 
энтропияға келесі талаптар қойылады: 
H(1/2,1/3,1/6)= H
1
(1/2,1/2)=(1/2)H
2
(2/3,1/2) 
Сонымен қатар, екінші сұрақ ½ ықтималдығына қойылады.
Біз жалпы түрде (2.3-сурет) энтропия (2.15) анықтамасы (3)-аксиоманың 
талабын қанағаттандыратының кӛрсетеміз. 

Тармақталған энтропия келесі теңдеу бойынша саналады: 
Мұнда ықтималдық былай анықталады: 
Теорема. Дискретті қарапайым жадысыз ақпарат кӛзінің энтропиясы 
максимальды болса, онда барлық оқиғалардың ықтималдықтары бірқалыпты. 
Бұл жағдайда энтропия оқиғалар санының логарифміне тең болады: 
 
Ескерту. Теореманың келесі дәлелдеуі, ақпарат теориясында типтік 
болып саналады. Сондай дәлелдеулерде бұрынғы белгілі бағалар мен шекті 
ӛткелдер қолданылады, бірақ тәжірибеде пайдаланылмаған. 
2.4-мысал. Әрбіреуі тӛрт жағдайдың біреуінде болу мүмкін 6 элементтен 
құралған жүйенің энтропиясының максимумын анықтау керек. 
Шешімі. 
Тәжірибелер санының дәл еместігін азайтуды есептеу үшін энтропия 
түсінігін қолданатын мысал келтірейік. 
2.5-мысал. Сыртқы бейнесінен бірдей 27 тиын бар, олардың ішінде 
біреуі жалған болсын дейік. Сыртқы бейнесі бірдей 27 тиындардың ішінен 
жеңілірек бір жалған тиынды табу үшін, тең тиындарды таразыға салып 
қажетті ӛлшеу жасау керек. Ӛлшеулердің минимальды санын анықтау керек. 
Шешімі. 
Формула (2.14) бойынша V ансамблінің жалпы анық талмағандығы, 
ӛлшеудің біреуі 3 элементтен құралған V1 ансамблінің анықталмағандығын 
анықтай алады. №1 тиын таразының сол жақ табағында, №2 тиын таразының 
оң жақ табағында, ал үшінші тиын алып қойылған деп болжайық. Онда 
тәжірибе нәтижесінде үш мүмкін шығысы бар (таразының сол жақ табағы 
жеңілірек; таразының оң жақ табағы жеңілірек; таразылар тепе-теңдікте 
тұрады; сәйкесінше: бірінші жағдайда жалған тиын 1; екінші жағдайда 
жалған тиын 2; үшінші жағдайда жалған тиын 3) Бір тәжірибемен алынған 
анықсыздық 

онда жалған тиынды анықтауға үш рет ӛлшеген жеткілікті. 
Энтропия – ансамбльдің бір жағдайын таңдауының орташа 
анықталмағандығын сипаттайды. Оны анықтағанда тек қана жағдайлардың 
ықтималдықтары қолданылады, олардың негізгі жақтарын толығымен 
елемейді. Сондықтан энтропия, анықталмағандықпен байланысты кез келген 
есепті шешу құралы бола алмайды. Мысалы, бұл ӛлшемді дәрілердің іс- 
әрекетінің анықсыздығын бағалағанда, оқиғалардың 90% жағдайы 
аурулардың толық жазылып кетуі және оқиғалардың қалған 10 %, кӛңіл-
күйінің жақсаруы, сондай оқиғалардың 90%- ның жағдайы ӛлім, ал 
аурулардың 10 % жағдайларының нашарлауына алып келетін дәрілер сияқты 
болып шығады. 
2.6-мысал. Екі дискретті кездейсоқ шамалардың X және Y ансамбльдері 
берілген 
Дискретті кездейсоқ шамалардың X және Y ансамбльдерінің 
энтропияларын табу керек. 
Шешімі. 
H(X)=H(Y) log
2
4= 2. 
Энтропия анықсыздық сияқты адамның психологиялық реакцияларын 
зерттеу кезінде алынатын, сонымен қатар реакция таңдауымен экспериментік 
мәліметтермен келіседі. Тізбектеп ретсіз кезектесетін тең ықтималды 
тітіркендіргіштерінің (мысалы, жанатын лампочка) қатесіз реакция 
уақытының саны, энтропия сияқты санының артуымен ӛседі. Бұл уақыт бір 
тітіркендіргіштің таңдауының анықсыздығын (белгісіздігін) сипаттайды. 
Тең ықтималды тітіркендіргіштерді, тең ықтималды еместермен 
ауыстыру кезінде орташа реакция уақыты энтропия қанша кішірейсе, сонша 
тӛмендеуге әкеледі. Жадысыз дискретті екілік ақпарат кӛздерінің мәні 
ерекше, себебі кӛптеген жағдайларда олардың кӛмегімен мәліметтерді 
тасымалдау процесін сипаттауға болады.
Айталық, жадысыз екілік ақпарат кӛзі алфавит X = {0,1} арқылы 
берілген «0» символаның ықтималдығы p
0
=p және «1» – p
1
=1 - p . 
Символдар тәуелсіз жүйеде таңдалады. Осы энтропияны Шеннон 
функциясы деп атайды, ол тек қана р ықтималдығына тәуелді. 
Екілік Ақпарат кӛздің энтропиясы (Шеннон функциясы) 
Шеннон функциясының сипаттамасы 2.5-суретте кӛрсетілген. 

2.5-сурет. Екілік Ақпарат кӛзінің энтропиясы 
Екілік Ақпарат кӛзінің энтропиясы барлық жерде оң, p=1/2 бойынша 
симметриялы және «0» и «1» символдарының ықтималдығы бірдей болғанда 
мағынасы максимум болады. 1 битке тең максимальды энтропия екілік 
шешімге сәйкес, яғни символ мәні туралы сұраққа жауап: немесе «иә» немесе 
«жоқ». Екілік оқиғаның p және q ықтималдықтарының H энтропиясы 2-
қосымшада кӛрсетілген.