Тақырып: Ақпараттың статистикалық ӛлшемдер Қарастырылатын сұрақтар

Тақырып: Ақпараттың статистикалық ӛлшемдер 
Қарастырылатын сұрақтар: Ықтималдық және ақпарат. Ансабль 
энтропиясының қасиеттері 
Ықтималдық түсінікте ақпарат кездейсоқ оқиғалардың нәтижесі, 
кездейсоқ мӛлшерлер мен функциялардың орындаулары туралы хабарлама 
түрінде қарастырылады. Ал ақпарат саны осы оқиғалардың, мӛлшерлердің, 
функциялардың априорлық ықтималдылығына байланысты қойылады. 
Айталық, хабарламаның ақпарат кӛзі әр уақыт кезеңінде кездейсоқ 
тәсілмен кӛптеген мүмкіндіктің соңынан біреуін қабылдай алады. Әр ақпарат 
кӛзінің қалыпына Х шартты таңба түрінде қойылады. Ақпарат кӛзінің мүмкін 
болатын N жағдайына сәйкес келетін x1, x2 , …, xi , ..., xN таңбалардың 
жиынтығын – алфавит деп атайды, ал алфавиттің кӛлемі N жағдайдың саны. 
Мұндай ақпарат кӛзінен хабарламаларды формальдау x
i
жағдайдының 
кейбір таңдауларына және сәйкес келетін таңбаны беруге апарады. Сонымен 
қатар, қарапайым дискретті хабарлама ретінде дискретті ақпарат кӛзінен 
берілетін xi символын түсінеміз. Ақпарат кӛзінің жеке жағдайы басқаларына 
қарағанда онымен жиі таңдала алады. Сондықтан жалпы жағдайда, Х ақпарат 
кӛзі оқиғаларының ықтималдықтарының қосындысы 1-ге тең жағдайлардың 
жиынтығымен анықталады. Осы жиынтық –ансамбль: 
Символдарды таңдау, бір-біріне тәуелсіз жүргізіледі. Қарапайым мысал 
ретінде x={х=0, х
2
=1} алфавиті мен ықтималдығы 0 ≤p
1
≤1 и p
2
=1-p
1
бар 
жадысыз екілік ақпарат кӛзіне келтіруге болады. 
Соңғы 
тәжірибеміз, 
жиі 
болатын 
оқиғалар 
мен 
олардың 
ықтималдылықтары бізге аз ақпарат беретінін кӛрсетеді.
Мысалы, «Ит адамды қауып алды» хабарламасы дағдылы дерек болып 
есептеледі де, ӛзіне ешқандай назар аудартпады, осы кезде «адам итті қауып 
алды» хабарламасын үлкен шрифтпен барлық газеттерде басып шығарды. 
Осыдан мынадай қорытынды шығаруға болады: жиі, күтілген оқиғалар аз 
ақпарат әкеледі және керісінше, сирек, яғни тосын оқиғалар – жоғары 
ақпараттық мазмұнда. Демек, ақпарат пен ықтималдық арасында кері 
пропорционалды байланыс бар. Осыдан, келесі үш аксиома негізінде кӛлемі 
ӛлшенетін ақпарат санын енгіземіз: 
Аксиома. Жеке xi € X оқиғаның ықтималдығымен p
i
ақпаратының мәні 
оң
I (pi )≥ 0 . 
2. Аксиома. Үйлесімді ықтималдықты тәуелсіз екі (x
i
, x
j
) оқиғаның 
ортақ ақпараты үйлесімді 
(2.11) 
ол ақпараттардың қосындысы: 

(2.12) 
3. Аксиома. Ақпарат – оқиғаның ықтималдығынан үздіксіз функция 
болып саналады. 1 және 2-аксиомалар, бірнеше оқиғаның ақпараты бірге 
жоғала алмайды деп тұжырымдайды. 
2-аксиома оқиғалардың ортақ ақпарат түсінігін шығарады. 
3-аксиомадан, оқиғалардың ықтималдықтарының шамалы ӛзгеруі, оның 
ақпаратының да кішкене ӛзгеруіне әкеледі. 
2-аксиома, екі тәуелсіз оқиғаның ақпаратын анықтайды. (2.11)-ден 
оқиғаның ақпараты, оның ықтималдығының логарифмдікфункциясы сияқты 
анықталады. Демек, ақпаратты келесі түрде анықтауға болады: 
p ықтималдығымен болатын оқиғаның ақпараты: 
I (p) = - log (p)
(2.13) 
Логарифм log (p(x
i
)) негізін таңдау, ақпарат санының бірлігін 
анықтайды. Егер негізі 2-ге тең болса, онда ақпарат бірлігі – бит, егер е – 
нат, ал логарифм негізінде 10 – дит деп аталады. Бір логарифмдік жүйеден 
басқасына ӛту, ақпаратты ӛлшеу бірлігінің қарапайым ӛзгеруіне тең. Бұл 
ӛткел мына формула арқылы жүзеге асырылады: 
Биттің мӛлшерлігі «иә» немесе «жоқ» деген екі жауабы бар шешім 
қабылдау процесі сипаттамасы кезінде, екілік жүйенің келесі бӛлімдерінде 
кӛрсетілетін екілік санау жүйесі бойынша ақпаратты техникада 
қолданылады. Ақпарат анық емес ӛсу шегімен, сол сияқты ӛседі және мүмкін 
емес оқиға үшін шексіздікке ұмтылады. Сонымен, ақпарат алдында 
келтірілген барлық тұжырымдарға сәйкес келеді және 1–3 аксиомаларды 
қанағаттандырады. Ақпарат теориясы тұрғысынан қарағанда, ақпаратты 
анықтауды, кейбір оқиғалардың бейнеленуі ретінде қарастыруға болады. 
Ақпарат кӛзін ӛзіне меншікті орташа Х ансамблінің бір символы 
болатын, яғни жеке оқиғаларда математикалық күтімі кӛмегімен ақпараттың 
санын сипаттағаны жайлы. Егер p
i
= p(x
i
) болса, 
(2.14) 
Бұл ӛзіне меншікті орташа ақпарат саны және энтропия деп те аталған. 
Клод Шеннон (2.14) ӛлшемді 1948 жылы жарық кӛрген фундаментальды 
«Математические основы теории связи» жұмысында ұсынды. К.Шеннон 
энтропияны Ақпарат кӛзінің анықталмағандығы деп анықтады. 
Энтропияны 
Ақпарат 
кӛзінің 
жағдайына 
байланысты 
анықталмағандықты, толық жою кезінде алынатын ақпарат мӛлшерінің саны 
ретінде қарастыруға болады. Ақпарат кӛзі жағдайларының тең ықтималды 
кезінде Шеннон формуласы мына түрде болады: 
H(N) = log N. 

Энтропия сӛзі (грек тілінен «энтропе» – «қарату») білім салаларында 
таралған. Ал Больцман, физикалық жүйенің энтропиясын келесі түрде 
анықтаған: 
мұндағы Mn – берілген кеңістіктегі молекулалардың саны, m
i
– v
i
+∆v
жылдамдықты молекулардың саны. 
Ал, v
i
+∆v жылдамдықты молекулардың ықтималдығы 
болса, онда 
(2.14) формуласы былай жазылады: