Ы., Баймұсаева А. Б. Информатиканың теориялық негіздері
жүктеу/скачать 1,94 Mb.
|
2.3 Ақпаратты өлшеуАқпаратты тарату және түрлендіру теориясындағы маңызды мәселе - ақпараттың өлшемін, мөлшерін, сапасын анықтау.Ақпараттық өлшемдер әдетте, үш тұрғыда: құрылымдық, статистикалық және семантикалық тұрғыда қарастырылады. Құрылымдық тұрғыда ақпарат жиымдардың құрылымы және оларды жәй ғана ақпараттық элементтерді қарапайым есептеу немесе комбинаторлық әдістер арқылы өлшеу қарастырылады. Құрылымдық тәсіл ақпараттық жүйелердің мүмкіндіктерін оларды қолдану шарттарынан тәуелсіз бағалау үшін қолданылады. Статистикалық тәсілде энтропия ұғымы пайда болу ықтималдығын және қандай да бір хабардың ақпаратталғандығын ескеретін анықталмағандық өлшемі ретінде пайдаланылады. Семантикалық тәсіл ақпараттық хабардың пайдалылығын немесе құндылығын айқындауға мүмкіндік береді. Құрылымдық өлшем. Ақпарат әрқашанда хабар түрінде беріледі. Хабардың элементар бірлігі- таңба. Топтарға жиналған таңбалар - сөздер. Сөздер немесе жеке таңбалар түрінде түзілген хабар әрдайым оның материалдық - энергетикалық (электрлік, жарықтық, дыбыстық сигналдар және т.т.) түрде беріледі.Құрылымдық өлшемді пайдаланған кезде хабардың тек дискретті құрылымы ғана, ондағы ақпараттық элементтер саны, олардың арасындағы байланыстар ескеріледі. Құрылымдық тәсілде ақпарат өлшемдері геометриялық, комбинаторлық және қосылымды болып ажыратылады. Геометриялық өлшем дискреттік бірлікпен ақпараттық хабардың геометриялық моделінің параметрін (ұзындығын, ауданын, көлемін және т.т.) өлшеуді қарастырады. Мысалы, ұзындығы бірге тең сызық (6, а- 0 және1 мәнді қабылдайтын бір разрядты сөз), квадрат (6, б- екі разрядты сөз) немесе куб (6, в- үш разрядты сөз) ақпараттың геометриялық моделі бола алады. Берілген құрылымдардағы мүмкін болатын ақпараттың ең үлкен мөлшері барлық өлшемдері бойынша дискретті мәндердің қосындысы ретінде модельдің ақпараттық сыйымдылығын анықтайды. Комбинаторлық өлшемде ақпарат мөлшері элементтер (таңбалар) комбинациясының саны ретінде анықталады. Ақпараттың мүмкін мөлшері элементтерді теру, ауыстыру және орналастырудың мүмкін санымен бірдей болады. 1-ден ғана тұратын сөздердегі таңбаларды тіркестіру сөздің мәнін өзгертеді. 100110 және 001101, 011101 және 111010 - сөздерінің қос жұбын қарастырайық. Олардың шеткі разрядтары ауыстырылған. Сурет 6. Ақпараттың геометриялық моделі Қосылымдық өлшемге (Хартли өлшемі) сәйкес ақпарат саны екілік бірлікпен- битпен- өлшенеді. Ол барынша кең таралған. Санның q тереңдігі мен n ұзындығы ұғымдары енгізіледі. Санның q тереңдігі - ақпаратты өрнектеу үшін қабылданған таңбалар (элементтер) саны. Уақыттың әрбір мезетінде тек қандай да бір жалғыз таңба іске асырылады. Санның n ұзындығы- берілген шама сандарын өрнектеу үшін қажетті және жеткілікті позициялар саны. Санның берілген тереңдігіндегі және ұзындығындағы сандар мөлшерін N=арқылы өрнектеуге болады. Ақпараттық сыйымдылықты бағалау үшін N шамасы қолайсыз. Ақпарат мөлшерін есептеуге мүмкіндік беретін логарифмдік өлшемді – битті - енгізейік: (1) Демек, 1 бит ақпарат болатын немесе болмайтын бір элементарлық оқиғаға сәйкес келеді. Мұндай ақпарат мөлшерінің өлшемі амалдарды сандарға қолданғандай, өлшемдерге де қолдануға мүмкіндік беретінімен ыңғайлы. Бұл жерде ақпарат мөлшері () немесе 1 екілік таңбалар санына пара-пар. Бірнеше ақпарат көзі бар болған жағдайда ақпараттың жалпы мөлшері (2) мұндағы, - k көзіндегі ақпарат мөлшері. Ақпараттың логарифмдік өлшемі ақпарат мөлшерін өлшеуге мүмкіндік береді және іс жүзінде қолданылады. Статистикалық өлшем. Ақпараттың статистикалық теориясында оқиғаның өзі емес, ол жайындағы ақпарат қарастырылатын ақпарат мөлшерінің жалпы өлшемі енгізіледі. Бұл мәселе К.Шеннонның «Ақпараттар теориясы бойынша таңдамалы еңбектер» атты жұмысында тереңінен қарастырылған. Егер пайда болу ықтималдығы бірге жақын жиі кездесетін оқиға жайында хабар пайда болса, онда қабылдаушы үшін мұндай хабарда ақпарат аз. Пайда болу ықтималдығы нөлге жақын оқиғалар жайындағы хабарларда да ақпарат аз.Оқиғаны мүмкін болатын қандай да бір тәжірибенің нәтижесі деп қарауға болады және осы тәжірибенің барлық нәтижелері ансамбль (жарасымдылық) немесе оқиғалардың толық тобын құрайды. К.Шеннон тәжірибе кезінде пайда болатын, жағдайы анықталмағандық ұғымын енгізіп, оны энтропия деп атады. Ансамбль энтропиясы бұл оның анықталмағандығының, демек тәжірибенің әрбір мүмкін нәтижесі ықтималдары жиынының орташа функциясы сияқты сан өрнектелетін ақпараттылығының сан өлшемі. Тәжірибенің мүмкін N нәтижесі бар болсын, оның ішінде k түрлі типтер болсын да, ал i- ші нәтиже ni рет қайталанып, мөлшері Ii сияқты бағаланатын ақпарат енгізілсін. Сонда, бір тәжірибемен жеткізілетін орташа ақпарат (3) Бірақ, әрбір нәтижеде ақпарат мөлшері оның pi ықтималдығымен байланысты және секілді екілік бірліктермен (битпен) өрнектеледі. Сонда (4) (4) өрнегін сондай-ақ келесі түрде жазуға болады (5) Бірақ ni/N қатынастары нәтиже қайталануы жиілігін береді, демек олардың ықтималымен алмастырылуы мүмкін: , сондықтан биттік орташа ақпарат немесе (6) Алынған шама энтропия деп аталады және әдетте H әрпімен белгіленеді. Энтропия келесі қасиеттерге ие: Әрқашанда теріс емес, себебі ықтималдар бірден артпайтын шамалармен, ал олардың логарифмдері теріс сандармен немесе нөлмен өрнектелетіндіктен, (6) қосындысының мүшелері теріс емес. pi мәндерінің біреуі бірге тең, ал қалғанының барлығы нөлге тең болған жағдайда энтропия нөлге тең болады. Бұл тәжірибе жайында немесе шама жайында алдын ала бәрі белгілі және нәтижесі жаңа ақпарат бермейтін жағдай. Барлық ықтималдары өзара тең болған кезде энтропия ең үлкен мәнді қабылдайды: Бұл жағдайда A және B қалыптарының бірге іске асырылуы негізінде құрылатын AB нысанының энтропияларының қосындысына тең, яғни H(AB)=H(A)+H(B) Егер барлық оқиғалар тең ықтималды және статистикалық тәуелсіз болса, онда Хартли мен Шеннон бойынша ақпарат мөлшері бірдей болады. Бұл жүйенің ақпараттық сыйымдылығының толық пайдаланылғандығын куәландырады. Тең емес ықтималдар жағдайында Шеннон бойынша ақпарат мөлшері жүйенің ақпараттық сыйымдылығынан кіші болады. Энтропия p=0,5 екі қалып тең ықтимал болған жағдайда ең үлкен мәнге ие болады. Ықтималдығы p=0 немесе p=1 болған оқиғаның толық мүмкін еместігі немесе толық шындығы жағдайында энтропия нөлге тең болады. Жағдайдың анықталмағандығы толығымен шешілген кезде ғана ақпарат мөлшері энтропияға тең болады. Жалпы жағдайда, тәжірибе немесе қандай да бір басқа таным актісі салдарынан энтропияның азаюын ақпарат мөлшері деп есептеу керек. Егер анықталмағандық толығымен алынып тасталса, онда ақпарат энтропияға тең болады: I=H. Толық шешілмеген жағдайда, бастапқы және соңғы энтропияның арасындағы айырым болып табылатын бірең-сараң ақпарат болады: . Ақпараттың ең үлкен мөлшері, анықталмағандық толығымен шешілген кезде, және осы анықталмағандық ең үлкен - барлық оқиғалардың ықтималдығы бірдей болғанда алынады. Бұл Хартли өлшемімен бағаланатын I1 сәйкес келеді:, мұндағы N- оқиғалар саны, p - оқиғалардың бірдей ықтималды жағдайында оларды іске асыру ықтималы. Сонымен, Ақпараттың абсолют молшылығы ақпараттың ең үлкен мүмкін мөлшері мен энтропия арасындағы айырымнан тұрады: немесе . Сондай-ақ салыстырмалы молшылық ұғымы да пайдаланылады (7) Семантикалық өлшем. Есептеуіш машиналар әртүрлі мазмұндағы сандық мәліметтерден, ән және тақпақ жазуға дейінгі ақпаратты өңдеп түрлендіреді. Осы ақпараттың бәрі сәйкес таңбалармен бейнеленеді. Әртүрлі сипаттағы ақпараттың мазмұнын бағалау- өте күрделі мәселе.Семантикалық өлшем арасында ең көп таралғаны- ақпараттың мазмұндылығы, логикалық мөлшері, мақсаттылығы және маңыздылығы. i оқиғасының мазмұндылығы m(i) өлшем функциясы- оқиғаның терістеу мазмұндылығы арқылы өрнектеледі. Мазмұндылықты бағалау m(i) ақиқат және m(i) жалған логикалық функциялары, ықтималдар теориясындағы оқиға мен қарсы оқиғаның p(i), q(i) ықтимал функцияларына тұлғалық ұқсастығы бар математикалық логикаға негізделген. Ықтимал сияқты, оқиғаның мазмұндылығы да шекті өзгереді. Ақпараттың статистикалық мөлшеріне ұқсас ақпараттың логикалық мөлшері мына өрнек бойынша есептеледі: Статистикалық бағаның логикалықтан айырмашылығы, бірінші жағдайда, ақпарат мағынасының бағасына жақындататын қандай да бір оқиғаларды іске асыру ықтималдары ескеріледі. Егер ақпарат басқару жүйелерінде пайдаланылатын болса, онда оның пайдалылығын басқару нәтижесіне тигізетін әсері бойынша бағалаған жөн. Ақпараттың лайықтылық өлшемі қосымша ақпаратты алудағы мақсатқа жету ықтималының өзгеруі ретінде анықталады. Алынған ақпарат бос болуы, яғни мақсатқа жету ықтималын өзгертпеуі мүмкін және бұл жағдайда оның өлшемі нөлге тең болады. Басқа жағдайларда алынған ақпарат істің жайын нашарлатып жіберу, яғни мақсатқа жету ықтималын азайтуы мүмкін және онда ол ақпарат мөлшерінің теріс мәнімен өлшенетін жалған хабар болады. Ақыры, қолайлы жағдайда мақсатқа жету ықтималын арттырып, ақпарат мөлшері оң шамамен өлшенетін сапалы ақпарат алынады. Лайықтылық өлшемі жалпы түрде келесі қатынас түрінде аналитикалық өрнектелуі мүмкін (8) мұндағы p0 және p1- мақсатқа жетудегі бастапқы (ақпаратты алғанға дейін) және соңғы (ақпаратты алғаннан кейін) ықтималдар. Оқиғаның өзінің маңыздылығын айыра білу керек; оқиғаның болған немесе оны бақылау мезгілінің (ерте-кеш-мезет) маңыздылығы; оқиға болғандығы координатының маңыздылығы. Қандай да бір Х параметрінің өлшемін х шамасының бірнеше функцияларымен: p(x) ықтималымен, ԑ(x) өлшеу қателігімен және c(x) маңыздылығымен сипаттауға болады. Осы функциялардың әрқайсысына ақпараттың белгілі өлшемін сәйкес қоюға да болады. Хартли өлшемімен ықтимал (p=const) және маңыздылық (c=const) функцияларының тұрақты мәндерінде ԑ қателік функциясы бағаланады. Шеннон өлшемімен қателік (ԑ=const) және маңыздылық (c=const) функцияларының бекітілген мәндерінде (p=var) ықтималдық функциясы бағаланады. Маңыздылық өлшемі тұрақты қателік (ԑ=const) пен ықтимал (p=const) функциялары жағдайына жатады. Маңыздылық функциясын енгізуге болады: cx, х-тен тәуелді; cT,cN, T уақытынан және N кеңістігінен (арна) тәуелді. жүктеу/скачать 1,94 Mb. Достарыңызбен бөлісу:
|