Лекция 1 Ақпарат теориясы ақпараттық жүйелерді сипаттаудың сапалы және сандық әдістері негізі ретінде. Ақпаратты өлшеу
Дискретті және үздіксіз ақпаратты өлшеу үшін ықтималды жол
жүктеу/скачать 1,34 Mb.
|
| Дискретті және үздіксіз ақпаратты өлшеу үшін ықтималды жол.
Ақпарат теориясының негізінде Шеннон ұсынған, бір кездейсоқ шамада соған қатысты келесі кездейсоқ шама жататын ақпарат көлемін өлшеу тәсілі жатыр. Бұл тәсіл ақпарат көлемін санмен сипаттауға мүмкіндік береді. P(X=Xi)= pi, P(Y=Yj)= qj үлестірім заңымен және P(X=Xi, Y=Yj)= pij біріккен үлестірілімен берілген Х және Y кездейсоқ шамасы үшін, Y-ке қатысты Х-те жататын ақпарат көлемі мынаған тең: px(t1), py(t2) және pxy(t1,t2) ықтималдылығымен үлестірілген Х және Y үздіксіз кездесоқ шамасы үшін формула мына түрде болады: Көріп тұрғанымыздай , және бұдан, Ақпарат теориясында Х кездейсоқ шамасының энтропиясы мына формуламен анықталады. Энтропия және ақпарат амалдарының қасиеттері: Х және Y тәуелсіз; HX=0 X – тұрақты; мұндағы ; Егер онда X- Y функциясы. 1) теңдеуінің (х=1 болғанда теңдеу орнатылады) барлық х – терін логарифдесек, х-1 lnx немесе теңдеуі шығады. яғни, I(X,Y)=0, барлық i және j үшін болғанда, яғни X және Y тәуелсіз болғанда. Егер X және Y тәуелсіз болса, онда және логарифм аргументтері 1-ге тең , бұдан логарифмнің өзі 0-ге тең, бұл I(X,Y)=0 дегенді білдіреді; Аргументке қатысты формуланың симметриялығынан туындайды. Егер НХ=0, онда НХ-ті анықтайтын қосындының барлық мүшелері нөл болуы керек, бұл тек және тек қана Х тұрақты болғанда мүмкін болады; Берілген 4 байланыстан шығатыны 5) немесе HY- H(X,Y) 0, болатынын дәлелдеу керек. бірақ яғни барлық логарифмнің аргументтері 1-ден үлкен емес, бұдан логарифмнің мәні 0-ден үлкен емес, бұл барлық қосынды 0-ден үлкен емес дегенді білдіреді. Егер онда әрбір үшін - ға, не 0-ге тең. Бірақ -ден шығады, бұл тек Х функциясы Y-тен болғанда мүмкін екенін білдіреді. Х және Y кездейсоқ шамалары тәуелсіз болғанда, оның біреуі екіншісін сипаттамайды, бұл осындай кездейсоқ шама I(X,Y)=0 – да көрінді дегенді білдіреді. 2 ойын тасын лақтырғанда ақпарат көлемін есептеуді мысал ретінде қарастырайық. Х1, Х2 және Y кездейсоқ шамасы берілсін. Х1 және Х2 сәйкесінше бірінші және екінші ойын тасына түскен ұпай саны, ал Y= Х1+ Х2. Табу керек: І(Y,X1), I(X1,X1), I(Y,Y). Х1 және Х2 кездейсоқ шамасы үшін ықтималдылықты үлестіру заңы сәйкес келеді, себебі тастар бірдей және қателіксіз. яғни j=1…6 болғанда qj=P(X1=j)=1/6. Y кездейсоқ шамасы үшін ықтималды үлестіру заңы, бұдан, Х1 және Х2- тәуелсіз, сондықтан болады.
Y-ті анықтайтын кесте: яғни i= 2…12 болғанда . X1 және Y дискретті кездейсоқ шамасының ықтималдылықтарын бірге үлестіру заңы мысалы,
Бұл жағдайда шығатыны Сонда
Мұнда 0 I(X1,Y) есептеуіндегі белгіленген мүшесі 36-ның екі жағдайы туралы ақпаратқа сәйкес келеді, яғни Y=2 және Y=12, олар X1-ді бірдей анықтайды.Y=7 болғандағы 6 жағдай, X1 туралы еш ақпарат сақтамайды, бұған белгіленген мүшесі сәйкес келеді. Энтропия арқылы, ақпараттың төртінші қасиетін пайдалана отырып ақпарат көлемін есептеуге болады. Анықтама емес, 4-ші қасиетті қолдана отырып ақпарат көлемін есептеу аз есептеуді қажет етеді. Жай мысалды қарастырайық. Х дискретті кездейсоқ шамасы ойын тасында түскен ұпай санына тең болсын, ал Y дискретті кездейсоқ шамасы түскен ұпай санына тақ болса 0-ге және түскен ұпай саны жұп болса 1-ге тең болсын. І(X,Y) және I(Y,Y)-ті табу керек. Х және Y дискретті кездейсоқ шамасының ықтималдылықтарын үлестіру заңын құрамыз. Сол себепті i= 2…6 болғанда және сәйкесінше яғни j= 0…1 болғанда . Сонымен бірге осы дискретті кездейсоқ шамасының ықтималдылығының біріккен үлестіру заңын құрамыз. Осылайша, Түскен ұпай санының нақты көлемі жұптылық туралы дәл ақпарат береді, яғни 1 бит. І(X,Y)=I(Y,Y)=1 бит/сим және ақпараттың 3-ші қасиетінен туындайтыны, Х туралы ақпарат Y-тен толығымен асып түседі, бірақ керісінше емес, өйткені I(X,Y) I(X,X)= 1+ бит/сим. Шынымен, Y функционалды түрде Х-ке тәуелді, ал Х функционалды түрде Y- ке тәуелді емес. Энтропия арқылы есептеу келесі түрде болады. жүктеу/скачать 1,34 Mb. Достарыңызбен бөлісу:
|