Ақпараттар теориясы

Энтропия — тәуелсіз хабарламалардан тұратын ақпарат көзінің элементар хабарламасына сәйкес ақпарат саны. Ақпараттық энтропия

жүктеу/скачать 277,5 Kb. бет 2/4 Дата 10.03.2023 өлшемі 277,5 Kb. #73071

Бұл бет үшін навигация:

• Х кездейсоқ шамалар

Энтропия — тәуелсіз хабарламалардан тұратын ақпарат көзінің элементар хабарламасына сәйкес ақпарат саны. Ақпараттық энтропия (ақпараттар теориясындағы энтропия) — ақпараттың анықсыздық немесе болжауға келмейтін шама, яғни қандай да бір алфавиттің символының пайда болуының анықсыздығы. Ақпараттың статистикалық өлшемінде (Шеннон өлшемі, 1947-1948жж) ақпарат кездейсоқ оқиға, ақпараттың көлемінде осы оқиғалардың ықтималдықтары қарастырылады. Оқиғалардың толық тобы ансамбль деп аталады. Ансамбльдердің энтропиясы оның анықсыздығының сандық өлшемін есептейді. Оқиғалардың ықтималдықтарының қосындысы 1-ге тең. Энтропия (эн-тропе) грек тілінен аударғанда айналдыру, түрлендіру деген мағынаны береді. Энтропия былай есептеледі: Энтропия - {Х, р(х)} ансамблінде анықталған I(x) кездейсоқ шаманың H(x) математикалық күтімі , яғни ол бір символға келетін ақпарат санының орта мәнін сипаттайды. Логарифм 2 негізді болса, онда ақпарат саны битпен, егер 10 негізді болса, онда дитпен, егер е=2,71828 негізді болса, онда нитпен, ал 3 негізді болса, онда титпен өлшенеді. Бұл формула Шеннон формуласы деп те аталады. 0 және 1 символдарын беретін тәуелсіз хабарламалар көзінің энтропиясын есептеу керек, егер ықтималдықтары p(0) = 3/4, p(1) = 1/4 тең болса. Решение: Мысалы. Екі дискретті шамалардың Х және Y ансамбльдері берілген. Энтропияларын салыстыру керек. Шешуі: Энтропия кездейсоқ шаманың нақты мәндерінен тәуелсіз, сондықтан Н(Х) = Н(Y) = - 4(0,25log0,25) = -4(1/4log1/4) = = log 4 = 2 бит Х кездейсоқ шамалар 0,5 0,7 0,9 0,3 Пайда болу ықтималдықтары 0,25 0,25 0,25 0,25 жүктеу/скачать 277,5 Kb. Достарыңызбен бөлісу: