Энтропия — тәуелсіз хабарламалардан тұратын ақпарат көзінің элементар хабарламасына сәйкес ақпарат саны.
Ақпараттық энтропия (ақпараттар теориясындағы энтропия) — ақпараттың анықсыздық немесе болжауға келмейтін шама, яғни қандай да бір алфавиттің символының пайда болуының анықсыздығы.
Ақпараттың статистикалық өлшемінде (Шеннон өлшемі, 1947-1948жж) ақпарат кездейсоқ оқиға, ақпараттың көлемінде осы оқиғалардың ықтималдықтары қарастырылады. Оқиғалардың толық тобы ансамбль деп аталады. Ансамбльдердің энтропиясы оның анықсыздығының сандық өлшемін есептейді. Оқиғалардың ықтималдықтарының қосындысы 1-ге тең.
Энтропия (эн-тропе) грек тілінен аударғанда айналдыру, түрлендіру деген мағынаны береді. Энтропия былай есептеледі:
Энтропия - {Х, р(х)} ансамблінде анықталған I(x) кездейсоқ шаманың H(x) математикалық күтімі , яғни ол бір символға келетін ақпарат санының орта мәнін сипаттайды.
Логарифм 2 негізді болса, онда ақпарат саны битпен, егер 10 негізді болса, онда дитпен, егер е=2,71828 негізді болса, онда нитпен, ал 3 негіздіболса, онда титпен өлшенеді.
Бұл формула Шеннон формуласы деп те аталады.
0 және 1 символдарын беретін тәуелсіз хабарламалар көзінің энтропиясын есептеу керек, егер ықтималдықтары p(0) = 3/4, p(1) = 1/4 тең болса.
Решение:
Мысалы. Екі дискретті шамалардың Х және Y ансамбльдері берілген. Энтропияларын салыстыру керек.
Шешуі: Энтропия кездейсоқ шаманың нақты мәндерінен тәуелсіз, сондықтан
