Среднее количество информации

Компьютерные сети - курс лекций Гуманитарный факультет 
31 



Энтропия рассматривается как 
мера неопределенности
в поведении 
источника сообщений. Если символы являются взаимосвязанными
(
коррелированными
друг с другом), то используется понятие 
условной энтропии
, 
и в формуле Шеннона вместо вероятностей появления символов присутствуют 
условные
вероятности появления символа
a
j
после символа 
a
i
.
Из формулы 
Шеннона следует, что энтропия равна нулю, если с вероятностью 1 выбирается 
один и тот же символ; 
энтропия максимальна, если все символы независимы и 
равновероятны
. 
 
Коэффициент избыточности. 
Из-за корреляционных связей символов и 
неравновероятного их появления в реальных сообщениях снижается среднее 
количество информации, которое переносит один символ. Эти потери 
информации характеризуются 
коэффициентом избыточности
:
 
r = (
H
1 
– H
) / 
H
1
= 1 – 
H
/log 
m
, 
где 
H
1 
- максимальное количество информации, которое может 
переносить один символ,
H -
количество информации, которое переносит один 
символ в реальных сообщениях. Например, для европейских языков r ≥ 0,5. 
Наиболее часто основание логарифма в последней формуле принимается 
равным 2. При этом единицей количества информации является бит. Поэтому в 
случае двоичных источников информации один символ может переносить 
максимальное среднее количество информации, равное одному биту. 
Производительностью источника
сообщений 
называется 
среднее 
количество информации, выдаваемой источником в единицу времени

жүктеу/скачать 2,02 Mb.

Достарыңызбен бөлісу: