Место и роль локальных сетей


Среднее количество информации



Pdf көрінісі
бет23/118
Дата27.11.2023
өлшемі2,02 Mb.
#128648
1   ...   19   20   21   22   23   24   25   26   ...   118
Байланысты:
umk seti chast 1

Среднее количество информации 
H (A)
, которое приходится на один символ источника сообщений, 
называется 
энтропией 
дискретного источника
и находится усреднением по 
всему объему алфавита



H(A) = - ∑
P(a
i
)
log 
P(a
i
)
- формула Шеннона. 
I=1


Компьютерные сети - курс лекций Гуманитарный факультет 
31 



Энтропия рассматривается как 
мера неопределенности
в поведении 
источника сообщений. Если символы являются взаимосвязанными
(
коррелированными
друг с другом), то используется понятие 
условной энтропии

и в формуле Шеннона вместо вероятностей появления символов присутствуют 
условные
вероятности появления символа
a
j
после символа 
a
i
.
Из формулы 
Шеннона следует, что энтропия равна нулю, если с вероятностью 1 выбирается 
один и тот же символ; 
энтропия максимальна, если все символы независимы и 
равновероятны

 
Коэффициент избыточности. 
Из-за корреляционных связей символов и 
неравновероятного их появления в реальных сообщениях снижается среднее 
количество информации, которое переносит один символ. Эти потери 
информации характеризуются 
коэффициентом избыточности
:
 
r = (
H

– H
) / 
H
1
= 1 – 
H
/log 
m

где 
H

- максимальное количество информации, которое может 
переносить один символ,
H -
количество информации, которое переносит один 
символ в реальных сообщениях. Например, для европейских языков r ≥ 0,5. 
Наиболее часто основание логарифма в последней формуле принимается 
равным 2. При этом единицей количества информации является бит. Поэтому в 
случае двоичных источников информации один символ может переносить 
максимальное среднее количество информации, равное одному биту. 
Производительностью источника
сообщений 
называется 
среднее 
количество информации, выдаваемой источником в единицу времени


Достарыңызбен бөлісу:
1   ...   19   20   21   22   23   24   25   26   ...   118




©emirsaba.org 2024
әкімшілігінің қараңыз

    Басты бет