Основными информационными характеристиками источника
являются
:
количество информации в сообщениях,
избыточность сообщений,
энтропия ,
производительность источника сообщений,
скорость передачи информации.
Далее они рассматриваются для случая дискретных сообщений.
Приводимые формулы позволяют сравнивать и выбирать методы кодирования
информации на физическом уровне.
Количество информации в сообщениях. Если объем алфавита А составляет
m дискретных сообщений, каждое сообщение включает
n символов, тогда общее
количество дискретных символов составляет
N 0 = m n .
Количество информации в сообщениях такого источника принято определять формулой Хартли
: I = log
N 0 =
n log
m Из этой формулы следует, что
: - если алфавит имеет больший объем, то каждое отдельное
сообщение содержит больше информации
; - сообщения обладают свойством аддитивности.
Энтропия дискретного источника. Если сообщение состоит из одного
символа и вероятности появления всех символов равны P = 1/m, то среднее
количество информации, которое переносит символ, можно выразить как I
1
= log
m =
- log
P. В реальных сообщениях символы
a i
появляются с различными
вероятностями P (
a i
), поэтому I
i
= - log
P(a i ).
