В ы с ш е е п р о ф е с с и о н а л ь н о е о б р а з о в а н и е информатика и программироВание осноВы информатики

17
Следовательно,  вероятность  выпадения  числа,  большего  3,  при
бросании кости:
Р
M
N
=
= =
3
6
1
2
.
Если
N  состояний  системы  не  равновероятны,  т. е.  система  на-
ходится в
i-м состоянии с вероятностью P
i
 и при этом все состояния
системы образуют полную группу событий, т. е. сумма вероятностей
равна 1:
P
i
i
N
=
∑
=
1
1,
то используются следующие формулы, предложенные Шенноном.
Для определения количества информации:
в одном (
•
i-м) состоянии системы
Н
P
i
= log
;
2
1
среднего количества информации во всех состояниях системы:
•
H
P
P
P
P
i
i
i
N
i
i
i
N
=
= -
=
=
∑
∑
log
log
.
2
1
2
1
1
Из приведенных выражений следует, что количество информации
максимально, если состояния системы равновероятны.
Пример 2.6. Вычислительная система может находиться в одном
из
N
= 3 состояний: «включено (простой)», «вычисление», «выключе-
но». Оператор получил сообщение о состоянии системы. Какое коли-
чество информации получил оператор? Рассмотреть два случая:
1) состояния системы равновероятны;
2) состояния системы не равновероятны; вероятность нахождения
системы в состоянии «включено (простой)»
P
1
= 0,3; состоянии «вы-
числение»
P
2
= 0,5; состоянии «выключено» P
3
= 0,2.
Р е ш е н и е. В первом случае используем формулу Хартли:
H
Х
= log
2
N
= log
2
3
= 1,58 бит.
Во втором случае используем формулу Шеннона:
Н
P
P
i
i
i
N
Ш
= -
= -
+
+
=
= - -
=
∑
log
( , log ,
, log ,
, log , )
(
2
1
2
2
2
0 3
0 3 0 5
0 5 0 2
0 2
00 52 0 5 0 46
1 48
,
,
, )
,
-
-
=
бит.

жүктеу/скачать 4,7 Mb.

Достарыңызбен бөлісу: