Структурные и статистические меры информации
жүктеу/скачать 49,95 Kb.
|
Лаб 1 структ и семант меры информации (1)
| Решение. В русском алфавите 33 буквы. Сократив его на две буквы (“ё” и “й”) и введя символ пробела, получаем число символов - 32. Используя формулу N = 2n получим
N = 32 = 25 Отсюда: n = 5 бит – количество информации каждого символа. Тогда информационный объем всего текста равен: I = 2000 · 5 = 10 000 бит В качестве основной характеристики сообщения теория информации принимает величину, называемую количеством информации. Для практического использования понятия информации необходимо научиться измерять количество информации. Количество информации – это количество сведений, содержащихся в том или ином информационном элементе (в символе кода или сообщении). Единица количества информации - двоичная цифра или бит. 1 бит - такое количество информации, которое содержит сообщение, уменьшающее неопределенность знаний в два раза. Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия. В 1948 г. Клод Шеннон предложил формулу для вычисления количества информации для событий с различными вероятностями. Если I - количество информации, N - количество возможных событий, рi - вероятности отдельных событий, то количество информации для событий с различными вероятностями можно определить по формуле: Максимального значения количество информации достигает при равновероятных событиях. При этом оно равно: При наличии независимых источников информации с N1 и N2 числом возможных сообщений I (N) = log N = log N1*N2 = log N1 + log N2, т.е. количество информации, приходящееся на одно сообщение, равно сумме количеств информации, которые были бы получены от двух независимых источников, взятых порознь. Клод Шеннон определил информацию, как снятую неопределенность. Точнее сказать, получение информации – это необходимое условие для снятия неопределенности. Неопределенность возникает в ситуации выбора. Величина, характеризующая количество неопределенности в теории информации обозначается символом H и имеет название энтропия. Энтропия (H) – мера неопределенности, выраженная в битах. Количество информации I и энтропия H характеризуют одну и ту же ситуацию, но с качественно противоположенных сторон. I – это количество информации, которое требуется для снятия неопределенности H. Когда неопределенность снята полностью, количество полученной информации I равно изначально существовавшей неопределенности H. Поэтому в формулах для расчета энтропии H, когда речь идет о полном снятии неопределенности, можно H поменять на I. Расчет энтропии в этом случае производится по формуле Шеннона Пример. Пусть в некотором учреждении состав работников распределяется так: три женщины, один мужчина. Тогда неопределенность относительно того, кого вы встретите первым, зайдя в учреждение, будет рассчитана следующим рядом действий.
В результате получим энтропию H = 0.31+0.5 = 0.81 бит. жүктеу/скачать 49,95 Kb. Достарыңызбен бөлісу:
|