Типовые задачи
Задача 1. Построить код Хаффмена для ансамбля сообщений {xi}, i=1..5 с вероятностями
Px ( 0.2 0.2 0.2 0.2 0.2 ) .
Определить характеристики эффективного кода.
Ответ. Таблица кодирования
Сообщения x1 x2 x3 x4 x5
Код 10 01 00 110 111
Средняя длина кодового слова в битах n cp = 2.4 bit.
Минимально возможная средняя длина кодового слова n cp.min = 2.322 bit.
Избыточность кода R = 0.033 .
Задача 2. Построить код Хаффмена для ансамбля сообщений {xi}, i=1..8 с вероятностями
Px 1/4 1/ 4 1 / 8 1 / 8 1 / 16 1 / 16 1 / 16 1/ 16
.Определить характеристики кода.
Ответ. Таблица кодирования
Сообщения x1 x2 x3 x4 x5 x6 x7 x8
Код 01 10 000 001 1100 1101 1110 1111
Средняя длина кодового слова в битах n cp = 2.75 bit.
Минимально возможная средняя длина кодового слова n cp.min = 2.75 bit.
Избыточность кода R = 0 .
Задача 3. Ансамбль сообщений {xi}, i=1..5 задан вектор-строкой вероятностей
Px 1 / 2 1 / 4 1 / 8 1 / 16 1 / 16
.
Закодировать сообщения эффективным кодом Хаффмена и обычным двоичным кодом.
Определить характеристики кодов и скорость передачи по каналу при условии, что длительность двоичного символа
τ 0 0.01.sec .bit 1.
Ответ. Таблица кодирования
Сообщения x1 x2 x3 x4 x5
Эффективный код 0 10 110 1110 1111
Обычный код 001 010 011 100 101
Источник генерирует знак z1 с вероятностью 0.8 и z2 с вероятностью 0.2. Какова энтропия источника?
Символы азбуки Морзе могут появиться в сообщении с вероятностями: для точки - 0.51, для тире - 0.31, для промежутка между буквами - 0.12, между словами - 0.06. Определить среднее количество информации в сообщении из 500 символов данного алфавита, считая, что связь между последовательными символами отсутствует.
Найти число значений m случайной величины Y, все значения которой одинаково вероятны, при котором энтропия Y будет равна энтропии случайной величины X. вероятности значений которой заданы таблицей:
xj
|
x1
|
x2
|
x3
|
x4
|
x5
|
x6
|
x7
|
x8
|
p(xj)
|
1/2
|
1/4
|
1/8
|
1/16
|
1/32
|
1/64
|
1/128
|
1/128
|
Бросаются одновременно две игральные кости. Определить количество информации, содержащееся в сообщении о том, что произведение числа выпавших очков четно.
Два стрелка, для которых вероятности попадания в мишень равны соответственно 0.6 и 0.7, производят по одному выстрелу. В результате оказалось, что мишень поражена. Какое количество информации содержится в этом сообщении?
Источник генерирует знак z1 с вероятностью 0.8 и Z2 с вероятностью 0.2. Постройте эффективные коды Шенона-Фано и Хаффмана для последовательности из трех знаков zi, zj, zk. Каково среднее число символов на знак? Сравните с энтропией источника.
Построить коды Шеннона-Фэно и Хаффмана для с.д.в. вероятности значений которой заданы таблицей:
xj
|
x1
|
x2
|
x3
|
x4
|
x5
|
x6
|
x7
|
x8
|
p(xj)
|
1/2
|
1/4
|
1/8
|
1/16
|
1/32
|
1/64
|
1/128
|
1/128
|
Оценить оптимальность построенных кодов
Метод Шеннона-Фэно
Метод Хаффмена
Задания
Достарыңызбен бөлісу: |