Информация воспринимается как снятая неопределенность.
Человеку в жизни приходится делать выбор между различными событиями. Минимально возможных варианта для выбора – два.
За минимальное количество информации взяли такое количество, которое позволяет выбрать один вариант из двух возможных. Соответствующую единицу измерения назвали битом.
Пример. Подброшенная вверх монета может упасть только «орлом» или «решкой» - два равновероятностных исхода.
Алфавитный подход
Информацией считается любая хранящаяся, обрабатываемая или передаваемая последовательность знаков, символов. Часто используют простой способ определения количества информации. Он основан на подсчете числа символов в сообщении, т. е. связан с его длиной и не учитывает содержание.
Алфавитный подход позволяет измерять информационный объем текста на некотором языке, не связанный с содержанием этого текста.
Алфавит – набор символов.
Мощность алфавита – количество символов в нем.
Информационный вес символа зависит от мощности алфавита.
Наименьшее число символов в алфавите – два.
Информационный вес символа двоичного алфавита принят за единицу информации и называется 1 бит.
Информационный вес каждого символа, выраженный в битах(b), и мощность алфавита(N) связаны между собой формулой: N=2b.
