На остановке останавливаются автобусы с разными номерами. Сообщение о том, что к остановке подошел автобус с номером N1 несёт 4 бита информации. Вероятность появления на остановке автобуса с номером N2 в два раза меньше, чем вероятность появления автобуса с номером N1. Сколько информации несёт сообщение о появлении на остановке автобуса с номером N2 ?
Для ответа на вопрос воспользуемся концепцией количества информации, которое определяется с помощью энтропии по формуле Шеннона:
[ I = -\log_2(p) ]
где ( p ) – вероятность события, а ( I ) – количество информации в битах, которое несёт сообщение о наступлении этого события.
Из условия задачи известно, что сообщение о том, что к остановке подошел автобус с номером N1 несёт 4 бита информации. По формуле Шеннона:
[ 4 = -\log_2(p_1) ]
где ( p_1 ) – вероятность прибытия автобуса с номером N1. Отсюда можно найти ( p_1 ):
[ p_1 = 2^{-4} = \frac{1}{16} ]
Далее, по условию, вероятность появления на остановке автобуса с номером N2 в два раза меньше, чем вероятность появления автобуса с номером N1. Таким образом:
[ p_2 = \frac{p_1}{2} = \frac{1}{32} ]
Теперь рассчитаем количество информации, которое несёт сообщение о появлении автобуса с номером N2:
[ I_2 = -\log_2(p_2) = -\log_2\left(\frac{1}{32}\right) = 5 ]
Таким образом, сообщение о том, что к остановке подошел автобус с номером N2, несёт 5 бит информации. Это объясняется тем, что меньшая вероятность события соответствует большему количеству информации, поскольку событие более неожиданно.
Для начала определим вероятность появления автобуса с номером N1 как p(N1) = 2p(N2), где p(N2) - вероятность появления автобуса с номером N2. Таким образом, сумма вероятностей появления автобусов с номерами N1 и N2 равна 1 (p(N1) + p(N2) = 1).
Так как сообщение о появлении автобуса с номером N1 несёт 4 бита информации, то мы можем выразить количество информации, несёмое сообщением о появлении на остановке автобуса с номером N1, как I(N1) = -log2(p(N1)) = -log2(2p(N2)) = -log2(2) - log2(p(N2)) = 1 - log2(p(N2)) бит.
Аналогично, количество информации, несёмое сообщением о появлении на остановке автобуса с номером N2, равно I(N2) = -log2(p(N2)) бит.
Теперь нам нужно найти значение p(N2), для этого воспользуемся уравнением p(N1) + p(N2) = 1: 2p(N2) + p(N2) = 1 3p(N2) = 1 p(N2) = 1/3
Таким образом, количество информации, несёмое сообщением о появлении на остановке автобуса с номером N2, равно I(N2) = -log2(1/3) = log2(3) ≈ 1.585 бит.
Итак, сообщение о появлении на остановке автобуса с номером N2 несёт около 1.585 бит информации.
Сообщение о появлении на остановке автобуса с номером N2 несет 3 бита информации.
