Чтобы понять, сколько информации несет сообщение о том, что из коробки достали красный карандаш, мы можем использовать концепцию информации из теории информации, разработанную Клодом Шенноном.
Определение информации
Информация, полученная из сообщения, может быть количественно оценена через количество возможных исходов. В нашем случае у нас есть 32 разноцветных карандаша, что означает, что существует 32 возможных исхода (то есть 32 разных карандаша, которые могут быть выбраны).
Вычисление информации
Количество информации, связанной с событием, можно выразить в битах. В общем случае количество информации (I) в битах для события с (n) равновероятными исходами определяется формулой:
[
I = \log_2(n)
]
где (n) — количество возможных исходов. В нашем случае, так как у нас 32 карандаша:
[
I = \log_2(32)
]
Зная, что (32 = 2^5), можно упростить:
[
I = \log_2(2^5) = 5 \text{ бит}
]
Интерпретация
Таким образом, сообщение о том, что из коробки достали красный карандаш, несет 5 бит информации. Это означает, что, зная, что был выбран красный карандаш, мы можем исключить 31 другой возможный исход (т.е. 31 другого карандаша). Это сообщение уменьшает неопределенность о том, какой именно карандаш был выбран, на 5 бит.
Заключение
Сообщение о том, что из коробки достали красный карандаш, несет 5 бит информации, так как оно позволяет нам однозначно идентифицировать один из 32 возможных исходов.