Чтобы определить объём информации, который содержится в сообщении, уменьшающем неопределённость знаний в 4 раза, можно воспользоваться концепцией энтропии из теории информации. Энтропия измеряет степень неопределённости или количество информации, необходимое для описания состояния системы.
Если исходная неопределённость системы составляет , то после получения сообщения, уменьшающего эту неопределённость в 4 раза, новая энтропия системы будет равна .
Объём информации , содержащийся в сообщении, можно рассчитать как разницу между исходной и новой энтропией:
Подставим в формулу:
Таким образом, объём информации, содержащийся в сообщении, равен от начальной неопределённости . Это значит, что информация, предоставленная сообщением, эквивалентна уменьшению неопределённости на 75% от её первоначального значения.