Для оценки количества информации, содержащейся в оценке очередного ученика, можно воспользоваться понятием информационной энтропии, предложенным Клодом Шенноном. Этот подход позволяет измерять количество информации в сообщении в зависимости от вероятности его появления.
Допустим, у нас есть класс, в котором ученики получают оценки за контрольную работу. Пусть возможные оценки представлены как множество дискретных значений: "отлично", "хорошо", "удовлетворительно", "неудовлетворительно". Каждой из этих оценок можно присвоить вероятность, основанную на статистике успеваемости данного класса. Например:
- "отлично" — 20% вероятности,
- "хорошо" — 30% вероятности,
- "удовлетворительно" — 30% вероятности,
- "неудовлетворительно" — 20% вероятности.
Информационная энтропия H для этой системы оценивается по формуле:
[ H = -\sum_{i=1}^{n} P(x_i) \log_2 P(x_i) ]
где ( P(x_i) ) — вероятность получения оценки ( x_i ).
Подставим наши вероятности в формулу:
[ H = -(0.2 \log_2 0.2 + 0.3 \log_2 0.3 + 0.3 \log_2 0.3 + 0.2 \log_2 0.2) ]
Вычисляя, получаем:
[ H = -(0.2 \times -2.32 + 0.3 \times -1.74 + 0.3 \times -1.74 + 0.2 \times -2.32) ]
[ H \approx 1.97 ]
Энтропия в 1.97 бита означает, что каждое новое сообщение об оценке ученика содержит в среднем 1.97 бита информации. Это количество информации зависит от неопределенности в распределении оценок: чем равномернее распределены вероятности, тем больше энтропия и, соответственно, больше информации содержит сообщение об оценке.
Таким образом, количество информации об оценке очередного ученика зависит от вероятностей получения различных оценок. В случае более равномерного распределения вероятностей, каждое сообщение будет содержать больше информации, так как неопределенность выше.