Известно, что в ящике лежат 10 чёрных шаров, 5 белых, 4 жёлтых и 1 красный. Какое количество информации несут сообщения о том, что из ящика случайным образом достали чёрный шар, белый шар, жёлтый шар, красный шар?

Количество информации можно определить как - log2 (p), где p - вероятность данного события. Оно измеряется в битах.

Также можно использовать равносильное выражение log2 (1/p)

Вероятность взятия чёрного шара равна 10/20 = 0,5, белого - 4/20 = 0,2, жёлтого такая же - 0,2, красного - в 2 раза меньше - 0,1.

Значит, если мы взяли чёрный шар, мы получили кол-во информации log2 (1/0,5) = log2 (2) = 1 бит,

если белый, то log2 (1/0,2) = log2 (5) = 2,3219 бит

если жёлтый, то столько же 2,3219 бит

если красный, то log2 (1/0,1) = log2 (10) = 3,3219 бит

Чем меньше вероятность события, тем большее количество информации мы получаем, когда это событие наступает.