Что такое неопределенность знаний?

Неопределенность знаний о некотором событии - это количество возможных результатов события (бросания монеты, кубика; вытаскивание жребия). Вернемся к примеру с монетой. После того, как вы бросили монету и посмотрели на нее, вы получили зрительное сообщение, что выпал, например, орел. Произошло одно из двух возможных событий. Неопределенность знаний уменьшилась в два раза: было два варианта, остался один. Значит, узнав результат бросания монеты, вы получили один бит информации.