Сообщение о том, что произошло одно из четырёх равновероятных событий, несёт информации

По формуле Шеннона - x = log2 (1/p), где p - вероятность события, x - количество бит информации, необходимое для кодирования.

Так как количество событий 4, то p = 1/4.

Тогда x = log2 (1 / (1/4)) = log2 (4) = 2.

Получаем x = 2 бита.

Ответ: 2 бита.

Энтропия системы H=-∑Pi*log_2 (Pi)

В нашем случае i=4, P1=P2=P3=P4=1/4, и тогда H=-4*1/4*log_2 (1/4) = - (-2) = 2 дв. ед.

Значит, при выяснении состояния системы получена информация 2 дв. ед., или 2 бита.

Ответ: 2 бита.