Задать вопрос
28 октября, 08:57

Источник генерирует знак x1 и x2 с вероятностями р (x1) = 0,33 и р (x2) = 0,67. Построить коды Шеннона - Фано и Хаффмана для для последовательности из трех знаков. Каково среднее число символов на знак? Сравнить с энтропией.

+3
Ответы (1)
  1. 28 октября, 11:46
    0
    Строить коды для алфавита из двух символов немного странно - и так понятно, что получатся 0 и 1, и все эти кодирования бессмысленны.

    Код Шеннона - Фано: делим знаки на две части, чтобы суммарные вероятности появления символов частей были максимально близки (тут в каждой части всего один символ - иначе никак). Одной приписываем 0, другой 1. На этом всё кончилось.

    Код Хаффмана: выбираем два символа с наименьшими вероятностями, у одного постфикс 0, у другого 1. Объединяем в одну вершину, и она осталась одна. Конец.

    В среднем 1 символ - 1 бит.

    Энтропия - ∑ p ㏒₂ p = - 0.33 log 0.33 - 0.67 log 0.67 = 0.915 бит на символ.

    Учитывая, что энтропия всегда не превосходит среднюю длину кода, тут сошлось.
Знаете ответ?
Сомневаетесь в ответе?
Найдите правильный ответ на вопрос ✅ «Источник генерирует знак x1 и x2 с вероятностями р (x1) = 0,33 и р (x2) = 0,67. Построить коды Шеннона - Фано и Хаффмана для для ...» по предмету 📘 Информатика, а если вы сомневаетесь в правильности ответов или ответ отсутствует, то попробуйте воспользоваться умным поиском на сайте и найти ответы на похожие вопросы.
Смотреть другие ответы