Вывод формулы Шеннона для случая двухсимвольного алфавита
<gooooogling result="http://otvet.mail.ru/question/41235829/">
Для вывода формулы Шеннона необходимо вычислить математическое ожидание «количества информации», содержащегося в цифре из источника информации.
Пусть мы имеем алфавит, состоящий из N символов, с частотной характеристикой P1 , P2 , .PN , где Pi - вероятность появления i – го символа. Все вероятности неотрицательны и их сумма равна 1. Тогда средний информационный вес символа (количество информации, содержащееся в символе) такого алфавита выражается формулой Шеннона: H = P1 log2 (1/ P1) + P2 log2 (1/ P2) + .+ PN log2 (1/ PN) где H – количество информации, N – количество возможных событий, Pi – вероятность отдельных событий
</gooooogling>
<собственные выводы>
Для двоичного кода методика сводится к следующему:
1. Буквы алфавита выписываются в основной столбец в порядке убывания
вероятностей.
2. Две последние буквы, с наименьшими вероятностями, объединяют в
одну и приписывают ей суммарную вероятность объединяемых букв.
3. Буквы алфавита сортируются заново.
4. Операции 1-3 повторяются.
Процесс повторяется до тех пор, пока не получим единственную букву с
вероятностью равной 1.
Таблица 1
|Комбин|Буквы |Вероятнос|Вспомогательные столбцы |
|ации | |ти | |
|1 |011 |010 |001 |00011 |00010 |00001 |00000|
Определим среднюю длину полученных комбинаций по формуле:
lср = k(p(а0)+...+ k(p(аК-1); где К - объем алфавита источника, к
- число повторений элемента в кодовом дереве, р(..) - вероятности
элементов.
Для полученного кода средняя длина комбинаций [pic]=1(p(Z0)+ 3(p(Z1)+
3(p(Z2)+ 3(p(Z3)+ 5(p(Z4)+5(p(Z5)+5(p(Z6)+5(p(Z7)=
0,729+(3(0,081)+(3(0,081)+(3(0,081)+(5(0,009)+(5(0,009)+(5(0,009)+(5(0,001)=
1,59(бит/элемент)
Эта средняя длина меньше 3Т, но фактически полученные комбинации
содержат информацию о трех элементарных сигналах, поэтому средняя длина
новых комбинаций в расчете на 1 букву первоначального двоичного кода
составляет: 1,59/3= 0,53. В результате средняя длительность полученных
комбинаций в расчете на 1 элементарную посылку Т' меньше
Т - заданной длительности элементарной посылки.
Средняя длительность полученных комбинаций будет равна:
Тэф= Нср(Т=0.53(5(10-6=2.65(10-6
Таким образом, средняя длина символа, после статического кодирования,
стала меньше.
Найдем производительность источника после кодирования :
Производительность источника при эффективном кодировании
Н'эф(А)= Н(А)/Т = 0.469 /2.65(10-6 = 176981.13 = 1.77(105 бит/с.
Полученное значение выше найденного ранее, то есть в результате применения
эффективного кодирования повышается производительность источника
</собственные выводы>
Схема вывода формулы Шеннона для общего случая
<wiki info>
Шеннон
определил, что измерение энтропии (
),
применяемое к источнику информации,
может определить требования к минимальной
пропускной способности канала, требуемой
для надёжной передачи информации в виде
закодированных двоичных чисел. Для
вывода формулы Шеннона необходимо
вычислить математическое
ожидание «количества
информации», содержащегося в цифре из
источника информации
</ wiki info >