Задание №2. Исследование тракта кодер-декодер источника.
K- размер алфавита источника; - символ на выходе источника.
Номер i |
Символ ai |
Вероятность p(ai) |
0 |
а |
0,248 |
1 |
б |
0,01 |
2 |
в |
0,057 |
3 |
г |
0,0081 |
4 |
д |
0,016 |
5 |
е |
0,02 |
6 |
з |
0,002 |
7 |
и |
0,135 |
8 |
к |
0,07 |
9 |
л |
0,04 |
10 |
м |
0,166 |
11 |
н |
0,012 |
12 |
о |
0,008 |
13 |
п |
0,006 |
14 |
р |
0,2 |
15 |
с |
0,0019 |
1)Посчитаем энтропию источника:
Энтропия – это средняя информативность источника на символ, определяющая “неожиданность” или “непредсказуемость” выдаваемых им сообщений.
Избыточность:
Производительность источника:
2.Производится примитивное двоичное кодирование.
Минимально необходимое число разрядов кодового слова:
kmin= log2K=log216=4 (символа).
Среднее количество двоичных символов
,приходящееся на один символ источника,
будет равно n, т.е k= =4 (т.к все символы представляются комбинациями с одинаковым числом разрядов).
3.Производится экономное кодирование символов источника двоичным кодом.
а |
p(ai) |
Выбор символов неравномерного кода |
|
Код |
ki |
ki0 |
ki1 |
||||||||
|
|
|
|
|
|
|
|
|
|
|
|
|
|||
а |
0,248 |
0 |
0 |
|
|
|
|
|
|
|
00 |
2 |
2 |
0 |
|
р |
0,2 |
0 |
1 |
|
|
|
|
|
|
|
01 |
2 |
1 |
1 |
|
м |
0,166 |
1 |
0 |
0 |
|
|
|
|
|
|
100 |
3 |
2 |
1 |
|
и |
0,135 |
1 |
0 |
1 |
|
|
|
|
|
|
101 |
3 |
1 |
2 |
|
к |
0,07 |
1 |
1 |
0 |
0 |
|
|
|
|
|
1100 |
4 |
2 |
2 |
|
в |
0,057 |
1 |
1 |
0 |
1 |
|
|
|
|
|
1101 |
4 |
1 |
3 |
|
л |
0,04 |
1 |
1 |
1 |
0 |
0 |
|
|
|
|
11100 |
5 |
2 |
3 |
|
е |
0,02 |
1 |
1 |
1 |
0 |
1 |
|
|
|
|
11101 |
5 |
1 |
4 |
|
д |
0,016 |
1 |
1 |
1 |
1 |
0 |
0 |
|
|
|
111100 |
6 |
2 |
4 |
|
н |
0,012 |
1 |
1 |
1 |
1 |
0 |
1 |
|
|
|
111101 |
6 |
1 |
5 |
|
б |
0,01 |
1 |
1 |
1 |
1 |
1 |
0 |
0 |
|
|
1111100 |
7 |
2 |
5 |
|
г |
0,0081 |
1 |
1 |
1 |
1 |
1 |
0 |
1 |
|
|
1111101 |
7 |
1 |
6 |
|
о |
0,008 |
1 |
1 |
1 |
1 |
1 |
1 |
0 |
|
|
1111110 |
7 |
1 |
6 |
|
п |
0,006 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
0 |
|
11111110 |
8 |
1 |
7 |
|
з |
0,002 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
0 |
111111110 |
9 |
1 |
8 |
|
с |
0,0012 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
1 |
111111111 |
9 |
0 |
9 |
|
(код
двоичный)
Среднее количество двоичных символов, приходящееся на один символ источника:
[код/симв]
Энтропия на выходе кодера:
[бит/код.
символ].
Избыточность на выходе кодера:
Код Шеннона- Фано приблизил среднее
значение кодовой комбинации к энтропии
источника H(A)=3.016
[бит/символ]. Избыточность на выходе
кодера Н (V) меньше
избыточности источника.
Вывод: Примитивное кодирование применяется для согласования алфавита источника и алфавита канала. Отличительное свойство этого кодирования состоит в том, что избыточность дискретного источника, образованного выходом примитивного кодера, равна избыточности источника на входе кодера.
Экономное кодирование или сжатие данных применяется для уменьшения времени передачи информации или требуемого объёма памяти при её хранении. Отличительное свойство экономного кодирования состоит в том, что избыточность источника, образованного выходом кодера, меньше избыточности источника на входе кодера.