- •Д.Е. Турчин
- •Лабораторный практикум
- •Кемерово 2013
- •Описание лабораторного практикума
- •1.2.2. Понятие кода и кодирования. Моделирование дискретных источников сообщений без памяти
- •1.3. Порядок выполнения работы
- •1.4. Контрольные вопросы
- •Марковские источники сообщений.
- •Эффективность, избыточность и производительность источника сообщений.
- •Кодовые деревья и префиксные коды.
- •2.3. Порядок выполнения работы
- •2.4. Контрольные вопросы
- •3.2.2. Пропускная способность дискретного канала связи. Кодеры и декодеры канала связи. Код с битом четности Пропускная способность дискретного канала связи.
- •Кодер и декодер канала связи. Код с битом четности.
- •3.3. Порядок выполнения работы
- •3.4. Контрольные вопросы
- •Метод Шеннона-Фано.
- •4.2.2. Методы кодирования источников сообщений по Хаффману Кодирование дискретного источника сообщений без памяти по Хаффману.
- •4.3. Порядок выполнения работы
- •4.4. Контрольные вопросы
- •Декодирование арифметического кода.
- •5.2.2. Метод адаптивного арифметического кодирования и его программная реализация
- •5.3. Порядок выполнения работы
- •5.4. Контрольные вопросы
- •6. Сжатие информации методами Лемпела-Зива
- •6.1. Цель работы
- •6.2. Основные теоретические сведения
- •Код Хэмминга.
- •7.2.2. Расширенный код Хэмминга. Программная реализация кода Хэмминга Расширенный код Хэмминга.
- •7.3. Порядок выполнения работы
- •7.5. Контрольные вопросы
- •8. Построение и декодирование линейных блоковых кодов
- •8.1. Цель работы
- •8.2. Основные теоретические сведения
- •8.3. Порядок выполнения работы
- •8.4. Контрольные вопросы
- •Приложение п.1. Понятие события и его вероятности. Теоремы сложения и умножения вероятностей Понятие события и вероятности события. Непосредственный подсчет вероятностей.
- •Теорема сложения вероятностей.
- •Теорема умножения вероятностей.
- •П.2. Данные для расчета энтропии и количества информации
- •П.3. Матрицы и операции над ними п.4. Многочлены и операции над ними
- •П.5. Вопросы к экзамену
2.3. Порядок выполнения работы
Данная лабораторная работа предполагает выполнение следующих этапов:
Изучить методические указания к практической работе.
Разработать компьютерную модель дискретного источника сообщений S с памятью 1-го порядка. Матрица переходных вероятностей, описывающая данный источник, приведена в табл. 2.1. В качестве основы для построения модели рекомендуется взять программный код, полученный в работе №1.
С помощью разработанной модели источника S произвести вычислительный эксперимент c целью нахождения стационарных вероятностей. Для этого в приложении требуется задать достаточно большую длину сообщения (например, несколько десятков тысяч символов).
Определить условную энтропию марковского источника сообщений S на основе данных из табл. 2.1 (переходные вероятности) и результатов моделирования (стационарные вероятности состояний).
Для марковского источника S определить частные избыточности, вызванные наличием связи между символами Rp и неэкстремальным распределением символов Rφ. На основе частных избыточностей найти общую информационную избыточность R источника сообщений.
Определить условную энтропию H(U | S) источника U, состояния которого статистически связаны с состояниями марковского источника S. Связь состояний задана матрицей переходных вероятностей (таблица 2.1). Кроме того, требуется определить энтропию объединения H(U, S) двух источников U и S.
* Разработать компьютерную модель источника сообщений U, зависимого от марковского источника S.
* Разработать модель кодера источника U. Для работы кодера необходимо использовать двоичный префиксный код. Комбинации этого кода можно задать с помощью двоичного кодового дерева.
* Осуществить моделирование работы источника и кодера при достаточно большой длине сообщения (например, 20000 символов). На основе полученных частот появления символов определить их вероятности. Задать для символов с большими вероятностями более короткие кодовые слова, а с меньшими вероятностями – более длинные. Определить взаимную информацию I(S, U) источников S и U.
Оформить и защитить отчет по лабораторной работе.
Этапы, помеченные знаком «*», являются необязательными.
Таблица 2.1
Матрицы переходных вероятностей p(sj | si) дискретного источника сообщений S
№ |
Матрица переходных вероятностей p(sj | si) |
||||||||
вар. |
si \ sj |
s1 |
s2 |
s3 |
s4 |
s5 |
s6 |
s7 |
s8 |
1, |
s1 |
0,14 |
0,2 |
0,02 |
0,27 |
0,09 |
0,02 |
0,1 |
0,16 |
5, |
s2 |
0,2 |
0,05 |
0,13 |
0,08 |
0,2 |
0,13 |
0,2 |
0,01 |
9, |
s3 |
0,06 |
0,2 |
0,16 |
0,22 |
0,12 |
0,09 |
0,05 |
0,1 |
13, |
s4 |
0,07 |
0,18 |
0,2 |
0,04 |
0,2 |
0,09 |
0,1 |
0,12 |
17, |
s5 |
0,09 |
0,3 |
0,08 |
0,2 |
0,01 |
0,1 |
0,07 |
0,15 |
21 |
s6 |
0,04 |
0,1 |
0,1 |
0,05 |
0,28 |
0,07 |
0,23 |
0,13 |
|
s7 |
0,15 |
0,06 |
0,07 |
0,2 |
0,2 |
0,08 |
0,2 |
0,04 |
|
s8 |
0,2 |
0,03 |
0,16 |
0,1 |
0,09 |
0,1 |
0,07 |
0,25 |
2, |
s1 |
0,07 |
0,1 |
0,2 |
0,08 |
0,13 |
0,08 |
0,23 |
0,11 |
6, |
s2 |
0,13 |
0,05 |
0,06 |
0,2 |
0,19 |
0,1 |
0,03 |
0,24 |
10, |
s3 |
0,1 |
0,04 |
0,1 |
0,15 |
0,2 |
0,09 |
0,07 |
0,25 |
14, |
s4 |
0,07 |
0,18 |
0,2 |
0,04 |
0,2 |
0,08 |
0,1 |
0,13 |
18, |
s5 |
0,2 |
0,06 |
0,1 |
0,08 |
0,09 |
0,1 |
0,28 |
0,09 |
22 |
s6 |
0,06 |
0,2 |
0,04 |
0,17 |
0,09 |
0,3 |
0,03 |
0,11 |
|
s7 |
0,05 |
0,08 |
0,1 |
0,27 |
0,2 |
0,08 |
0,2 |
0,02 |
|
s8 |
0,09 |
0,25 |
0,14 |
0,1 |
0,06 |
0,21 |
0,1 |
0,05 |
3, |
s1 |
0,2 |
0,2 |
0,04 |
0,15 |
0,2 |
0,02 |
0,14 |
0,05 |
7, |
s2 |
0,1 |
0,05 |
0,08 |
0,14 |
0,19 |
0,23 |
0,2 |
0,01 |
11, |
s3 |
0,04 |
0,1 |
0,27 |
0,24 |
0,15 |
0,1 |
0,01 |
0,09 |
15, |
s4 |
0,09 |
0,13 |
0,2 |
0,08 |
0,2 |
0,05 |
0,15 |
0,1 |
19, |
s5 |
0,11 |
0,22 |
0,2 |
0,07 |
0,07 |
0,2 |
0,03 |
0,1 |
23 |
s6 |
0,05 |
0,06 |
0,09 |
0,09 |
0,2 |
0,1 |
0,2 |
0,21 |
|
s7 |
0,1 |
0,05 |
0,2 |
0,08 |
0,14 |
0,17 |
0,2 |
0,06 |
|
s8 |
0,06 |
0,04 |
0,3 |
0,1 |
0,03 |
0,2 |
0,07 |
0,2 |
4, |
s1 |
0,08 |
0,1 |
0,07 |
0,02 |
0,3 |
0,1 |
0,13 |
0,2 |
8, |
s2 |
0,29 |
0,1 |
0,01 |
0,08 |
0,21 |
0,17 |
0,04 |
0,1 |
12, |
s3 |
0,06 |
0,05 |
0,1 |
0,26 |
0,1 |
0,08 |
0,07 |
0,28 |
16, |
s4 |
0,14 |
0,09 |
0,3 |
0,02 |
0,2 |
0,09 |
0,1 |
0,06 |
20, |
s5 |
0,2 |
0,2 |
0,07 |
0,07 |
0,01 |
0,1 |
0,2 |
0,15 |
24 |
s6 |
0,15 |
0,2 |
0,01 |
0,06 |
0,11 |
0,2 |
0,09 |
0,18 |
|
s7 |
0,02 |
0,1 |
0,28 |
0,15 |
0,09 |
0,2 |
0,1 |
0,06 |
|
s8 |
0,1 |
0,07 |
0,18 |
0,09 |
0,2 |
0,21 |
0,05 |
0,1 |
Таблица 2.2
Матрицы переходных вероятностей p(uj | si) дискретного источника сообщений U относительно источника S
№ |
Матрица переходных вероятностей p(uj | si) |
||||||
вар. |
si \ uj |
u1 |
u2 |
u3 |
u4 |
u5 |
u6 |
1, |
s1 |
0,23 |
0,19 |
0 |
0,31 |
0,14 |
0,13 |
7, |
s2 |
0,16 |
0,25 |
0,13 |
0,09 |
0,22 |
0,15 |
13, |
s3 |
0,07 |
0,22 |
0,18 |
0,16 |
0,32 |
0,05 |
19 |
s4 |
0,21 |
0,34 |
0 |
0,1 |
0,08 |
0,27 |
|
s5 |
0,13 |
0,09 |
0,28 |
0,26 |
0 |
0,24 |
|
s6 |
0,25 |
0,14 |
0,23 |
0,03 |
0,27 |
0,08 |
|
s7 |
0,05 |
0 |
0,09 |
0,35 |
0,26 |
0,25 |
|
s8 |
0,33 |
0,27 |
0,11 |
0,06 |
0,12 |
0,11 |
2, |
s1 |
0,31 |
0,12 |
0,05 |
0,27 |
0,11 |
0,14 |
8, |
s2 |
0,09 |
0,24 |
0,21 |
0 |
0,29 |
0,17 |
14, |
s3 |
0,23 |
0,31 |
0,04 |
0,17 |
0,2 |
0,05 |
20 |
s4 |
0,24 |
0 |
0,36 |
0,08 |
0,03 |
0,29 |
|
s5 |
0,04 |
0,17 |
0,33 |
0 |
0,16 |
0,3 |
|
s6 |
0,16 |
0,02 |
0,15 |
0,34 |
0,1 |
0,23 |
|
s7 |
0,29 |
0,13 |
0,09 |
0,16 |
0,28 |
0,05 |
|
s8 |
0,15 |
0,29 |
0,18 |
0 |
0,17 |
0,21 |
3, |
s1 |
0,18 |
0,22 |
0 |
0,33 |
0,21 |
0,06 |
9, |
s2 |
0,14 |
0,25 |
0,09 |
0,17 |
0,13 |
0,22 |
15, |
s3 |
0,32 |
0,1 |
0,16 |
0,26 |
0,16 |
0 |
21 |
s4 |
0,19 |
0,08 |
0,31 |
0,11 |
0,24 |
0,07 |
|
s5 |
0,35 |
0,13 |
0,25 |
0 |
0,16 |
0,11 |
|
s6 |
0,27 |
0,36 |
0,1 |
0,12 |
0,07 |
0,08 |
|
s7 |
0,13 |
0,12 |
0,31 |
0,05 |
0,15 |
0,24 |
|
s8 |
0,08 |
0,15 |
0,29 |
0,11 |
0 |
0,37 |
4, |
s1 |
0,05 |
0,14 |
0,28 |
0,16 |
0,27 |
0,1 |
10, |
s2 |
0,3 |
0,26 |
0 |
0,12 |
0,14 |
0,18 |
16, |
s3 |
0,23 |
0 |
0,19 |
0,07 |
0,35 |
0,16 |
22 |
s4 |
0,12 |
0,25 |
0,06 |
0,21 |
0,13 |
0,23 |
|
s5 |
0,08 |
0,31 |
0,26 |
0,1 |
0,16 |
0,09 |
|
s6 |
0,32 |
0,04 |
0,3 |
0,12 |
0 |
0,22 |
|
s7 |
0,17 |
0,14 |
0,16 |
0,23 |
0,24 |
0,06 |
|
s8 |
0,2 |
0 |
0,24 |
0,05 |
0,36 |
0,15 |
5, |
s1 |
0,13 |
0 |
0,3 |
0,09 |
0,25 |
0,23 |
11, |
s2 |
0,04 |
0,26 |
0,21 |
0,33 |
0,11 |
0,05 |
17, |
s3 |
0,35 |
0,18 |
0 |
0,24 |
0,06 |
0,17 |
23 |
s4 |
0,22 |
0,05 |
0,19 |
0,15 |
0,32 |
0,07 |
|
s5 |
0,16 |
0,23 |
0,15 |
0,28 |
0,13 |
0,05 |
|
s6 |
0,2 |
0 |
0,36 |
0,22 |
0,08 |
0,14 |
|
s7 |
0,06 |
0,17 |
0,25 |
0,18 |
0,24 |
0,1 |
|
s8 |
0,32 |
0,08 |
0,26 |
0,19 |
0,15 |
0 |
6, |
s1 |
0,24 |
0,09 |
0,15 |
0,27 |
0,06 |
0,19 |
12, |
s2 |
0 |
0,35 |
0,08 |
0,16 |
0,31 |
0,1 |
18, |
s3 |
0,23 |
0,14 |
0 |
0,34 |
0,18 |
0,11 |
24 |
s4 |
0,07 |
0,26 |
0,28 |
0,21 |
0,15 |
0,03 |
|
s5 |
0,16 |
0,18 |
0,22 |
0,17 |
0,2 |
0,07 |
|
s6 |
0,3 |
0,06 |
0,34 |
0 |
0,09 |
0,21 |
|
s7 |
0,19 |
0,24 |
0,16 |
0,04 |
0,25 |
0,12 |
|
s8 |
0,14 |
0,19 |
0 |
0,25 |
0,07 |
0,35 |
