Решение поставленной задачи
Исходное сообщение: «Теория передачи дискретных сообщений.».
После представления в двоичной виде по таблице ASCII сообщение принимает следующий вид:
11010010 11100101 11101110 11110000 11101000 11111111 00100000 11101111 11100101 11110000 11100101 11100100 11100000 11110111 11101000 00100000 11100100 11101000 11110001 11101010 11110000 11100101 11110010 11101101 11111011 11110101 00100000 11110001 11101110 11101110 11100001 11111001 11100101 11101101 11101000 11101001 00101110
После добавления к каждому символу алфавита проверочного бита, получим:
110100100 111001011 111011100 111100000 111010000 111111110 001000001 111011111 111001011 111100000 111001011 111001000 111000001 111101111 111010000 001000001 111001000 111010000 111100011 111010101 111100000 111001011 111100101 111011010 111110111 111101010 001000001 111100011 111011100 111011100 111000010 111110010 111001011 111011010 111010000 111010011 001011100
Вычисление энтропии и избыточности сообщений
Для нахождения соответствующих величин необходимо найти вероятности букв. Для этого подсчитаем, сколько раз каждая буква встречается в сообщении, и поделим на общее количество букв, тем самым мы и получим вероятность.
Для сообщения имеем общее количество символов n=27, следовательно, вероятность одиночного появления символа равна 1/n = 0,027.
Полученные данные приведены в таблице 4.1.
Таблица 4.1. Вероятность символов сообщения
Символ |
Вероятность |
Т |
0,027 |
е |
0,135 |
о |
0,081 |
р |
0,081 |
и |
0,108 |
я |
0,027 |
|
0,081 |
п |
0,027 |
д |
0,054 |
а |
0,027 |
ч |
0,027 |
с |
0,054 |
к |
0,027 |
т |
0,027 |
н |
0,054 |
ы |
0,027 |
х |
0,027 |
б |
0,027 |
щ |
0,027 |
й |
0,027 |
. |
0,027 |
Найдем энтропию сообщения по формуле (1):
Найдем энтропию передаваемого кодом сообщения по формуле (1):
Найдем избыточность сообщений по формуле (2):
Пример декодирования унарного кода
Рассмотрим декодирование фразы «Теория передачи»:
110100100 111001011 111011100 111100000 111010000 111111110 001000001 111011111 111001011 111100000 111001011 111001000 111000001 111101111 111010000
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11010010) соответствует буква №9 – это буква «Т».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11100101) соответствует буква №9 – это буква «е».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11101110) соответствует буква №9 – это буква «о».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11110000) соответствует буква №9 – это буква «р».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11101000) соответствует буква №9 – это буква «и».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11111111) соответствует буква №9 – это буква «я».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (00100000) соответствует буква №9 – это буква « ».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11101111) соответствует буква №9 – это буква «п».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11100101) соответствует буква №9 – это буква «е».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11110000) соответствует буква №9 – это буква «р».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11100101) соответствует буква №9 – это буква «е».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11100100) соответствует буква №9 – это буква «д».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11100000) соответствует буква №9 – это буква «а».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11110111) соответствует буква №9 – это буква «ч».
Вычисляем бит паритета, сравниваем его с принятым. Биты совпадают – ошибка при передачи отсутствует;
Отбрасываем последний бит. Считанной комбинации (11101000) соответствует буква №9 – это буква «и».