- •Н.Н. Куцый, в.Н. Сизых введение в теорию информации учебное пособие
- •Оглавление
- •Часть 1. Вероятностные основы теории информации
- •Часть 2. Основы прикладной теории информации
- •Введение
- •Способы определения случайных событий
- •Часть 1. Вероятностные основы теории информации
- •Определение априорной и апостериорной вероятностей дискретного источника
- •Дискретные источники сообщений
- •Основные определения и оценка случайного события
- •Определение априорной вероятности
- •Элементы комбинаторики
- •Схемы подсчетов априорной вероятности по формуле (1.1)
- •Задачи для самостоятельной работы
- •Определение апостериорной вероятности
- •Задачи для самостоятельной работы
- •2. Условная и полная вероятности дискретного источника
- •2.1. Условная вероятность
- •Свойства независимых несовместных событий а1 и а2
- •Свойства зависимых событий а1 и а2
- •Задачи для самостоятельной работы
- •2.2. Полная вероятность
- •Задачи для самостоятельной работы
- •3. Случайные величины дискретных источников
- •3.1. Случайные величины
- •Задача для самостоятельной работы
- •4. Законы распределения дискретных случайных величин
- •4.1. Числовые характеристики дискретных св
- •4.2. Типовые законы распределения вероятностей дискретных св
- •Задачи для самостоятельной работы
- •5. Системы дискретных случайных величин
- •5.1. Характеристики систем дискретных случайных величин
- •5.2. Закон распределения системы дискретных случайных величин
- •Задачи для самостоятельной работы
- •6. Дискретные случайные процессы
- •6.1. Случайные процессы
- •6.2. Потоки событий
- •7. Марковские цепи
- •7.1. Марковские цепи с дискретными состояниями
- •7.2. Марковские цепи
- •7.3. Расчет цепи Маркова для стационарного режима
- •Задачи для самостоятельной работы
- •Часть 2. Введение в прикладную теорию информации
- •8. Энтропия как мера неопределенности
- •8.1. Энтропия
- •8.2. Условная энтропия
- •Задачи для самостоятельной работы
- •9. Оценка информационных характеристик дискретных источников
- •9.1. Условные и безусловные вероятности появления символов в виде стохастического вектора и матрицы дискретного источника
- •Снятые статистические данные источника
- •9.2. Информационные характеристики дискретного источника
- •Задача для самостоятельной работы
- •10. Основы теории кодирования и передачи информации
- •10.1. Кодирование информации
- •10.2. Формирование экономичного кода алфавита
- •10.2.1. Код Шеннона–Фано
- •10.2.2. Код Хаффмена
- •Задачи для самостоятельной работы
- •Решения и ответы задач для самостоятельной работы
- •Дополнительные задачи по курсу «Теория информации» Задача 1
- •Задача 2
- •Задача 3
- •Задача 8
- •Задача 22
- •Задача 23
- •Задача 24
- •Задача 25
- •Приложения Приложение 1. MatLab – программы для расчета цепи Маркова
- •Приложение 2. MatLab – программа для определения энтропии дискретного источника
- •Приложение 3. MatLab – программа для оценки информационных характеристик дискретных источников с памятью
- •Приложение 4. Алгоритмы кодирования и декодирования
- •Алгоритм построения кодового дерева кода Хаффмена
- •MatLab-программа декодирования арифметического кoда
Задачи для самостоятельной работы
Задача 1.5. На основании большого статистического материала
(
)
были получены значения вероятностей
появления отдельных букв русского
алфавита и пробела (–) в текстах, которые
приведены в таблице 1.1.
Таблица 1.1. – Вероятность появления букв алфавита в тексте
Буква рi |
– 0,175 |
O 0,09 |
Е, Ё 0,072 |
А 0,062 |
И 0,062 |
Т 0,053 |
Н 0,053 |
С 0,045 |
Буква рi |
Р 0,040 |
В 0,038 |
Л 0,035 |
К 0,028 |
М 0,026 |
Д 0,025 |
П 0,023 |
У 0,021 |
Буква рi |
Я 0,018 |
Ы 0,016 |
З 0,016 |
Ь,Ъ 0,014 |
Б 0,014 |
Г 0,013 |
Ч 0,012 |
Й 0,01 |
Буква рi |
Х 0,009 |
Ж 0,007 |
Ю 0,006 |
Ш 0,006 |
Ц 0,004 |
Щ 0,003 |
Э 0,003 |
Ф 0,002 |
Возьмите страницу любого текста и определите частоту появления различных букв на этой странице. Увеличьте объем испытаний до двух страниц. Полученные результаты сравните с данными таблицы. Сделайте выводы.
Задача 1.6. При стрельбе по мишеням был получен следующий результат
Таблица 1.2. – Результат стрельбы по мишеням
Количество очков |
0 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
Число попаданий |
1 |
1 |
3 |
2 |
2 |
8 |
8 |
6 |
10 |
7 |
0 |
Какова вероятность того, что цель была поражена с первого выстрела, если по своим размерам она была меньше «10», «9» и т.д. (таблица 1.2).
2. Условная и полная вероятности дискретного источника
2.1. Условная вероятность
Два случайных события А1 и А2 называются независимыми, если вероятность каждого из них Р(Аj) не меняется в связи с наступлением или не наступлением другого. В противном случае события будут зависимыми. В реальном мире существуют связи между любыми событиями. Вопрос лишь в том, насколько эти связи сильные или слабые (связи, которыми можно пренебречь).
Условной
вероятностью
события А1
по
отношению к событию А2
называется
вероятность наступления события А1,
вычисленная при условии наступления
события А2.
Условная вероятность обозначается как
Если
,
то по определению
|
Помни:
Не путай независимость
событий
с
их
несовместимостью
.
Для несовместных
событий
Примечание.
В
теории вероятности операции
обозначают
пересечение множеств или логическое
умножение, операции
– их объединение или логическое сложение.
Свойства независимых несовместных событий а1 и а2
Вероятность объединения (вероятность наступления хотя бы одного из событий) равна сумме вероятностей этих событий
Вероятность совмещения (вероятность наступления обоих событий) равна произведению их вероятностей
