- •Н.Н. Куцый, в.Н. Сизых введение в теорию информации учебное пособие
- •Оглавление
- •Часть 1. Вероятностные основы теории информации
- •Часть 2. Основы прикладной теории информации
- •Введение
- •Способы определения случайных событий
- •Часть 1. Вероятностные основы теории информации
- •Определение априорной и апостериорной вероятностей дискретного источника
- •Дискретные источники сообщений
- •Основные определения и оценка случайного события
- •Определение априорной вероятности
- •Элементы комбинаторики
- •Схемы подсчетов априорной вероятности по формуле (1.1)
- •Задачи для самостоятельной работы
- •Определение апостериорной вероятности
- •Задачи для самостоятельной работы
- •2. Условная и полная вероятности дискретного источника
- •2.1. Условная вероятность
- •Свойства независимых несовместных событий а1 и а2
- •Свойства зависимых событий а1 и а2
- •Задачи для самостоятельной работы
- •2.2. Полная вероятность
- •Задачи для самостоятельной работы
- •3. Случайные величины дискретных источников
- •3.1. Случайные величины
- •Задача для самостоятельной работы
- •4. Законы распределения дискретных случайных величин
- •4.1. Числовые характеристики дискретных св
- •4.2. Типовые законы распределения вероятностей дискретных св
- •Задачи для самостоятельной работы
- •5. Системы дискретных случайных величин
- •5.1. Характеристики систем дискретных случайных величин
- •5.2. Закон распределения системы дискретных случайных величин
- •Задачи для самостоятельной работы
- •6. Дискретные случайные процессы
- •6.1. Случайные процессы
- •6.2. Потоки событий
- •7. Марковские цепи
- •7.1. Марковские цепи с дискретными состояниями
- •7.2. Марковские цепи
- •7.3. Расчет цепи Маркова для стационарного режима
- •Задачи для самостоятельной работы
- •Часть 2. Введение в прикладную теорию информации
- •8. Энтропия как мера неопределенности
- •8.1. Энтропия
- •8.2. Условная энтропия
- •Задачи для самостоятельной работы
- •9. Оценка информационных характеристик дискретных источников
- •9.1. Условные и безусловные вероятности появления символов в виде стохастического вектора и матрицы дискретного источника
- •Снятые статистические данные источника
- •9.2. Информационные характеристики дискретного источника
- •Задача для самостоятельной работы
- •10. Основы теории кодирования и передачи информации
- •10.1. Кодирование информации
- •10.2. Формирование экономичного кода алфавита
- •10.2.1. Код Шеннона–Фано
- •10.2.2. Код Хаффмена
- •Задачи для самостоятельной работы
- •Решения и ответы задач для самостоятельной работы
- •Дополнительные задачи по курсу «Теория информации» Задача 1
- •Задача 2
- •Задача 3
- •Задача 8
- •Задача 22
- •Задача 23
- •Задача 24
- •Задача 25
- •Приложения Приложение 1. MatLab – программы для расчета цепи Маркова
- •Приложение 2. MatLab – программа для определения энтропии дискретного источника
- •Приложение 3. MatLab – программа для оценки информационных характеристик дискретных источников с памятью
- •Приложение 4. Алгоритмы кодирования и декодирования
- •Алгоритм построения кодового дерева кода Хаффмена
- •MatLab-программа декодирования арифметического кoда
5.2. Закон распределения системы дискретных случайных величин
Закон
распределения системы дискретных СВ
может быть задан таблично (
).
Помни: законы распределения составляющих системы дискретных СВ находятся суммированием вероятностей по строкам и столбцам таблицы соответственно.
|
|
… |
|
… |
|
|
… |
|
… |
… |
… |
… |
… |
… |
|
|
… |
|
… |
… |
… |
… |
… |
… |
Функция распределения системы n дискретных СВ определяется формулой (5.1), двух дискретных СВ – формулой (5.1)*.
Пример 5.2. Физиологические параметры человека, такие как рост и вес, могут быть описаны двумерной СВ (X,Y), где X – рост; Y – вес. На основании исследования экспериментальных данных получен двумерный закон распределения системы (X,Y) (таблица 5.2).
Таблица 5.2. – Распределение вероятности соотношения роста и веса
|
|
||
|
|
|
|
=70 |
|
|
|
|
|
|
=0,20 |
В таблице 5.2 величины показывают вероятность того, что человек, обладающий ростом Xi , будет иметь вес Yj.
Требуется найти одномерные законы распределения каждой из СВ системы (X,Y).
Решение. Сложив вероятности по столбцам, получим вероятности возможных значений веса X:
Закон распределения составляющей X представим в виде таблицы 5.3.
Таблица 5.3. - Распределение вероятности роста
|
|
|
|
|
0,26 |
0,38 |
0,36 |
Контроль:
Сложив вероятности по строкам, получим закон распределения составляющей Y (таблица 5.4)
Таблица 5.4. – Распределение вероятности веса
-
0,56
0,44
Контроль:
Задачи для самостоятельной работы
Задача 5.1. Число рабочих циклов двигателя X и пробег автомобиля Y взаимосвязаны. Найдите законы распределения составляющих (X,Y), заданных двумерной таблицей распределения вероятностей. Определите числовые характеристики системы (X,Y).
Таблица 5.5. – Распределение вероятности системы двух СВ
|
|
||
|
|
|
|
|
|
=0,062 |
=0,082 |
|
=0,116 |
=0,16 |
=0,07 |
|
=0,111 |
=0,111 |
=0,182 |
Задача 5.2. Определите числовые характеристики системы (X,Y) в примере 5.2.
Задача 5.3. Дана корреляционная матрица системы СВ (X1, X2, X3):
Сформируйте нормированную корреляционную матрицу.
Задача 5.4. Составьте и решите задачу на законы распределения системы случайных величин.
