- •Н.Н. Куцый, в.Н. Сизых введение в теорию информации учебное пособие
- •Оглавление
- •Часть 1. Вероятностные основы теории информации
- •Часть 2. Основы прикладной теории информации
- •Введение
- •Способы определения случайных событий
- •Часть 1. Вероятностные основы теории информации
- •Определение априорной и апостериорной вероятностей дискретного источника
- •Дискретные источники сообщений
- •Основные определения и оценка случайного события
- •Определение априорной вероятности
- •Элементы комбинаторики
- •Схемы подсчетов априорной вероятности по формуле (1.1)
- •Задачи для самостоятельной работы
- •Определение апостериорной вероятности
- •Задачи для самостоятельной работы
- •2. Условная и полная вероятности дискретного источника
- •2.1. Условная вероятность
- •Свойства независимых несовместных событий а1 и а2
- •Свойства зависимых событий а1 и а2
- •Задачи для самостоятельной работы
- •2.2. Полная вероятность
- •Задачи для самостоятельной работы
- •3. Случайные величины дискретных источников
- •3.1. Случайные величины
- •Задача для самостоятельной работы
- •4. Законы распределения дискретных случайных величин
- •4.1. Числовые характеристики дискретных св
- •4.2. Типовые законы распределения вероятностей дискретных св
- •Задачи для самостоятельной работы
- •5. Системы дискретных случайных величин
- •5.1. Характеристики систем дискретных случайных величин
- •5.2. Закон распределения системы дискретных случайных величин
- •Задачи для самостоятельной работы
- •6. Дискретные случайные процессы
- •6.1. Случайные процессы
- •6.2. Потоки событий
- •7. Марковские цепи
- •7.1. Марковские цепи с дискретными состояниями
- •7.2. Марковские цепи
- •7.3. Расчет цепи Маркова для стационарного режима
- •Задачи для самостоятельной работы
- •Часть 2. Введение в прикладную теорию информации
- •8. Энтропия как мера неопределенности
- •8.1. Энтропия
- •8.2. Условная энтропия
- •Задачи для самостоятельной работы
- •9. Оценка информационных характеристик дискретных источников
- •9.1. Условные и безусловные вероятности появления символов в виде стохастического вектора и матрицы дискретного источника
- •Снятые статистические данные источника
- •9.2. Информационные характеристики дискретного источника
- •Задача для самостоятельной работы
- •10. Основы теории кодирования и передачи информации
- •10.1. Кодирование информации
- •10.2. Формирование экономичного кода алфавита
- •10.2.1. Код Шеннона–Фано
- •10.2.2. Код Хаффмена
- •Задачи для самостоятельной работы
- •Решения и ответы задач для самостоятельной работы
- •Дополнительные задачи по курсу «Теория информации» Задача 1
- •Задача 2
- •Задача 3
- •Задача 8
- •Задача 22
- •Задача 23
- •Задача 24
- •Задача 25
- •Приложения Приложение 1. MatLab – программы для расчета цепи Маркова
- •Приложение 2. MatLab – программа для определения энтропии дискретного источника
- •Приложение 3. MatLab – программа для оценки информационных характеристик дискретных источников с памятью
- •Приложение 4. Алгоритмы кодирования и декодирования
- •Алгоритм построения кодового дерева кода Хаффмена
- •MatLab-программа декодирования арифметического кoда
Задача для самостоятельной работы
Задача 3.1. Произведено 500 измерений боковой ошибки наводки при стрельбе с самолета наземной цели. Результаты измерений сведены в статический ряд Ik:
Таблица 3.3. – Распределение вероятностей по статистическому ряду
Ik |
-4;-3 |
-3;-2 |
-2;-1 |
-1;0 |
0;1 |
1;2 |
2;3 |
3;4 |
mk |
6 |
25 |
72 |
133 |
120 |
88 |
46 |
10 |
pk |
0,012 |
0,05 |
0,144 |
0,266 |
0,240 |
0,176 |
0,092 |
0,02 |
Здесь mk – число наблюдений в данном интервале;
– соответствующие
вероятности (частоты появления событий).
Требуется: а) построить гистограмму Ik=f(pk). К чему в пределе стремится площадь гистограммы? Чему она равна?;
б) построить функцию распределения ошибки наводки (по точкам).
4. Законы распределения дискретных случайных величин
4.1. Числовые характеристики дискретных св
Определение распределения вероятностей дискретных СВ в виде вариационного ряда или функции распределения дает полное предоставление о СВ. В тоже время для практических расчетов в ряде случаев достаточного знать некоторые параметры этого распределения, называемые моментами.
Математическим ожиданием дискретной СВ M[Z] называется ее среднее значение, вычисленное по формуле
|
(4.1)
|
Начальным моментом k-го порядка αk(Z) СВ Z называется математическое ожидание k-ой степени СВ:
|
Следовательно,
|
(4.2) |
Центрированной СВ называется разность между СВ Z и ее математическим ожиданием
|
(4.3)
|
Центральным
моментом k-го порядка
СВ Z называется
математическое ожидание центрированной
СВ k–ой степени
|
(4.4) |
Следовательно, математическое ожидание СВ Z есть ее первый начальный момент
|
Второй центральный момент является дисперсией
|
Дисперсией D[Z] СВ Z называется математическое ожидание от квадрата центрированной СВ:
|
(4.5)
|
или
|
(4.6) |
Помни: математическое ожидание M[Z] – характеристика положения (среднее значение) СВ, дисперсия D[Z] – характеристика (мера) разброса СВ.
При практических расчетах вместо формулы (4.6) используют следующую формулу
|
(4.7) |
Корень квадратный из дисперсии называется средним квадратичным отклонением (СКО)
|
где
имеет размерность СВ.
4.2. Типовые законы распределения вероятностей дискретных св
Для определения вероятности события, заключающеюся в принятии дискретной СВ определенного значения pi , необходимо установить: 1) закон распределения вероятностей; 2) его параметры (моменты).
Закон распределения может быть задан рядом распределения или аналитической зависимостью. Наиболее часто встречающиеся аналитические зависимости носят название типовых законов распределения. Для дискретных СВ типовыми являются законы Бернулли и Пуассона.
а). Закон Бернулли
Дискретная СВ Z, выражающая число появлений события А в n независимых испытаниях, в каждом из которых вероятность появления события А одинакова и равна p, подчиняется закону распределения Бернулли. Вероятность возможного значения z=k определяется по формуле
|
(4.8) |
где q=1-p – вероятность непоявления события.
б) Распределение Пуассона (закон редких событий)
Если вероятность события мала, а число испытаний велико, то применение формулы Бернулли затруднительно. В этом случае используется ее предельное значение – распределение Пуассона.
Вероятность появления события А ровно k раз в n независимых испытаниях определяется приближенно по формуле:
|
(4.9) |
где λ=np – параметр распределения Пуассона.
Пример 4.1. Ставятся 4 независимых опыта, в каждом из которых событие А появляется с вероятностью 0,4. Рассматривается случайная величина Z – число появления события А в четырех опытах. Построить ряд и функцию распределения случайной величины Z. Найти ее математическое ожидание, дисперсию и среднее квадратичное отклонение.
Решение. Случайная величина Z может принимать значения {0,1,2,3,4}. Вероятность P(z=zi) вычисляется по формуле Бернулли (p=0,4)
|
В результате вычислений получим следующий ряд распределения СВ (таблица 4.1).
Таблица 4.1. – Ряд распределения СВ
zi |
0 |
1 |
2 |
3 |
4 |
Ci4 |
1 |
4 |
6 |
4 |
1 |
pi |
0,1296 |
0,3456 |
0,3456 |
0,1536 |
0,0256 |
Графики вариационного ряда и функции распределения вероятностей представлены на Рисунках 4.1, 4.2.
Рисунок
4.1. – Вариационный ряд
Рисунок
4.2. – Функция распределения
Математическое ожидание СВ Z и дисперсия вычисляются по формулам (4.1), (4.7):
Среднее квадратичное отклонение равно
|
Пример 4.2. В организации имеются 100 компьютеров. Вероятность безотказной работы каждого компьютера равна 0,98. Какова вероятность отказа: а) двух компьютеров одновременно; б) не менее двух компьютеров.
Решение. Отказ является событием, противоположным безотказной работе. Его вероятность для каждого компьютера равна
p=1-q=1-0,98=0,02 , n=100.
Применим закон Пуассона (формула (4.9))
|
где
а). Вероятность отказа двух компьютеров одновременно равна
б). Вероятность отказа не менее двух компьютеров
|
