- •Н.Н. Куцый, в.Н. Сизых введение в теорию информации учебное пособие
- •Оглавление
- •Часть 1. Вероятностные основы теории информации
- •Часть 2. Основы прикладной теории информации
- •Введение
- •Способы определения случайных событий
- •Часть 1. Вероятностные основы теории информации
- •Определение априорной и апостериорной вероятностей дискретного источника
- •Дискретные источники сообщений
- •Основные определения и оценка случайного события
- •Определение априорной вероятности
- •Элементы комбинаторики
- •Схемы подсчетов априорной вероятности по формуле (1.1)
- •Задачи для самостоятельной работы
- •Определение апостериорной вероятности
- •Задачи для самостоятельной работы
- •2. Условная и полная вероятности дискретного источника
- •2.1. Условная вероятность
- •Свойства независимых несовместных событий а1 и а2
- •Свойства зависимых событий а1 и а2
- •Задачи для самостоятельной работы
- •2.2. Полная вероятность
- •Задачи для самостоятельной работы
- •3. Случайные величины дискретных источников
- •3.1. Случайные величины
- •Задача для самостоятельной работы
- •4. Законы распределения дискретных случайных величин
- •4.1. Числовые характеристики дискретных св
- •4.2. Типовые законы распределения вероятностей дискретных св
- •Задачи для самостоятельной работы
- •5. Системы дискретных случайных величин
- •5.1. Характеристики систем дискретных случайных величин
- •5.2. Закон распределения системы дискретных случайных величин
- •Задачи для самостоятельной работы
- •6. Дискретные случайные процессы
- •6.1. Случайные процессы
- •6.2. Потоки событий
- •7. Марковские цепи
- •7.1. Марковские цепи с дискретными состояниями
- •7.2. Марковские цепи
- •7.3. Расчет цепи Маркова для стационарного режима
- •Задачи для самостоятельной работы
- •Часть 2. Введение в прикладную теорию информации
- •8. Энтропия как мера неопределенности
- •8.1. Энтропия
- •8.2. Условная энтропия
- •Задачи для самостоятельной работы
- •9. Оценка информационных характеристик дискретных источников
- •9.1. Условные и безусловные вероятности появления символов в виде стохастического вектора и матрицы дискретного источника
- •Снятые статистические данные источника
- •9.2. Информационные характеристики дискретного источника
- •Задача для самостоятельной работы
- •10. Основы теории кодирования и передачи информации
- •10.1. Кодирование информации
- •10.2. Формирование экономичного кода алфавита
- •10.2.1. Код Шеннона–Фано
- •10.2.2. Код Хаффмена
- •Задачи для самостоятельной работы
- •Решения и ответы задач для самостоятельной работы
- •Дополнительные задачи по курсу «Теория информации» Задача 1
- •Задача 2
- •Задача 3
- •Задача 8
- •Задача 22
- •Задача 23
- •Задача 24
- •Задача 25
- •Приложения Приложение 1. MatLab – программы для расчета цепи Маркова
- •Приложение 2. MatLab – программа для определения энтропии дискретного источника
- •Приложение 3. MatLab – программа для оценки информационных характеристик дискретных источников с памятью
- •Приложение 4. Алгоритмы кодирования и декодирования
- •Алгоритм построения кодового дерева кода Хаффмена
- •MatLab-программа декодирования арифметического кoда
Задачи для самостоятельной работы
Задача 4.1. Стрелок, имеющий 5 патронов, стреляет в мишень до первого попадания. Вероятность попадания при каждом выстреле равна 0,4. Построить график функции распределения. Найти математическое ожидание, дисперсию и среднее квадратичное отклонение СВ – числа израсходованных патронов.
Задача 4.2. При массовом производстве полупроводниковых изделий вероятность брака равна 0,1. Какова вероятность того, что из 40 случайно взятых изделий 5 будут бракованными.
Задача 4.3. Сбой в работе ЭВМ происходит в среднем через 100 часов. Какова вероятность того, что при решении задачи в течение получаса не произойдет ни одного сбоя. Произойдет 1 или 2 сбоя?
Задача 4.4. Составьте и решите по одной задаче на использование законов распределения Бернулли и Пуассона.
5. Системы дискретных случайных величин
5.1. Характеристики систем дискретных случайных величин
Системой n дискретных случайных величин называется совокупность n дискретных CB (X1,X2,…,Xn), рассматриваемых совместно.
В частном случае при n=2 система двух дискретных CB (X,Y) геометрически интерпретируется как случайная точка с координатами (X,Y) на плоскости xOy или как случайный вектор, направленный из начала координат в точку (X,Y) (Рисунок 5.1).
Рисунок 5.1. – Геометрическая интерпретация системы двух дискретных СВ
Функцией распределения системы n дискретных CB (X1,…,Xn) называется вероятность совместного выполнения n неравенств Xk<xk (k=1,2,…,n)
|
(5.1) |
Геометрически функция распределения двух дискретных CB интерпритируется как вероятность попадания случайной точки (X,Y) в левую нижнюю часть плоскости, ограниченную (x, y).
Функцией распределения двух дискретных СВ F(x,y) называется вероятность совместного выполнения двух неравенств X<x ,Y<y.
|
(5.1*) |
Основными числовыми характеристиками системы двух дискретных СВ (X,Y) являются следующие.
1. Математические ожидания mx и my, являющиеся координатами центра рассеивания системы:
|
(5.2) |
где pij=p(X=xi, Y=yi).
2. Дисперсии Dx и Dy, характеризующие рассеивание случайной точки вдоль осей Ox и Oy:
|
(5.3) |
3. Корреляционный момент (ковариация), характеризующая связь между дискретными CB X и Y
|
(5.4) |
Для двух независимых дискретных CB: Kxy=0.
4. Коэффициент корреляции – безразмерная характеристика связи между двумя дискретными CB
|
(5.5) |
где
Коэффициент
корреляции характеризует степень
тесноты линейной зависимости между
дискретными СВ X
и Y.
Для любых CB
≤1.
Корреляционная
матрица системы n дискретных СВ
(x1,…,xn) –
таблица, составленная из взятых попарно
корреляционных моментов этих
дискретных СВ. Так как ковариации
недиагональных элементов таблицы равны:
=
,
то корреляционная матрица является
симметрической и может быть представлена
в виде
|
(5.6) |
Элементы
главной диагонали корреляционой матрицы
равны дисперсиям системы дискретных
СВ:
.
Нормированная корреляционная матрица – матрица, составленная из коэффициетов корреляции системы n дискретных СВ, взятых попарно:
|
(5.7) |
где
– коэффициент корреляции СВ
.
При определении числовых характеристик двухмерных СВ следует применять формулы (5.2), (5.3).
Определение корреляционного момента системы СВ осуществляется с помощью формул (5.4), (5.5). Иногда для вычислений оказывается удобной формула
|
(5.8) |
Пример
5.1.
Изготавливаемые на автоматическом
прессе втулки сортируются по отклонению
от номинального размера диаметра на 4
группы со значениями
и по овальности на 4 группы со значениями
.
В результате анализа большой партии
изготовленных втулок получены вероятности
совместного отношения диаметра (X)
и овальности (Y).
Распределение вероятностей предоставлено
в таблице 5.1.
Найти математические ожидания, средние квадратичные отклонения СВ X и Y, их коэффициент корреляции.
Решение.
1).
Математическое
ожидание случайной величины X
определяется
через суммирование по строкам вероятностей
в таблице 5.1
2). Математическое ожидание случайной величины Y вычисляется путем суммирования по столбцам вероятностей в таблице 5.1
Таблица 5.1. – Распределение вероятностей системы двух СВ
|
|
|||
0,01 |
0,02 |
0,03 |
0,04 |
|
0,02 |
|
|
|
|
0,04 |
|
|
|
|
0,06 |
|
|
|
|
0,08 |
|
|
|
|
3). Дисперсия СВ X:
4). Дисперсия СВ Y:
5). Средние квадратичные отклонения:
6). Ковариация СВ X и Y:
7). Коэффициент корреляции:
Можно сделать вывод, что между отклонением диаметра и отклонением овальности существует слабо выраженная обратно пропорциональная зависимость.
