- •Н.Н. Куцый, в.Н. Сизых введение в теорию информации учебное пособие
- •Оглавление
- •Часть 1. Вероятностные основы теории информации
- •Часть 2. Основы прикладной теории информации
- •Введение
- •Способы определения случайных событий
- •Часть 1. Вероятностные основы теории информации
- •Определение априорной и апостериорной вероятностей дискретного источника
- •Дискретные источники сообщений
- •Основные определения и оценка случайного события
- •Определение априорной вероятности
- •Элементы комбинаторики
- •Схемы подсчетов априорной вероятности по формуле (1.1)
- •Задачи для самостоятельной работы
- •Определение апостериорной вероятности
- •Задачи для самостоятельной работы
- •2. Условная и полная вероятности дискретного источника
- •2.1. Условная вероятность
- •Свойства независимых несовместных событий а1 и а2
- •Свойства зависимых событий а1 и а2
- •Задачи для самостоятельной работы
- •2.2. Полная вероятность
- •Задачи для самостоятельной работы
- •3. Случайные величины дискретных источников
- •3.1. Случайные величины
- •Задача для самостоятельной работы
- •4. Законы распределения дискретных случайных величин
- •4.1. Числовые характеристики дискретных св
- •4.2. Типовые законы распределения вероятностей дискретных св
- •Задачи для самостоятельной работы
- •5. Системы дискретных случайных величин
- •5.1. Характеристики систем дискретных случайных величин
- •5.2. Закон распределения системы дискретных случайных величин
- •Задачи для самостоятельной работы
- •6. Дискретные случайные процессы
- •6.1. Случайные процессы
- •6.2. Потоки событий
- •7. Марковские цепи
- •7.1. Марковские цепи с дискретными состояниями
- •7.2. Марковские цепи
- •7.3. Расчет цепи Маркова для стационарного режима
- •Задачи для самостоятельной работы
- •Часть 2. Введение в прикладную теорию информации
- •8. Энтропия как мера неопределенности
- •8.1. Энтропия
- •8.2. Условная энтропия
- •Задачи для самостоятельной работы
- •9. Оценка информационных характеристик дискретных источников
- •9.1. Условные и безусловные вероятности появления символов в виде стохастического вектора и матрицы дискретного источника
- •Снятые статистические данные источника
- •9.2. Информационные характеристики дискретного источника
- •Задача для самостоятельной работы
- •10. Основы теории кодирования и передачи информации
- •10.1. Кодирование информации
- •10.2. Формирование экономичного кода алфавита
- •10.2.1. Код Шеннона–Фано
- •10.2.2. Код Хаффмена
- •Задачи для самостоятельной работы
- •Решения и ответы задач для самостоятельной работы
- •Дополнительные задачи по курсу «Теория информации» Задача 1
- •Задача 2
- •Задача 3
- •Задача 8
- •Задача 22
- •Задача 23
- •Задача 24
- •Задача 25
- •Приложения Приложение 1. MatLab – программы для расчета цепи Маркова
- •Приложение 2. MatLab – программа для определения энтропии дискретного источника
- •Приложение 3. MatLab – программа для оценки информационных характеристик дискретных источников с памятью
- •Приложение 4. Алгоритмы кодирования и декодирования
- •Алгоритм построения кодового дерева кода Хаффмена
- •MatLab-программа декодирования арифметического кoда
Свойства зависимых событий а1 и а2
Вероятность совмещения
Вероятность объединения
Пример 2.1. Определить вероятность того, что партия из 100 изделий, среди которых 5 бракованных, будет принята, если условия приема допускают не более 1 бракованного изделия из 50 проверенных.
Решение.
Из 100 изделий 50 можно выбрать
способами.
Из 100–5 =95 исправных изделий 50 можно
выбрать
способами.
Пусть
– вероятность того, что ни одно
бракованное изделие не попадется при
испытании
|
– вероятность
того, что только одно бракованное изделие
попадется при испытании
Тогда вероятность приема партии
так как события А и В несовместны.
Искомая вероятность приема партии
Пример 2.2. Причинами неисправности двигателя автомобиля могут быть: А – нарушение топливоподачи, В – нарушения зажигания. При испытаниях вероятности в том и другом случае составили соответственно P(A)=0,1; P(B)=0,3. Найти вероятность отказа двигателя при очередном испытании.
Решение. Событие А и В совместны. Следовательно, искомая вероятность
Пример 2.3. Автомат заряжен пятью патронами, два из которых холостые. Производится два выстрела. Определить вероятность того, что оба выстрела будут холостые.
Решение. Обозначим через событие А – первый холостой выстрел, через противоположное событие – боевой выстрел: Тогда
Поскольку соотношение между холостыми и боевыми патронами меняется, то вероятность второго холостого выстрела (событие В) зависит от того, какое событие было перед ним. Следовательно, событие А и В зависимы. Условная вероятность события В\А
Вероятность двукратного холостого выстрела – совмещение событий А и В для зависимых событий:
Задачи для самостоятельной работы
Задача 2.1. Условием сдачи зачета является ответ на один из двух заданных вопросов. Студент не знает ответов на 8 вопросов из тех 40, которые ему могут быть предложены. Какова вероятность сдачи зачета?
Задача 2.2. Электрическая цепь состоит из последовательно соединенных сопротивлений R и конденсатора С. Вероятность выхода их из строя соответственно равны P(R)=0,1 и P(C)=0,25. Определите вероятность выхода из строя электрической цепи.
Задача 2.3. Абонент забыл последнюю цифру номера телефона и поэтому набирает ее наудачу. Какова вероятность того, что ему придется звонить не более чем четыре раза.
Задача 2.4. Среди файлов, хранящихся в каталоге, 15 % – исполняемые файлы, а остальные файлы – файлы данных. Среди файлов данных 80% защищены атрибутом Read Only. Какова вероятность того, что наудачу взятый файл окажется защищенным.
2.2. Полная вероятность
Пусть событие А наступает только при условии появления одного из событий Нj, образующих полную группу событий, т.е. если P(Hj)≥0, HiHj=Ø для всех i≠j и Н1+Н2+…Нn=H. Тогда вероятность события А равна сумме произведений вероятностей каждого из событий (гипотез) Hj на соответствующую условную вероятность события А:
Эта формула носит название формулы полной вероятности.
Если события Hj образуют пространство Н (полную группу несовместных событий), то
Если вероятности до опыта были Р(Нj), то с учетом появления в результате опыта события А условная вероятность Р(Hj\A) вычисляется по формуле Байеса
Формула Байеса нашла широкое применение при организации информационных каналов (по соотношению «сигнал/ шум» распознаются образы и ситуации (правильное обнаружение, ложная тревога, пропущенное обнаружение)). Естественным обобщением формулы Байеса на серию опытов являются цепи Маркова.
Пример 2.4. Известно, что 30% студентов регулярно готовятся к занятиям в течение семестра 25% – только периодически, а 45% серьезно изучают дисциплины только при подготовке к экзаменам. Вероятность успешной сдачи экзамена составляет соответственно для студентов первой группы 0,99; второй – 0,9; третьей – 0,75. Определить вероятность того, что случайно взятый студент имел «неуд» в прошлой сессии.
Решение. Обозначим: Н1 – студент принадлежит к первой группе; Н2 – студент принадлежит ко второй группе; Н3 – студент принадлежит к третьей группе. Событие А – случайно взятый студент–задолжник.
Из условия задачи находим вероятности:
По формуле полной вероятности находим
Пример 2.5. Вероятности попадания при каждом выстреле для трех стрелков соответственно равны 0,2; 0,4; 0,6. При одновременном выстреле всех стрелков в одну мишень в ней оказалось одно попадание. Определить вероятность того, что в мишень попал первый стрелок (второй, третий).
Решение. Пусть событие А состоит в том, что после трех выстрелов зафиксировано одно попадание. До опыта возможны следующие гипотезы, совместные с А:
Н1 – попал первый стрелок, второй и третий промахнулся;
Н2 – попал второй стрелок, первый и третий промахнулись;
Н3 – попал третий стрелок, первый и второй промахнулись.
Другие
гипотезы, несовместные с событием А
после
опыта становятся невозможными (
,
).
Применив теорему умножения вероятностей для независимых событий, получим (p1=0,2; p2=0,4; p3=0,6):
После
опыта по формуле Байеса определяются
условные вероятности при условии
(
),
так как считается равновероятным сам
факт попадания в мишень первым, вторым
или третьим стрелком (события независимы).
Тогда
|
