- •Н.Н. Куцый, в.Н. Сизых введение в теорию информации учебное пособие
- •Оглавление
- •Часть 1. Вероятностные основы теории информации
- •Часть 2. Основы прикладной теории информации
- •Введение
- •Способы определения случайных событий
- •Часть 1. Вероятностные основы теории информации
- •Определение априорной и апостериорной вероятностей дискретного источника
- •Дискретные источники сообщений
- •Основные определения и оценка случайного события
- •Определение априорной вероятности
- •Элементы комбинаторики
- •Схемы подсчетов априорной вероятности по формуле (1.1)
- •Задачи для самостоятельной работы
- •Определение апостериорной вероятности
- •Задачи для самостоятельной работы
- •2. Условная и полная вероятности дискретного источника
- •2.1. Условная вероятность
- •Свойства независимых несовместных событий а1 и а2
- •Свойства зависимых событий а1 и а2
- •Задачи для самостоятельной работы
- •2.2. Полная вероятность
- •Задачи для самостоятельной работы
- •3. Случайные величины дискретных источников
- •3.1. Случайные величины
- •Задача для самостоятельной работы
- •4. Законы распределения дискретных случайных величин
- •4.1. Числовые характеристики дискретных св
- •4.2. Типовые законы распределения вероятностей дискретных св
- •Задачи для самостоятельной работы
- •5. Системы дискретных случайных величин
- •5.1. Характеристики систем дискретных случайных величин
- •5.2. Закон распределения системы дискретных случайных величин
- •Задачи для самостоятельной работы
- •6. Дискретные случайные процессы
- •6.1. Случайные процессы
- •6.2. Потоки событий
- •7. Марковские цепи
- •7.1. Марковские цепи с дискретными состояниями
- •7.2. Марковские цепи
- •7.3. Расчет цепи Маркова для стационарного режима
- •Задачи для самостоятельной работы
- •Часть 2. Введение в прикладную теорию информации
- •8. Энтропия как мера неопределенности
- •8.1. Энтропия
- •8.2. Условная энтропия
- •Задачи для самостоятельной работы
- •9. Оценка информационных характеристик дискретных источников
- •9.1. Условные и безусловные вероятности появления символов в виде стохастического вектора и матрицы дискретного источника
- •Снятые статистические данные источника
- •9.2. Информационные характеристики дискретного источника
- •Задача для самостоятельной работы
- •10. Основы теории кодирования и передачи информации
- •10.1. Кодирование информации
- •10.2. Формирование экономичного кода алфавита
- •10.2.1. Код Шеннона–Фано
- •10.2.2. Код Хаффмена
- •Задачи для самостоятельной работы
- •Решения и ответы задач для самостоятельной работы
- •Дополнительные задачи по курсу «Теория информации» Задача 1
- •Задача 2
- •Задача 3
- •Задача 8
- •Задача 22
- •Задача 23
- •Задача 24
- •Задача 25
- •Приложения Приложение 1. MatLab – программы для расчета цепи Маркова
- •Приложение 2. MatLab – программа для определения энтропии дискретного источника
- •Приложение 3. MatLab – программа для оценки информационных характеристик дискретных источников с памятью
- •Приложение 4. Алгоритмы кодирования и декодирования
- •Алгоритм построения кодового дерева кода Хаффмена
- •MatLab-программа декодирования арифметического кoда
Определение априорной вероятности
Вероятность элементарного события определяется как
|
где n – количество элементарных событий (возможных исходов).
Вероятность случайного события
где
pir
–
вероятности элементарных событий
,
входящих в подмножество
При
априорной численной оценке появления
элементарных случайных событий, как
правило, принимаются равновероятные
исходы
Тогда вероятность случайного события определится формулой
|
(1.1) |
где
– количество благоприятных исходов.
Элементы комбинаторики
Число сочетаний из n элементов по k:
,
;
Число перестановок из k элементов:
Число размещений из n элементов по k (сочетания с учетом перестановок):
Пример 1.2. Определить вероятность каждого числа: 1) при бросании игральной кости; 2) четного числа 3) числа ≥ 4.
Решение: 1). Вероятность выпадения каждого числа из множества
2). Вероятность выпадения четного числа исходя из (1.1)
3).
Вероятность выпадения числа
4
Схемы подсчетов априорной вероятности по формуле (1.1)
Схема случаев для равновероятных исходов (схема урн).
Пример
1.3. Из
урны вынимают
выигрышных билетов и
билета без выигрыша. Определить
вероятность того, что
выбранных наугад билетов будут
выигрышными.
Решение.
В
примере используют формулу (1.1), в которой
исходы
и
определяются по формулам
|
(1.2) |
Общая схема случаев.
Пример 1.4. В партии из Q изделий K бракованных. Из партии выбирается наугад q изделий. Определить вероятность того, что среди этих q изделий ровно k изделий будут бракованными.
Решение. В примере также используют формулу (1.1), в которой исходы и определяются по формулам
|
(1.3) |
Для схемы случаев характерна симметрия возможных исходов.
Задачи для самостоятельной работы
Задача 1.1. В корзине 20 белых, 30 черных и 50 красных шаров. Определить вероятность того, что первый вынутый из корзины шар будет: 1) белым 2) черным 3) красным.
Задача 1.2. В студенческой группе 12 юношей и 10 девушек. Какова вероятность того, что на семинаре по теории информации будут отсутствовать: 1) юноша 2) девушка 3) 2 юноши.
Задача 1.3. В течение года 51 день отличается тем, что в эти дни шел дождь (или снег). Какова вероятность того, что вы рискуете попасть под дождь (или снег). 1) отправляясь на работу; 2) отправляясь в поход на 5 дней.
Задача 1.4. Составьте самостоятельно задачу по схеме урн и решите ее.
Определение апостериорной вероятности
(статистической вероятности или частоты случайного события)
При
априорном определении вероятности
предполагается, что элементарные события
Ai={ai}
равновероятны. Однако в действительности
схема случаев не работает: pi≠pk,
при i≠k.
Для определения pi,
а в общем случае
проводят
целенаправленные испытания.
Если определить m как число благоприятных событию А исходов, то в результате n испытаний апостериорная вероятность равна
|
Из определения апостериорной вероятности следует, что
На основании закона больших чисел в алгебре множеств F(A) (Ar~A) частота случайного события равна
при
Помни: при увеличении числа испытаний частота случайного события (апостериорная вероятность) стремится к априорной вероятности этого события.
Пример 1.5. Определенная по схеме случаев вероятность выпадения решки при подбрасывании монеты равна 0,5. Подбросьте монету 10, 20, 30… раз и определите частоту случайного события «решка» после каждой серии испытаний.
Решение. К. Пуассон подбрасывал монету 24000 раз, решка выпала 11998 раз. Тогда
