- •1. Теория информации – дочерняя наука кибернетики.
- •2. Что такое информация. Свойства информации. Этапы обращения информации. Информационные системы. Что такое информация
- •Свойства информации
- •Этапы обращения информации
- •Информационные системы
- •3. Система передачи информации.
- •4. Виды информации
- •5. Задачи и постулаты прикладной теории информации.
- •6. Количественная оценка информации
- •7. Что такое канал связи. Шум в канале связи Канал связи
- •Шум в канале связи
- •8. Кодирование информации. Код. Способы кодирования. Кодирование текстовой, графической, звуковой информации.
- •Кодирование текстовой информации.
- •Кодирование графической информации.
- •Кодирование звуковой информации.
- •9. Принципы хранения, измерения, обработки и передачи информации.
- •10. Информация в материальном мире, информация в живой природе, информация в человеческом обществе, информация в науке, классификация информации. Информация в материальном мире
- •Информация в живой природе
- •Информация в человеческом обществе
- •Информация в науке
- •Классификация информации
- •11. Информатика, история информатики.
- •История информатики
- •12. Измерение количества информации. Подходы к измерению информации.
- •13. Единицы измерения информации, носитель информации
- •14. Передача информации, скорость передачи информации.
- •15. Экспертные системы. Назначение экспертных систем.
- •Назначение экспертных систем
- •16. Классификация экспертных систем.
- •17. Представление знаний в экспертных системах.
- •18. Методы поиска решений в экспертных системах.
- •19. Вероятностный подход к измерению дискретной и непрерывной информации.
- •20. Информация Фишера.
- •21. Теорема отсчетов Котельникова или Найквиста-Шеннона.
- •22. Математическая модель системы передачи информации
- •23. Энтропия. Виды энтропии. Условная энтропия.
- •24. Энтропия. Виды энтропии. Взаимная энтропия.
- •25. Энтропия. Виды энтропии. B-арная энтропия
- •26. Энтропийное кодирование.
- •27. Пропускная способность дискретного канала.
- •28. Интерполяционная формула Уиттекера-Шеннона
- •29. Частота Найквиста.
- •30. Семантика. Семантическая модель.
- •31. Семантика естественных и формальных языков. Семантическая информация.
- •32. Формула Шеннона.
- •33. Теория вероятности. Основные понятия.
- •34. Дисперсия случайной величины.
- •35. Теорема Муавра-Лапласа.
- •36. Экстраполятор нулевого порядка. Экстраполятор первого порядка
- •37. Передискретизация. Децимация.
- •38. Закон распределения вероятностей.
- •39. Простейшие алгоритмы сжатия информации
- •40. Методы Лемпела-Зива
- •41. Особенности программ архиваторов.
- •42. Применение алгоритмов кодирования в архиваторах
- •43. Принципы сжатия данных
- •44. Характеристики алгоритмов сжатия и их применимость Коэффициент сжатия
- •Системные требования алгоритмов
- •45. Коэффициент сжатия, допустимость потерь.
- •Допустимость потерь
- •46. Алгоритмы сжатия данных неизвестного формата.
- •47. Помехоустойчивое кодирование.
- •48. Линейные блочные коды.
- •49. Адаптивное арифметическое кодирование.
- •50. Полиномиальные коды.
- •51. Цифровое кодирование, аналоговое кодирование,
- •52. Дельта-кодирование.
- •53. Таблично-символьное кодирование
- •54. Числовое кодирование.
- •55. Сетевое кодирование
- •56. Кодирование Хаффмена.
- •57. Кодирование и декодирование информации
- •58. Понятие криптографии. Различные методы криптографии
- •59. Методы шифрования.
- •60. Криптография с симметричным ключом, с открытым ключом.
- •61. Криптоанализ, управление ключами.
- •62.Криптографические протоколы, Криптографические примитивы
- •Примечания:
38. Закон распределения вероятностей.
Распределение вероятностей — это закон, описывающий область значений случайной величины и вероятности их принятия.
Определение 1.
Пусть
задано вероятностное
пространство
,
и на нём определена случайная величина
.
В частности, по определению,
является измеримым
отображением измеримого
пространства
в
измеримое пространство
,
где
обозначает борелевскую
сигма-алгебру на
.
Тогда случайная величина
индуцирует
вероятностную
меру
на
следующим
образом:
Мера
называется распределением случайной
величины
.
Иными словами,
,
таким образом
задаёт
вероятность того, что случайная
величина
попадает
во множество
.
Определение 2.
Функция
называется (кумулятивной)
функцией распределения случайной
величины
.
Из свойств вероятности вытекает
Теорема
1. Функция распределения
любой
случайной величины удовлетворяет
следующим трем свойствам:
—
функция неубывающая;
;
непрерывна слева.
Из того факта,
что борелевская
сигма-алгебра на
вещественной прямой порождается
семейством интервалов вида
,
вытекает
Теорема 2. Любая
функция
,
удовлетворяющая трём свойствам,
перечисленным выше, является функцией
распределения для какого-то распределения
.
Для вероятностных распределений, обладающих определенными свойствами, существуют более удобные способы его задания.
Дискретные распределения [править]
Определение
3. Случайная величина
называется простой или дискретной,
если она принимает не более, чем счётное число
значений. То есть
,
где
—
разбиение
.
Распределение
простой случайной величины тогда по
определению задаётся:
.
Введя обозначение
,
можно задать функцию
.
Очевидно, что
.
Используя счётную аддитивность
,
легко показать, что эта функция однозначно
определяет распределение
.
Определение 4. Функция , где часто называется дискретным распределением.
Пример 1. Пусть
функция
задана
таким образом, что
и
.
Эта функция задаёт распределение
случайной величины
,
для которой
(распределение
Бернулли).
Теорема 3. Дискретное распределение обладает следующими свойствами:
1.
;
2.
.
Непрерывные распределения [править]
Непрерывное распределение — распределение вероятностей, не имеющее атомов. Любое распределение вероятностей есть дискретное, непрерывное или смесь дискретного и непрерывного. В приложениях нередко не делают разницы между терминаминепрерывное распределение и абсолютно непрерывное распределение (см. далее).
Абсолютно непрерывные распределения [править]
Основная статья: Плотность вероятности
Абсолютно непрерывными называют распределения, имеющие плотность вероятности. Кумулятивная функция таких распределенийабсолютно непрерывна в смысле Лебега.
Определение
5. Распределение случайной
величины
называется
абсолютно непрерывным, если существует
неотрицательная функция
,
такая что
.
Функция
тогда
называется плотностью распределения
случайной величины
.
Пример
2. Пусть
,
когда
,
и
—
в противном случае. Тогда
,
если
.
Очевидно, что
для любой плотности распределения
верно
равенство
.
Верна и обратная
Теорема 4. Если
функция
такая,
что:
;
,
то существует распределение такое, что является его плотностью.
Просто применение формулы Ньютона-Лейбница приводит к простому соотношению между кумулятивной функцией и плотностью абсолютно непрерывного распределения.
Теорема 5. Если — непрерывная плотность распределения, а — его кумулятивная функция, то
.
