10. Вероятностный подход к измерению непрерывной информации
В основе теории информации лежит предложенный Шенноном способ измерения количества информации, содержащейся в одной случайной величине, относительно другой случайной величины. Этот способ приводит к выражению количества информации числом.
Для
непрерывных случайных величин,
и
,
заданных плотностями распределения
вероятностей 
, 
и 
,
аналогичная формула имеет вид
Очевидно, что
и, следовательно,
11. Информационная энтропия
Информационная энтропия — мера неопределённости или непредсказуемости информации, неопределённость появления какого-либо символа первичного алфавита. При отсутствии информационных потерь численно равна количеству информации на символ передаваемого сообщения.
Энтропия д.с.в – это минимум среднего количества бит, которое нужно передавать по каналу связи о текущем значении данной д.с.в.
Энтропия — это количество информации, приходящейся на одно элементарное сообщение источника, вырабатывающего статистически независимые сообщения.
Информационная двоичная
энтропия для
независимых случайных событий 
с 
возможными
состояниями (от 
до
, 
—
функция вероятности) рассчитывается
по формуле
12. Свойства информации и информационной энтропии
Энтропия дискретной случайной величины в теории информации определяется формулой
Свойства меры информации и энтропии:
, 
и
независимы;
;
-
константа;
,
где 
;
.
Если 
,
то
-
функция от
.
Если
-
инъективная функция1 от
,
то
.
13. Радиотехническая модель передачи информации
В общем виде модель РТС ПИ можно представить так:
14. Источник информации или сообщения
Источник информации или сообщения- это физический объект, система или явление, формирующие передаваемое сообщение. Само сообщение- это значение или изменение некоторой физической величины, отражающие состояние объекта. Как правило первичные сообщения- речь, музыка, изображения- представляют собой функции времени неэлектрической природы. С целью передачи по каналу связи эти сообщения преобразуются в электрический сигнал, изменения которого во времени отображает передаваемое сообщение. Значительная часть передаваемых сообщении не являются сигналами- это массивы чисел, текстовые или иные файлы.
15. Различие между кодером и декодером источника
Декодер источника.
Поскольку информация источника (λ(t) , Λ) в процессе передачи подвергалась кодированию с целью ее более компактного (или более удобного) представления (сжатие данных, экономное кодирование, кодирование источника), необходимо восстановить ее к исходному (или почти исходному виду) по принятой последовательности X*. Процедура восстановления * по X* называется декодированием источника и может быть либо просто обратна операции кодирования (неразрушающее кодирование/декодирование), либо восстанавливать приближенное значение *, в большей или меньшей степени отличающееся от (разрушающее кодирование/декодирование). К операции восстановления * по X* будем относить также восстановление, если в этом есть необходимость, непрерывной функции *(t) по набору дискретных значений оценок *.
Кодер источника-Подавляющая часть исходных сообщений - речь, музыка, изображения и т.д. - предназначена для непосредственного восприятия органами чувств человека и в общем случае плохо приспособлена для их эффективной передачи по каналам связи. Поэтому сообщения (λ(t) или Λ), как правило, подвергаются кодированию. В процедуру кодирования обычно включают и дискретизацию непрерывного сообщения λ(t), то есть его преобразование в последовательность элементарных дискретных сообщений { λi }.
Под кодированием источника в РТС ПИ будем понимать сокращение объема (сжатие) информации с целью повышения скорости ее передачи или сокращения полосы частот, требуемых для передачи.
Кодирование источника иногда называют экономным, безызбыточным или эффективным кодированием, а также сжатием данных. Под эффективностью в данном случае понимается степень сокращения объема данных, обеспечиваемая кодированием.