Глава 2 Количество и характер используемой информации

2.1. Количественная оценка информации

Информация передается в виде сообщений выраженных в виде букв или цифр. За единичную меру количества информации в сообщении принят 1 бит (0 или 1).

При равной вероятности появления событий 0 и 1 имеем: Р(0) = Р(1) = 0,5.

Из множества неравновероятных событий появления символов a_k (k=1,2,…l) с вероятностью появления P(a_k)= P_k (P_k<1), получим разную информацию при приеме символа a_k. Чем меньше P_k, тем больше информации при появлении события a_k.

Количество информации полученной при приеме символа a_k. оценивают величиной: .

Энтропия источника сообщения дает представление о его возможности передавать информацию:

Оценим количество информации в одном бите, содержащееся в единичном сообщении о наступлении одного из событий :

Событие

При равновероятных событиях получаем 1 бит информации при одном событии.

Последовательная передача m событий даёт

при (чем больше длина “ слова ”, тем больше индекс)

Число сочетаний в m составляет

Для оцифровки непрерывных сигналов проводят квантование по времени (рис 1.4) и по значению. Отсчёты по времени берутся через интервалы, определяемые теоремой В.А.Котельникова:

t=_s=1/(2f_sв) ,

где - высшая частота спектра сообщений.

Иногда за _s берут интервал корреляции случайного процесса.

Рис. 1.4. Выбор интервала квантования по времени

В общем случае можно оценить информацию одного значения радиосигнала S(t) как меру неопределённости его появления в определенном интервале значений: ,

где - область возможных равновероятных значений S,

- дискрет (интервал) значений S.

Информация о реализации (случайные функции) S(t) за время t оценивается по формуле:

Скорость получения информации будет: .

Большую информацию в жизни и радиотехнике несут звуковые (речевые и музыкальные) сигналы с частотами до 25 кГц. Еще большую информацию несёт сигнал, изменяющийся в пространстве и во времени (телевидение) f_sв = 8 МГц.

2.2. Вероятностное описание процесса (сообщения)

Непрерывное сообщение можно описать многомерной плотностью распределения вероятности w(S(t_i,z_k)).

Обычно достаточно менее полное описание одномерной плотностью распределения вероятности , которая характеризует отклонение значений от среднего. В радиотехнике используются сигналы с колебанием напряжения или тока около нулевого значения (среднее значение равно 0), которые называют стационарными случайными процессами. Для их описания используют статистические характеристики, корреляционную и спектральную функции.

Статистические характеристики стационарного процесса

Обычно используют следующие усредненные параметры:

Здесь: М1 – математическое ожидание или среднее значение процесса S(t) на интервале Т ; Д – дисперсия значений процесса, М2 – центрированная дисперсия. При большом Т у стационарного процесса М1=0 и М2=Д.

Используют также ниже следующие усредненные характеристики.

Корреляционная (или автокорреляционная) функция характеризует меру связанности процесса:

где  - текущее время внутри области интегрирования,  - разность времени (интервал) между точками, в которых берутся значения S(t).

Корреляционная функция стационарного процесса зависит только от  (т.е. R(τ)), причем R(0)=Д. Если корреляционную функцию разделить на дисперсию Д, то получим нормированную корреляционную функцию () = R(0)/Д у которой (0) =1.

Если ()>0,5 , то говорят, что есть взаимная связь между значениями S(t) и S(t-). Наоборот, если ()<0,5, то связи между ними нет. Величина _к, при которой (_к)= 0,5, называется интервалом корреляции. Таким образом, в интервале от =0 ((0)=1) до =_к ((_к)=0,5) связь между S(t) и S(t-) есть, а при >_к её нет.

По аналогии с автокорреляционной используется понятие взаимнокорреляционной функции:

_

R_xy() =  x(-)y()d.

^

Эта функция характеризует меру связанности двух процессов x(t) и y(t) в различные моменты времени, разделенные во времени интервалом  .

Преобразование Фурье (или спектр) процесса S(t) дает амплитудное распределение частотных составляющих:

,

Зная F_s() можно восстановить значение исходной функции S(t), воспользовавшись рядом Фурье:

.

Или, осуществить более полное восстановление, с помощью обратного преобразования Фурье:

_

S(t)=1/2  F_s() e ^-it d .

^

Энергетический спектр сигнала, или распределение по мощности частотных составляющих определяется с помощью преобразования Фурье от корреляционной функции:

.

Как и в предыдущем случае, восстановить корреляционную функцию можно с помощью обратного преобразования Фурье.

Всякий процесс можно описать не только гармоническими (синусоидальными) функциями, но и полиномами:

Такое описание позволяет производить экстраполяцию функции за пределы наблюдения (прогноз), интерполяцию (детальное изменение между двумя точками) и сглаживание (исключение выбросов от случайных помех). Коэффициенты а_i определяются путем решения системы алгебраических уравнений.

Аналогичное описание процесса может быть сделано ортогональными функциями:

, где .

Условие ортогональности выражается следующим образом:

_Т

I =  P_i(t) P_j(t) d t = { =1 при i=j и =0 при ij }.

⁰