20.5. Информационные оценки

Множество возможных результатов измерения конечно и мо­жет определяться, например, при количественной оценке входной величины х в виде N=(x_ma.x—х_т1_П)/в, где е — погрешность изме­рения. Поскольку результат измерения представляется в число­вом виде, то N=h^l, где /—количество разрядов, h — основание кода.

Для характеристики количественной информации, которая мо­жет быть получена от данного средства измерения, более удоб­ной часто оказывается логарифмическая мера (Хартли, 1928 г.) / = logiV= /log h, линейно зависящая от количества разрядов /. При измерении независимых величин (х\, ..., хи) общее количест­во информации при применении логарифмической меры 1(х\, ... ..., x_k)=I(x\)+ .. .-\-I(x_k). При использовании двоичного кода единицей, количества информации является /=Hog22=l бит.

Если появления тех или иных результатов измерения рассмат­ривать как случайные события, реализующиеся с известными ве­роятностями, то неопределенность различаемых состояний харак­теризуется в виде энтропии для дискретных Н(Х)=— ^ р(*г)Х

i

log p(_Xi)=M[—log p(x)] и для непрерывных Н(Х) =

со

=M{-log [f(x),Ax]}= - f f (x) log f(x)dx-log\Ax=H*(X) -

— oo

—IogAx величин. В выражении для энтропии непрерывных вели-

—logiA>; величин. В выражении для энтропии непрерывных вели­чин f(x)—плотность распределения вероятностей X, Н*(Х) — дифференциальная энтропия, значение log Ах может изменяться и при Дл;->-0 оно стремится к оо.

Дифференциальная энтропия равномерно распределенной на

ь

_f

l |

. _ log dx =

а

=log(b—а), а для нормально распределенной центрированной вели­чины //* (X) = log ]/2Tte (jy.

При объединении независимых величин (X, U) их энтропии складываются: Н(Х, U)=H(X) + {U).

Для зависимых в вероятностном смысле величин X и U услов­ная энтропия для дискретных величин H(U\X)=—2j 2j/?(^x<", "j)X

X \ogp{Uj\Xi) и H{X\U)= — 2S P{xi, Ui)\o%p{Xi\uj), a

' i для непрерывных дифференциальная энтропия H*(U\X) =

со

= — { [f(x)f(u\x)\ogf(u\x)dxdu.

—00

Значение энтропии иссследуемого объекта до и после измери­тельного эксперимента позволяет определить количество инфор­мации, получаемое в результате проведения этого эксперимента:

I(X, U)=H{X)—H(X\U)=H(U)—H(U\X).

Для сравнения существующих и оценки погрешностей вновь проектируемых средств измерения удобно использовать эквива­лентное число делений — число различимых уровней (делений) такого измерительного устройства, в котором производится опе­рация идеального квантования по уровню и отсутствуют осталь­ные погрешности. Это устройство позволяет при равномерном рас­пределении измеряемой величины получить такое же количество информации, как и рассматриваемое измерительное устройство.

Эквивалентное число делений Ы_э=Ь1А_э=а'^(Х,и), где а — осно­вание логарифма, L—динамический диапазон, Д_э—-эквивалент­ный квант. При равномерном распределении измеряемой величи­ны I(X, U)=log_a{L/b)—H(X\U), и тогда N_b=L_a-^HmV)JA здесь Д—деление шкалы устройства). Эквивалентный квант Д_э, по существу, определяет энтропийную погрешность средства изме­рения.

Для информационной оценки динамических свойств средств измерения употребляются средняя скорость получения информа­ции R=I(X, U)/T бит/с и пропускная способность C=.max R. Про-

W*)} пускная способность определяет потенциально возможную макси­мальную скорость получения или передачи информации данного

средства ИИТ (по возможным плотностям распределения вероят­ности передаваемой величины).

Для равномерного распределения при заданной верхней час­тоте сигнала f_B и при наличии только квантования скорость по­лучения информации ^р=2/_в log (L/Д). Это выражение является пропускной способностью для всех f(x), ограниченных по макси­мальному значению.

Для нормально распределенных и аддитивных помехи U и сиг­нала X с мощностями Р_п и Р_с при верхней граничной частоте сиг­нала /_в

Н (X) = log V2w°_x = \ log 2ъеР_с; Н (£/) = (1 /2) log 2теР_п;

Н(Х, U) = (l/2)log2ne(P_c+P_n); C=(n/T)[H(X)-H(X\U)],

где n=2f_BT.

Следовательно, C=f_B log (l-\-P_c/P_n), a I_max(X, U)=CT= =f_BT log (1+P_C/P_U).

Из последнего выражения следует, что одно и то же количе­ство информации может быть получено при различных соотноше­ниях между /_в, Т и Р_с/Рп-

Информационные характеристики полезно использовать при проектировании для согласования между собой характеристик функциональных узлов, для сравнительной оценки вариантов и оптимизации выбранного варианта структуры системы.

Основные вопросы, связанные с информационными оценками, освещены в [20.5—20.8].