10. Статистическая мера информации. Мера Шеннона.

Если заданы исходные вероятности всех возможных исходов опыта, т.е. Pi(i=1,2…) , то исходную неопределенность, учитывающую разновероятность отдельных исходов можно определить по вероятностной или статистической мере Шеннона, которая описывается выражением. (бит/символ). По аналогии с термодинамической мерой неопределенности она получила название энтропии. Если предположить, что вероятности всех событий одинаковы, то мера Шеннона превращается в меру Хартли. .

11. Количество информации при измерении.

С позиции теории информации процесс измерения рассматривается с вероят–ных позиций и ему придается статистический смысл. Итог проведенного эксперимента истолковывается, как сокращение неопределенностей знаний об измеряемой величине. В результате измерения исходная неопределенность измеряемой величины не может быть снижена до нуля, т.к. всегда присутствует погрешность, а следовательно полная энтропия и соответственно количество информации определяется выражением J(X)=h(X)-H(ΔР/Xи)=h(X)-P (ΔР)*logP(ΔP). Xи – измеряемое значение, H(ΔР /Xи) – условная энтропия, характеризуется неопределенность значения о значении величины, обусловленная погрешностью измерения. P(ΔР) – плотность вероятности распределения погрешности ΔР.

12. Пропускная способность канала связи.

[бит/сек], где n,T – число и время измерений; - максимальная энтропия i-го сообщения.

, где - частота среза амплитудно-частотной характеристики канала связи; - номинальное значение измеряемой величины; - максимальная абсолютная погрешность измерения.

Следует различать понятие: “скорость передачи сигнала” [симв/сек] и “пропускную способность” , где m – число символов.

Пропускная способность канала связи с помехами: [бит/сек], где Р – ширина спектра сигнала; Рс и Рп – мощность исходного сигнала и мощность помехи.

Избыточность источника информации: , где R – производительность источника информации; С – пропускная способность.

13. Квантование сигналов.

Это представление сигналов в виде ограниченного числа отсчета интервалов. Квантование может быть равномерным и неравномерным. Уровни сигналов могут принимать бесконечное множество значений, если точности их определения не ограниченны. На практике точная передача по уровню не производится из-за наличия различного уровня помех, ограниченной разрешающей способности приборов и др. причин. При квантовании весь возможный диапазон от до делится на несколько частей. Полученная шкала называется шкалой квантования. А ее деления уровнями квантования. Для четкого разграничения принадлежности данного множества истинных значений сигнала, вся область разбивается на интервалы, которые называются шагами квантования. При этом уровни квантования располагаются внутри шагов квантования. Если истинное значение сигнала лежит внутри шкалы квантования, то его значение заменяется значением к-го уровня. При квантовании по уровню возникает ошибка, которая неустранима и неизбежна. Квантованный сигнал можно представить как сумму истинного значения и ошибки , а операцию квантования трактовать как прохождение сигнала через элемент системы подверженный действию помехи. Эта помеха называется шагом квантования. Поскольку сигнал это случайная функция, то и помеха тоже случайная функция.