39. Основные понятия теории информации.

Дискретные сообщения передаваемые по каналам связи в общем виде можно представить состоящим из n - элементов, каждый из которых находится в одном из m состояний (см. рис.). Сообщение, представленное в такой форме называют диаграммой состояний элементов сообщений.

В качестве состояния X_к можно использовать какое-либо из значений параметров импульса (амплитуда, длительность, задержка, фаза, частота, полярность и т.п.). Элементы сообщения называют символами, состояния элементов - буквами, а всю совокупность их состояний - алфавитом. Сообщение показанное на рис. 9.1 можно рассматривать как одно слово состоящее из n символов заданных алфавитом из m букв. Общее

число состояний, которое могут быть сформированы из

m букв по n символов определяется формулой (9.1)

Величина L могла бы быть принята за меру количества информации, но такая мера обладает рядом неудобств:

1) при L=1 сообщение несёт нулевую информацию, однако L 0.

2) при сложении информации от независимых источников не выполняется свойство аддитивности, т.е. простого линейного сложения информации.

Например, для двух источников с состояниями L₁ и L₂ общее число состояний L=L₁*L₂. Поэтому в качестве величины принятой за количество информации принята величина логарифма от L. Эта мера количества информации не имеет указанных неудобств. Таким образом, количество информации

(9.2)

Количество информации, приходящееся на один элемент называется удельной информативностью или энтропией сообщения и обозначается буквой Н: (9.3)

Основание log(m) в принципе может быть любым. Разным основаниям логарифма будут соответствовать разные меры количества информации. Наиболее общепринятым является выбор основания логарифма, равного двум, т.е. и (9.4)

В этом случае получаем количество информации выраженное в двоичных единицах или битах. В этом случае каждый элемент сообщения принимает одно из возможных состояний (например 0 или 1) и говорят, что передача производится двоичными (бинарными) сигналами.

40. Объём сигнала, скорость передачи информации.

Рассмотрим случай, когда длительность передаваемого сигнала равна T, а высшая частота спектра равна F_M. Строго говоря, такие условия несовместимы, т. к. сигнал конечной длительности обладает бесконечно широким спектром. Но практически всегда можно ограничиться рассмотрением полосы частот, за пределами которой энергия спектральных компонент пренебрежимо мала.

П усть за время Т (рис. 9.3) передано N отсчётов, причём в соответствии с теоремой Котельникова расстояние между отсчётами выбиралось равным , тогда: , а ряд Котельникова будет иметь вид:

(9.11)

Рис.9.3

Число N – число степеней свободы сигнала f(t) или базы сигнала. Приняв это число за число переданных символов сигнала n по формуле можно вычислить количество информации, переданной за время T, но для этого еще необходимо оценить число возможных состояний m, которые можно различить в передаваемом сигнале. Это число зависит от уровня помех в канале связи. Если приращение сигнала меньше чем эффективное (среднеквадратичное) напряжение помехи , то такое приращение трудно зафиксировать. Поэтому величину , связанную с мощностью помехи соотношением = принимают за единицу градаций сигнала в канале связи. Мощность сигнала при наличии передаваемого сообщения в канале равна Р_с+Р_п, а эффективное напряжение U_э= . Тогда число возможных градаций сигнала будет равно (9.12)

Откуда количество информации (с учётом, что n>>1) равно

(9.13)

В еличину I_о иногда называют объёмом сигнала и изображают в виде параллелепипеда в трёхмерной системе координат (рис. 9.4). Если взять отношение (9.14)

получим скорость передачи информации. Очевидно, что для нормальной передачи информации пропускная способность канала связи должна быть не менее чем скорость поступающей информации, т.е. должно выполняться неравенство Ск≥С. При передаче буквенно-цифровой информации производится кодирование сигналов, т.е. представление их в виде комбинаций импульсов различной длительности. Различают равномерные и неравномерные коды. Большое распространение в устройствах связи получили равномерный код Бодо и неравномерный код Морзе.