Матрица для нахождения условной вероятности

y₁ y₂

Найдем полную условную энтропию системы y относительно x

График функции имеет следующий вид:

Наибольшее значение эта функция принимает

при p=0 (то есть при отсутствии помех)

и при p=1 (то есть при негативной передаче).

При p=1/2 пропускная способность минимальна.

Рис.3.3. График функции С=f(p)

Пример 3.2. Рассмотрим более общий случай передачи по дискретному каналу. Найдем пропускную способность m-ичного канала связи.

На рис. 3.4 представлена модель передачи m-ичных сигналов, где x₁,х₂,…,х_m источники информации, y₁,y₂,…,y_m приемники информации.

Вероятность ошибки - p. Вероятность безошибочной передачи сигналов равняется 1- p, а в случае ошибки переданный сигнал может с одинаковой вероятностью (равной )быть воспринятым как любой из m-1 отличных от него сигналов.

Рис.3.4. m-ичный канал передачи информации

Матрица условных вероятностей имеет вид

Полная условная энтропия системы Y относительно X

График функции С(p) пропускной способности канала связи при m=4 представлен на рис.3.5

Рис.3.5. График функции C(p)

Эта функция максимальна при p=0, при вероятности . При p=1 .

Для дискретных каналов с помехами Шеннон дал вторую теорему.

2. Теорема Шеннона.

Пусть имеется источник информации X, энтропия которого в единицу времени равна H(X), и канал с пропускной способностью C. Если H(X)>C, то при любом кодировании передача сообщений без задержек и искажений невозможна. Если же H(X)<C, то любое достаточно длинное сообщение можно всегда закодировать так, что оно будет передано без задержек и искажений с вероятностью сколь угодно близкой к единице.

Согласование скорости выдачи информации, выдаваемой источником, с пропускной способностью канала связи

Рассмотрим случай, когда непрерывный сигнал выдается одиночным датчиком. При этом, ширина спектра датчика равна F_d . По теореме Котельникова, найдем интервал дискретизации . Количество отсчетов в секунду будет составлять . Если энтропия сообщения, то есть количество информации, которое содержится в одном отсчете, равна H(X), а количество отсчетов в секунду равно n₀, то количество информации, которое поступает от датчика в секунду, равно .

Пропускная способность канала связи должна быть не меньше скорости выдачи информации, выдаваемой датчиком:

, .

Откуда (3.10)

Полоса пропускания канала связи должна быть тем шире, чем шире спектр передаваемой информации (то есть, чем быстрее изменяется регистрируемая величина), чем больше количество передаваемых состояний, (то есть, чем точнее производится отсчет величины, даваемой датчиком) и чем меньше допустимое в канале связи отношение сигнал/шум.

Канал связи является дорогим сооружением, поэтому желательно, что бы по нему передавалась информация одновременно от многих источников информации. На рис. А представлена схема передачи информации по каналу от многих датчиков. Преобразователь служит для раздельной передачи информации, выдаваемой различными датчиками, и может быть построен с использованием метода селекции по времени или по частоте.

Рис.3.6. Комплексный датчик

Учитывая, что сообщения, выдаваемые различными датчиками статистически независимые, энтропия комплексного датчика будет равна H(X)=H(X₁)+H(X₂)+ . . . +H(X_n)

Энтропия сообщения i-го датчика определяется суммой

,

где m_i - количество состояний i - го датчика.

Будем исходить из условий равной вероятности состояний датчиков. В этом случае энтропия будет максимальной: . Тогда ,

где m₁, m₂^{, . . . ,} m_n - количество состояний 1, 2, . . . , n -го датчиков.

Количество состояний каждого из датчиков определяет точность передаваемой информации: чем больше регистрируется состояний, тем выше точность. Будем понимать под классом точности первичных датчиков величины:

. . . ,

Так, если m=100, то имеем первый класс точности, при m=20 - пятый класс точности.

Подставим m₁, m₂^{, . . . ,} m_n в H(X)

Заменим классы точности отдельных датчиков эквивалентным классом точности комплексного датчика

Далее определяется граничная частота для датчика, работающего с наибольшей частотой F_{d max}.

Количество опросов комплексного датчика будет . Если количество опросов в секунду n₀, то общее количество информации .

Согласование комплексного датчика с каналом связи может быть достигнуто, если количество информации, даваемое таким датчиком в единицу времени, не будет превосходить пропускной способности канала связи

Отсюда определяется наименьшая ширина полосы канала связи: . (3.11)

Для передачи информации обычно применяются бинарные сигналы. Такие сигналы передаются по каналу с различной модуляцией: АМ, ФМ, ЧМ.

Максимальная скорость передачи может быть определена по формуле

где F - спектр сигнала, p - вероятность искажения сигнала.

Если длительность элементарного сигнала t, то F=1/t.

Вероятность ложных переходов однозначно определяется через отношение P/N, поэтому можно записать

(3.12)

где вид функции зависит от вида модуляции.