10. Первая теорема Шеннона

<Теорема>

Первая теорема Шеннона о передаче информации, которая называется также основной теоремой о кодировании при отсутствии помех, формулируется следующим образом:

    При отсутствии помех передачи всегда возможен такой вариант кодирования сообщения, при котором среднее число знаков кода, приходящихся на один знак кодируемого алфавита, будет сколь угодно близко к отношению средних информаций на знак первичного и вторичного алфавитов.

    Используя понятие избыточности кода

<пояснение>

Для предотвращения потерь информации в канале были придуманы избыточные коды (коды с избыточностью). Преимущество избыточного кода в том, что при приеме его с искажением (количество искаженных символов зависит от степени избыточности и структуры кода) информация может быть восстановлена на приемнике.

</пояснение>,

можно дать более короткую формулировку теоремы:

    При отсутствии помех передачи всегда возможен такой вариант кодирования сообщения, при котором избыточность кода будет сколь угодно близкой к нулю.

или же

Первая теорема Шеннона: если пропускная способность канала без помех превышает производительность источника сообщений, т.е. удовлетворяется условие

C_k >V_u,

то существует способ кодирования и декодирования сообщений источника, обеспечивающий сколь угодно высокую надежность передачи сообщений. В противном случае, т.е. если

C_k <V_u

Такого способа нет.

</Теорема>

11. Пропускная способность канала связи как объект исследования теории информации

<Определение>

Пропускная способность - метрическая характеристика, показывающая соотношение количества проходящих единиц (информации, предметов, объёма) в единицу времени через канал, систему, узел.

Может измеряться в различных, иногда сугубо специализированных, единицах - штуки, кБит/сек, тонны, кубические метры и т.д.

Пропускная способность канала

Скорость передачи информации зависит в значительной степени от скорости её создания, способов кодирования и декодирования. Наибольшая возможная в данном канале скорость передачи информации называется его пропускной способностью. Пропускная способность канала, по определению, есть скорость передачи информации при использовании «наилучших» для данного канала источника, кодера и декодера, поэтому она характеризует только канал.

Пропускная способность дискретного (цифрового) канала без помех

C = log(m) бит/символ

где m – основание кода сигнала, используемого в канале. Скорость передачи информации в дискретном канале без шумов равна его пропускной способности, когда символы в канале независимы, а все m букв алфавита равновероятны (используются одинаково часто).

</Определение>

<Ресёрч обджект>

Введение понятий энтропии, количества информации, скорости выдачи информации источником, избыточности позволяют характеризовать свойства информационных систем. Однако для сравнения информационных систем только такого описания недостаточно. Обычно нас интересует не только передача данного количества информации, но передача его в возможно более короткий срок; не только хранение определенного количества информации, но хранение с помощью минимальной по объему аппаратуры и т.п.

       Пусть количество информации, которое передается по каналу связи за время Т равно

    .  Если передача сообщения длится Т единиц времени, то скорость передачи информации составит    .

Это количество информации, приходящееся в среднем на одно сообщение. Если в секунду передается n сообщений, то скорость передачи будет составлять   .

Пропускная способность канала есть максимально достижимая для данного канала скорость передачи информации:

                                (3.3)

Или максимальное количество информации, передаваемое за единицу времени: 

  

Скорость передачи может быть технической или информационной.

Под технической скоростью V_T, называемой также скоростью манипуляции, подразумевается число элементарных сигналов (символов), передаваемых в единицу времени     бод.

Информационная скорость или скорость передачи информации, определяется средним количеством информации, которое передается в единицу времени и измеряется  (бит/сек).  R=nH.

Для равновероятных сообщений составленных из равновероятных взаимно независимых символов   

В случае если символы не равновероятны  

В случае если символы имеют разную длительность

                                                                                    (3.4)

Выражение для пропускной способности отличается тем, что характеризуется максимальной энтропией

  бит/сек

Для двоичного кода    бит/сек

 

Пропускная способность является важнейшей характеристикой каналов связи. Возникает вопрос: какова должна быть пропускная способность канала, чтобы информация от источника X к приемнику Y поступала без задержек?  Ответ на этот вопрос дает 1ая теорема Шеннона. (см выше)

Для дискретных каналов с помехами Шеннон дал вторую теорему.

           2. Теорема Шеннона.

Пусть имеется источник информации X, энтропия которого в единицу времени равна H(X), и канал с пропускной способностью C. Если H(X)>C, то при любом кодировании передача сообщений без задержек и искажений невозможна. Если же H(X)<C, то любое достаточно длинное сообщение  можно всегда закодировать так, что оно будет передано без задержек и искажений с вероятностью сколь угодно близкой к единице.

</Ресёрч обджект>