2. Введение

Теорией информации называется наука, изучающая количественные закономерности, связанные с получением, передачей, обработкой и хранением информации. Возникнув в 40-х годах нашего века из практических задач теории связи, теория информации в настоящее время становится необходимым математическим аппаратом при изуче­нии всевозможных процессов управления.

Черты случайности, присущие процессам передачи информации, заставляют обратиться при изучении этих процессов к вероятностным методам. При этом не удается ограничиться классическими методами теории вероятностей, и возникает необходимость в создании новых вероятностных категорий. Поэтому теория информации представляет собой не просто прикладную науку, в которой применяются вероят­ностные методы исследования, а должна рассматриваться как раздел теории вероятностей.

Получение, обработка, передача и хранение различного рода ин­формации—непременное условие работы любой управляющей системы. В этом процессе всегда происходит обмен информацией между раз­личными звеньями системы.

Любая информация для того, чтобы быть переданной, должна быть соответственным образом «закодирована», т. е. переведена на язык специальных символов или сигналов. Сигналами, передающими информацию, могут быть электрические импульсы, световые или зву­ковые колебания, механические перемещения и т. д.

Одной из задач теории информации является отыскание наиболее экономных методов кодирования, позволяющих передать заданную информацию с помощью минимального количества символов. Эта задача решается как при отсутствии, так и при наличии искажений (помех) в канале связи.

Другая типичная задача теории информации ставится следующим образом: имеется источник информации (передатчик), непрерывно вы­рабатывающий информацию, и канал связи, по которому эта инфор­мация передается в другую инстанцию (приемник). Какова должна быть пропускная способность канала связи для того, чтобы канал «справлялся» со своей задачей, т. е. передавал всю поступающую информацию без задержек и искажений?

Ряд задач теории информации относится к определению объема запоминающих устройств, предназначенных для хранении информации, к способам ввода информации в эти запоминающие устройства и вы­вода ее для непосредственного использования.

Чтобы решать подобные задачи, нужно прежде всего научиться измерять количественно объем передаваемой или хранимой информа­ции, пропускную способность каналов связи и их чувствительность к помехам (искажениям). Основные понятия теории информации, из­лагаемые в настоящей главе, позволяют дать количественное описа­ние процессов передачи информации и наметить некоторые матема­тические закономерности, относящиеся к этим процессам.

3. Энтропия как мера степени неопределенности состояния физической системы

Любое сообщение, с которым мы имеем дело в теории информа­ции, представляет собой совокупность сведений о некоторой физи­ческой системе. Например, на вход автоматизированной системы управления производственным цехом может быть передано сообщение о нормальном или повышенном проценте брака, о химическом со­ставе сырья или температуре в печи.

Очевидно, если бы состояние физической системы было известно заранее, не было бы смысла передавать сообщение. Сообщение при­обретает смысл только тогда, когда состояние системы заранее не­известно, случайно.

Поэтому в качестве объекта, о котором передается информация, мы будем рассматривать некоторую физическую систему X, которая случайным образом может оказаться в том или ином состоянии, т. е. систему, которой заведомо присуща какая-то степень неопределенности. Очевидно, сведения, полученные о системе, будут, вообще говоря, тем ценнее и содержательнее, чем больше была неопределенность системы до получения этих сведений («априори»). Возникает естественный вопрос: что значит «большая» или «мень­шая» степень неопределенности и чем можно ее измерить?

Степень неопределенности физической системы определяется не только числом ее возможных состояний, но и вероятностями состояний.

Рассмотрим некоторую систему X, которая может принимать конечное множество состояний: x1,…xn с вероятностями р1,…,pn, где pi=P(X=xi)- вероятность того, что система Х примет состояние xi.

В качестве меры априорной неопределенности системы (или пре­рывной случайной величины X) в теории информации применяется специальная характеристика, называемая энтропией. Понятие об энтропии является в теории информации основным.

Энтропией системы называется сумма произведений вероятностей различных состояний системы на логарифмы этих вероятностей, взя­тая с обратным знаком:

H(X)= - pi log pi (1)

Пример 1. Определить энтропию физической системы, состоящей из двух самолетов (истребителя и бомбардировщика), участвующих в воздушном бою. В результате боя система может оказаться в одном из четырех возможных состояний:

1) оба самолета не сбиты;

2) истребитель сбит, бомбардировщик не сбит;

3) истребитель не сбит, бомбардировщик сбит;

4) оба самолета сбиты.

Вероятности этих состояний равны соответственно 0,2; 0,3; 0,4 и 0,1.

По формуле (1) имеем.

Н (X) = - (0,2 log (0,2) + log (0,3) +log (0,4) + log (0,1)).

Вычисляя, находим

Н(Х)= 0,4644 4- 0,5211+0,52884-0,3322 =1,85 (дв. ед.).

Формула (1) служит для непосредственного вычисления энтропии. Однако при выполнении преобразований часто более удобной оказывается другая форма записи энтропии, а именно, представление ее в виде математического ожи­дания:

H(X)=M[—logP{X)]