Работа канала связи при отсутствии помех.

Напомним, что понятие канала связи, рассмотренное выше, понимается нами не только как система технической связи, но и как описание физического, химического, биологического эксперимента или процедуры измерения. Полученные выше формулы позволяют дать физическую интерпретацию процессов измерений и экспериментов как особого типа неравновесных термодинамических процессов, совершаемых людьми. Аналогичные неравновесные термодинамические процессы, очевидно, могут происходить в других видах природных явлений, прежде всего в живой природе. Отсюда становится понятным, почему биологи и экологи активно используют терминологию теории информации для описания биологических явлений. Но всегда существуют внешние воздействия, которые нарушают процесс измерения. Чтобы отразить эти природные явления, понятие пропускной способности канала связи, понятие количества информации пришлось усовершенствовать. Для этого Шеннон ввел новую физическую величину, которая называется количество информации связи двух случайных величин.

X Y

Помехи.

X и Y - зависимые случайные величины.

Если входных сигналов несколько, то P(y) = P(x_i)*P(y|x_i).

P(x|y) = - формула Байеса – есть процесс интерпретации результатов эксперимента при наличии помех.

Переходя к логарифмам вероятности, получаем определение количества информации:

I(x|y) = log(). - это количество информации, заключенное в y относительно x.

В случае, когда x принимает множество значений, получается среднее количество информации:

I_ср = P(x,y)log() где P(x,y) – совместная вероятность.

I_ср = P(x,y)log(P(x)) - P(x,y)log(P(x|y))

Эти выражения напоминают формулы для среднего количества информации или для средней энтропии:

I_xy = H(x) – H(x|y) H(x) – априорная энтропия.

H(x|y) – апостериорная энтропия.

Методы повышения количества информации в технических и биологических системах. Принцип максимума информации.

Физический смысл взаимной информации Шеннона заключается в количественном описании тесноты связи между двумя взаимодействующими частями открытой термодинамической системы.

I_xy = H(x) – H(x|y).

Рассмотрим конкретный пример описания некоторых форм поведения живых организмов. Физический смысл Х – есть стимул, условия внешней среды, воздействующие на организм. Физический смысл Y – есть реакция организма на стимул.

Биологи учат, что для достижения наибольшей жизнеспособности организма, требуется максимизировать связь между условиями окружающей среды и реакциями организма. На языке это есть вторая вариационная задача: максимизация взаимной информации при ограничениях на количествр информации. Организм будет добиваться максимума количества информации связи как выбором своих реакций, так и выбором стимулов.

Если апостериорная неопределенность равна нулю, то реакция организма однозначно связана со стимулами.

Замечание: в случае если (H(x|y) = 0) мы получаем I = H(x).

Информация – определенный класс неравновесных термодинамических процессов и все что с ними связано.

Однако наличие внешних помех (голод, усталость) не позволяет организму достигать полной определенности в отношении результата, он может лишь понижать его неопределенность. На статистическом языке это означает, что минимизируется условная энтропия системы. Физическими механизмами стабильности являются механизмы обратной связи: регуляторные механизмы, условные рефлексы. Биологи эти процессы обобщенно называют процессами гомеостаза. Однако в ряде случаев, когда априорное разнообразие стимулов H(x) невелико, происходит узкая специализация механизма понижения апостериорной энтропии (H(x) невелико – это плохо), т.к. если происходит резкое повышение разнообразия воздействий, а организм на них не настроен, то механизмы понижения апостериорной энтропии не срабатывают и организм гибнет. Поэтому в процессе эволюционного развития организмы повышают свой ассортимент стимулов, на которые они способны адекватно реагировать. Такая стратегия обеспечивает максимальную жизнеспособность в условиях резкого изменения условий окружающей среды.

Пример: 1.Поисковая активность – стремление организма разнообразить стимулы.

2.Увеличение биоразнообразия экосистем за счет механизма генетических мутаций.

Таким образом, принцип максимума информации имеет глубокую эволюционную основу. Само возникновение жизни и развитие биосферы связаны с порождением, накоплением и отбором информации. Этот принцип действует на высших этапах эволюции, отражаясь в различных формах человеческой деятельности, включая развитие техники и технологий. Принцип максимума информации является обобщением принципа максимума энтропии для неравновесных открытых систем.

Отметим, что биосфера в процессе эволюции стремиться к максимизации количества информации. Для этого биосфера земли:

1. Увеличение H(x): биосфера усложняет свою внутреннюю структуру генерацией и переработкой информации (за счет положительных обратных связей, бифуркации, катастрофы). Бифуркация – это переход из одного неустойчивого состояния в другое.

2. Уменьшение H(x|y): биосфера усложняет и развивает свою структуру управления, которая призвана сохранять от внешних воздействий уже созданные сложные системы от внешних воздействий. Использует особые механизмы – отрицательные обратные связи.

Техносфера, по-видимому, является частью биосферы. Отсюда можно понять причины, по которым информационные технологии активно внедряются в процессы защиты окружающей среды. По-видимому, общие закономерности развития биосферы и механизмы ее гомеостаза требуют активного внедрения информационных технологий. Именно информационные технологии способны стабилизировать развитие технологической цивилизации. Это говорит о существенной роли информационных технологий в инженерной защите окружающей среды. Разумеется, рассматриваемые закономерности термодинамики, принцип максимизации информации подсказывают первое, пока эскизное объяснение явление эволюции биосферы.