Первое количественное определение понятия информации.

Пример: бросаем игральную кость, совершаем n бросков.

m = 6; p(x) = . p(x) = . где M – возможное число

микросостояний.

ln(M) = - ln() ; S = k*ln(M) = -k*ln()

S_i = -k*ln(p_i)

p_i – вероятность застать систему в i-ом состоянии.

S_i – случайная энтропия.

Некоторые учёные прямо называют энтропию S количеством информации. Другие учёные количеством информации называют величину обратную S, которая получила название негоэнтропия. Чем меньше неопределенность, тем больше вероятность.

Энтропия в случае неравновесных термодинамических систем.

Есть термодинамическая система, которая может находиться в разных состояниях с разной вероятностью. Нас интересует средняя энтропия у данной системы.

S_ср = S_ip_i = -k*p_i*ln(p_i) - средняя энтропия.

Например, мы можем вычислить S_ср источника сообщений. Среднюю энтропию S_ср называют энтропией источника сообщений.

Принцип максимума энтропии в физике, технике, связи и экологии.

Для закрытых термодинамических систем было установлено, что энтропия таких систем должна возрастать, поскольку энтропия связана с типом распределения микросостояний, то для разных типов и энтропия будет разная. Поэтому природные системы “стремятся подчиняться“ такому распределению, при котором энтропия максимальна.

Прстейший вид вариационной задачи.

Рассмотрим газ состоящий из N частиц. Разделим сосуд на n одинаковых частей. Подсчитаем число частиц в к-ой ячейке.

Р_i = . При каком распределении энтропия системы будет максимальна?

Количественно задача формируется S = p_i*ln(p_i) S = S_max

Максимум энтропии соответствует равномерное распределение.

Распределение Больцмана.

Рассмотрим предыдущую задачу, введя ограничения на скорости молекул.

S = S_max p(x) = Aexp(-). – распределение Больцмана.

Распределение Больцмана характеризует число частиц в ячейке с энергией W(x). Чем больше энергия, тем реже она встречается в ячейках.

Интерпретация закона максимизации энтропии в биологии, экологии и информатике.

Интерпретация закона в биологии и экологии – отмечается, что распределение живых организмов таково, что оно обеспечивает максимальную энтропию.

Система изолирована. Наблюдения из космоса показывают, что распределение естественных ландшафтов отличается от распределения искусственных ландшафтов.

Открытые термодинамические системы. Информационные процессы в физике биологии и технике.

Открытой называется система, которая взаимодействует с окружающей средой с помощью потоков вещества и с помощью физических полей.

U = A + Q A – энергия высокого качества, этой энергией система обменивается с окружающей средой.

Функции веществ:

1. Используются как строительный материал.

2. Вещества содержат упорядоченные движения, которые мы используем для упорядочения своих движений.

Если система обменивается с окружающей средой только полями, то такая система – замкнутая.

В открытых системах не достигается равновесное состояние. Такие системы принципиально неравновесные.

Основное свойство открытых систем.

В открытых системах возможно локальное понижение энтропии. Упорядоченность системы локально возрастает.