5.2. Свойства энтропии

1. Энтропия является неотрицательной вещественной величиной. Это так, по- скольку вероятность лежит в интервале от 0 до 1, ее логарифм отрицателен, а значение –p_ilog p_i положительно.

2. Энтропия ограничена сверху значением 1.

3. Энтропия равна 0, только если одно из состояний имеет вероятность, рав-

ную 1 (полностью определенный источник).

4. Энтропия максимальна, когда все состояния источника равновероятны. При этом H_max(U_N) = log₂ N.

5. Энтропия источника с двумя состояниями изменяется от 0 до 1, достигая максимума при равенстве их вероятностей.

6. Энтропия объединения нескольких независимых источников информации равна сумме энтропий исходных источников.

7. Энтропия характеризует среднюю неопределенность выбора одного состоя-

ния из ансамбля, не учитывая содержательную сторону (семантику) состоя-

ний.

8. Энтропия как мера неопределенности согласуется с экспериментальными психологическими данными. Время безошибочной реакции на последова-

тельность случайно чередующихся равновероятных раздражителей растет с увеличением их числа так же, как энтропия, а при переходе к неравноверо- ятным раздражителям, среднее время реакции снижается так же, как энтро-

пия.

5.3. Единицы количества информации

Бит – очень мелкая единица измерения количества информации. Более крупная единица – байт, состоящий из восьми битов. (Восьмибитный байт стал стандартным только с распространением системы IBM System 360 (ЕС ЭВМ), до того в разных вычислительных системах использовались байты разного раз- мера.)

Применяются и более крупные единицы: Килобайт (Кбайт) – 1024 байт – 2¹⁰ байт Мегабайт (Мбайт) – 1024 Кбайт – 2²⁰ байт Гигабайт (Гбайт) – 1024 Мбайт – 2³⁰ байт Терабайт (Тбайт) – 1024 Гбайт – 2⁴⁰ байт Петабайт (Пбайт) – 1024 Тбайт – 2⁵⁰ байт

В качестве единицы количества информации можно было бы выбрать ко- личество информации, содержащееся, например, в выборе одного из десяти равновероятных сообщений. Такая единица будет называться дит или десятич- ной единицей.

5.4. Качество обслуживания

Качество обслуживания (Quality of Service, QoS) сетью потребителя ее услуг определяется, в основном, производительностью и надежностью. Произ- водительность характеризуется следующими основными параметрами:

- Время реакции сети – интегральная характеристика сети с точки зрения пользователя – интервал времени между возникновением запроса пользова- теля к сетевой службе и получением ответа на этот запрос.

- Пропускная способность или скорость передачи данных – объем данных,

переданных за единицу времени. Пропускная способность может, измерять- ся в битах в секунду (бит/c) или в пакетах в секунду. Различают среднюю, мгновенную и максимальную пропускную способность.

- Задержка доставки данных – время от передачи блока информации до его приема. Часто задержку передачи (вносимую каким-либо сетевым устройст- вом) определяют как интервал времени между моментом поступления паке-

та на вход сетевого устройства и моментом появления его на выходе этого устройства. Обычно качество сети характеризуется максимальной задержкой передачи и вариацией задержки.

Надежность оценивается, среди прочих, следующими характеристиками:

- Коэффициент готовности – доля времени, в течение которого система может быть использована.

- Уровень ошибок – определяется как вероятность безошибочной передачи определенного объема данных. Например, вероятности 0,99999 соответству- ет 1 ошибочный бит на 100000 переданных битов. Для локальных сетей ха- рактерен уровень ошибок 1 на 10⁸-10¹² бит.

Максимальная скорость передачи для канала без шума (идеальный слу- чай), согласно теореме Найквиста, составляет 2Hlog₂V, где H – пропускная спо- собность, V – количество различаемых уровней сигнала.

Для реальных каналов (с шумом) максимальная скорость передачи опре- деляется по теореме Шеннона: Hlog₂(1+S/N), где S/N – отношение мощности полезного сигнала с мощности шума (“отношение сигнал-шум”).