5. Раскрыть содержание меры энтропии по Шеннону и связь этой меры с мерой энтропии по Хартли. Единицы измерения энтропии.

В основу теории информации положен предложенный К.Шенноном метод исчислений количества новой (непредсказуемой) и избыточной (предсказуемой) информации, содержащейся в сообщениях, передаваемых по каналам технической связи. Исторически первые шаги к введению понятия энтропии были сделаны в 1928 г. американским инженером-связистом Хартли, предложившим характеризовать степень неопределенности опыта с различными исходами числом log . Однако он считал несущественным возможность неравновероятных исходов. Ошибочность точки зрения Хартли была показана Клодом Шенноном, предложившим принять в качестве меры неопределенности опыта с возможными исходами , А₁, А₂... величину. (бит).

6. Как оценивается скорость передачи информации.

Скорость передачи данных измеряется количеством битов информации, передаваемых за единицу времени: бит/с. … Пропускная способность оценивается количеством знаков, передаваемых по каналу за единицу времени: знак/с. Скорость передачи информации по каналу это количество информации на выходе за одну секунду. Скорость передачи данных - скорость, с которой передается или принимается информация в двоичной форме. Обычно скорость передачи данных измеряется количеством бит, переданных в одну секунду.Биты в секунду - единица скорости передачи информации, равная количеству двоичных разрядов, пропускаемых каналом связи в 1 секунду с учетом и полезной и служебной информации.

Пропускная способность канала связи - максимальная скорость передачи данных от источника к получателю.Символы в секунду - единица измерения скорости передачи (только) полезной информации.

1 байт = 23 бит =8 бит,

- 1 килобайт = 210 байт = 1024 байт,

- 1 мегабайт = 210 Кбайт = 1024 Кбайт,

- 1 гигабайт = 210 Мбайт = 1024 Мбайт,

- 1 терабайт = 210 Гбайт = 1024 Гбайт, - 1 петабайт = 210 Тбайт = 1024 Тбайт

.

7. Элементы комбинаторики. Правила умножения и сложения.

Комбинаторика – раздел математики, в котором изучаются задачи выбора элементов из заданного множества и расположения их в группы по заданным правилам, в частности задачи о подсчете числа комбинаций (выборок), получаемых их элементов заданного множества. В каждой из них требуется подсчитать число возможных вариантов осуществления некоторого действия, ответить на вопрос: «Сколькими способами?» Многие комбинаторные задачи могут быть решены с помощью следующих 2х важных правил, называемых соответственно правилами умножения и сложения.

Правило умножения.

Если из нек множ первый объект (элемент х) можно выбрать n1 способами и после каждого такого выбора второй объект (элем у) можно выбр n2 способами, то оба объекта (х и у) в указ порядке можно выбрать n1*n2 способами.Это правило распр-ся на случай трех и более объектов.Пример: сколько трехзначных чисел можно составить из цифр 1,2,3,4,5, если: а) числа не повт; б) числа могут повтор. Решение: а) 1ую цифру выбираем 5мя способами, 2ую – 4мя, 3 – 3мя 5*4*3=60 способов б) 5*5*5=125 способов.

Правило сложенияЕсли некот объект х можно выбр n1 способами, а объект у можно выбр n2 способами, причем первые и вторые выборы таковы, что они взаимно искл друг друга и не могут быть получены одновременно, то объект хUу (х или у) можно выбр n1+n2 способами.

Пример: Четыре города M,N,P,K соединены дорогами так, что из M в N ведут 5дорог, из N в K – 6 дорог, из M в P ведут 4 дороги, из P в К – 3 дороги. Сколькими способами можно проехать из М в К?Решение: Из М в К через N ведут 5*6=30 дорог, Из М в К через P ведут 4*3=12 дорогИз М в К ведут 30+12=42 дороги.