23. 1.18. Как определяется единица измерения количества информации?

Бит определяется как количество информации, содержащееся в равновероятном выборе из двух возможностей

24. 1.19. В каких случаях и по какой формуле можно вычислить количество информации, содержащейся в сообщении?

Формула Хартли: I = log2N - выбор одного сообщения из конечного наперёд заданного множества из N равновероятных сообщений, а количество информации I, содержащееся в выбранном сообщении определял, как двоичный логарифм N

Формула Шеннона: I = — ( p1log2 p1 + p2 log2 p2 + . . . + pN log2 pN), где pi — вероятность того, что именно i-е сообщение выделено в наборе из N сообщений – учитывает возможную неодинаковую вероятность сообщений в наборе.

25. 1.20. Почему в формуле Хартли за основание логарифма взято число 2?

Потому что в теории информации рассматривается количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"—"решка", "чет"—"нечет" и т.п.).

Пусть т 1 =2, т 2 =3. Тогда I 1 = log 2 N дает единицу информации при N=2, a I 2 = log 3 N дает единицу при N=3. Значит, в первом случае для получения единицы информации производится выбор из двух равновероятных возможностей, а во втором случае — из трех. Для технической реализации удобнее работать с двумя возможностями, скажем, включением или выключением какого-либо элемента, наличием или отсутствием тока, и т.п. Поэтому за основание логарифма удобнее использовать число 2.

26. 1.21. При каком условии формула Шеннона переходит в формулу Хартли?

Если вероятности p1, ..., pN равны, то каждая из них равна 1 / N, и формула Шеннона превращается в формулу Хартли.

27. 1.22. Что определяет термин "бит" в теории информации и в вычислительной технике?

Бит в теории информации — количество информации, необходимое для различения двух равновероятных сообщений (типа "орел"—"решка", "чет"—"нечет" и т.п.).

В вычислительной технике битом называют наименьшую "порцию" памяти компьютера, необходимую для хранения одного из двух знаков "0" и "1", используемых для внутри машинного представления данных и команд.

28. 1.23. Приведите примеры сообщений, информативность которых можно однозначно определить.

Сегодня 13 июня 2017 года.

29. 1.24. Приведите примеры сообщений, содержащих один (два, три) бит информации.

Один бит: При броске монеты выпала решка.

Два бита: При первом броске монеты выпала решка, при втором броске тоже решка.

30. 2. Упражнения

31. 2.1. Запишите множество вариантов загорания двух светофоров, расположенных на соседних перекрёстках.

Ответ:

32. 2.2 Три человека, Иванов, Петров и Сидоров, образуют очередь. Запишите все возможные варианты образования этой очереди.

    1) Иванов, Петров, Сидоров;	4) Петров, Сидоров, Иванов;
    2) Иванов, Сидоров, Петров;	5) Сидоров, Иванов, Петров;
    3) Петров, Иванов, Сидоров;	6) Сидоров, Петров, Иванов.

33. 2.3. Назовите все возможные комбинации из двух различных нот (всего нот семь: до, ре, ми, фа, соль, ля, си).

Ответ: 42 = 7*6

34. 2.4. Пусть голосуют 3 человека (голосование "да"/"нет"). Запишите все возможные исходы голосования.

Ответ: исходов 8.

"да-да-да", "да-да-нет", "да-нет-да", "да-нет-нет", "нет-да-да", "нет-да-нет", "нет-нет-да", "нет-нет-нет".

2.5. Предположим, что имеются 3 автомобильные дороги, идущие от Парижа до Тулузы, и 4 — от Тулузы до Мадрида. Сколькими способами можно выбрать дорогу от Парижа в Мадрид через Тулузу? Попытайтесь найти систематический метод для последовательного нахождения решения так, чтобы можно было составить список способов, не пропустив ни одного из них.

Ответ: Двенадцатью способами.

2.6. Поезд находится на одном из восьми путей. Сколько бит информации содержит сообщение о том, где находится поезд? Ответ: 3 бита информации (8 = 2³).

2.7. Сколько существует различных двоичных последовательностей из одного, двух, трех, четырёх, восьми символов? Ответ: Двоичных последовательностей из одного бита всего 2¹= 2, из двух битов — 2²= 4, из трех битов — 2³= 8, из четырех битов — 2⁴= 16, из восьми битов — 2⁸= 256.

2.8. Каков информационный объём сообщения "Я помню чудное мгновенье" при условии, что один символ кодируется одним байтом и соседние слова разделены одним пробелом? Ответ: 24 байта, или 192 бита.