Завдання 4
Число символів алфавіту m. Визначити кількість інформації на символ повідомлення, що складається з цього алфавіту: - якщо символи зустрічаються з рівними ймовірностями, - якщо символи алфавіту зустрічаються у повідомленні з різноймовірнимо (ймовірності вибираються самостійно):
Варіант |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
12 |
13 |
14 |
15 |
16 |
17 |
18 |
19 |
20 |
21 |
m |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
3 |
Завдання 5
Чому дорівнює кількість інформації [в бітах] при отриманні 7 повідомлень рівномірного чотири розрядного трійкового (з основою 3) коду?
Примітка: пригадати та використати властивості логарифмів
Завдання 6
Повідомлення складені з рівноймовірного алфавіту, із змістом m якісних ознак. Чому дорівнює кількість символів n у прийнятому повідомленні, якщо відомо, що воно містить I бітів інформації. Чому дорівнює ентропія цього повідомлення.
Варіант |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
12 |
13 |
14 |
15 |
16 |
17 |
18 |
19 |
20 |
21 |
m |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
3 |
I |
4 |
5 |
6 |
7 |
12 |
13 |
14 |
15 |
20 |
25 |
7 |
8 |
9 |
10 |
11 |
15 |
16 |
14 |
15 |
25 |
9 |
Примітка: , Завдання 7
Чому
дорівнює ентропія системи, яка складається
з
взаємозалежних підсистем, якщо:
1) кожна підсистема складається з елементів, кожний з яких з рівною вірогідністю може знаходитися у станах;
2)
підсистема
складається з
елементів, підсистема
- з
елементів і так далі, підсистема
- з
елементів, кожен з них може з рівною
ймовірністю знаходитись у
станах;
3) кожна підсистема складається з різної кількості елементів, які з різною ймовірністю можуть знаходитись в одному зі станів.
(числові значення кількості взаємозалежних систем вибираються самостійно, але не більше 4, кількість елементів не більше 10, кількість станів не більше 4, ймовірності задаються самостійно)
Примітка:
Знайдемо
ентропію однієї підсистеми:
.
Визначимо ентропію окремих підсистем:
.
Загальна ентропія системи дорівнює:
Знайдемо ентропію на один елемент підсистеми:
Знайдемо
ентропію окремих підсистем:
Тоді загальна ентропія дорівнює сумі ентропій окремих підсистем:
Завдання 8
Визначити ентропію системи, складеної з двох підсистем. Перша підсистема складена з m елементів, кожен з яких може знаходитися у двох станах з ймовірностями які вибираються самостійно. Друга підсистема складена з n елементів, кожен з яких може знаходитися у трьох станах з ймовірностями які також вибираються самостійно. Оберіть ймовірності підсистем так, щоб їх сума була рівні одиниці.
Примітка:
Знаходимо
ентропію на елемент першої та другої
підсистеми:
,
.
Ентропія
першої підсистеми
Ентропія
другої підсистеми
Загальна
ентропія
Завдання 9
Визначити ентропію повідомлень з m літер, якщо загальна кількість літер в алфавіті дорівнює n і всі повідомлення рівно ймовірні.
Варіант |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
12 |
13 |
14 |
15 |
16 |
17 |
18 |
19 |
20 |
21 |
m |
11 |
12 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
n |
15 |
16 |
17 |
18 |
19 |
20 |
21 |
1 |
2 |
3 |
4 |
5 |
6 |
7 |
8 |
9 |
10 |
11 |
12 |
13 |
14 |