7. Варіанти контрольної роботи
Варіант 1
Відомо, що одне з m можливих повідомлень, передаваних рівномірним двійковим кодом, несе 3 біта інформації. Чому дорівнює N?
Чому дорівнює ентропія системи, стан|достаток| якої описується дискретною величиною з|із| наступними|слідуючими| розподілами вірогідності|ймовірності|:
xi |
x1 |
x2 |
x3 |
x4 |
pi |
0,1 |
0,2 |
0,3 |
0,4 |
В результаті статистичних випробувань встановлено, що при передачі кожних 100 повідомлень завдовжки по 5 символів в повідомленні символ К зустрічається 50 разів, а символ Т – 30 разів. Разом з символом К символ Т зустрічається 10 разів. Визначити умовні ентропії Н(к/t) і Н(t/к).
Чому дорівнюють інформаційні втрати в каналі зв'язку, описаного за допомогою наступної|слідуючої| канальної матриці:
Визначити надмірність повідомлень, побудованих з алфавіту з наступним розподілом ймовірностіпояви символів в повідомленнях: pa = 0,03; pb = 0,26; pc = =0,09; pd = 0,05; ре = 0,16; pf = 0,1; pg=0,09; ph = 0,22.
Чому дорівнює мінімальна довжина кодових слів для передачі 16, 128, 57, 10, 432 повідомлень у вісімковому і двійковому кодах?
Варіант 2
Символи алфавіту володіють двома якісними ознаками (m = 2, символи первинного алфавіту). а) Яку кількість повідомлень можна отримати|одержувати|, комбінуючи по 3, 4. 5 і 6 елементів в повідомленні? б) Яка кількість інформації доводиться|припадає| на один елемент таких повідомлень?
Повідомлення складене з рівномірного алфавіту, m=128 якісних ознак, що містить. Чому дорівнює кількість символів в прийнятому повідомленні, якщо відомо, що воно містить 42 біта інформації? Чому дорівнює ентропія цього повідомлення?
Визначити загальну умовну ентропію повідомлень, складених з алфавіту А, В, якщоймовірністьпояви символів в повідомленні рівна рА=0,6; рВ=0,4. Умовна ймовірність переходів одного символу в іншій дорівнює р(В/а)=0,15; р(А/в)=0,1.
Визначити інформаційні втрати в каналі зв'язку, описаною наступною|слідуючою| матрицею:
Вірогідність появи букв первинного алфавіту на виході джерела повідомлень рівна: pa = 0,1; pb = 0,05; pc = 0,04; pd = 0,01; ре = 0,2; pf = 0,5; pg=0,07; ph = 0,03. Визначити ентропію, коефіцієнт ущільнення, надмірність і недогруженность символів повідомлень, побудованих з даного алфавіту.
6. Використовуючи знак розділу р, скрутити наступний масив чисел:
1 9 7 1 1 3 7 4 3 0
1 9 7 1 1 3 7 4 3 1
1 9 7 1 1 3 7 4 3 2
1 9 7 1 1 3 7 4 3 0
1 9 7 1 1 3 7 4 3 1
1 9 7 1 1 3 7 4 3 2
Варіант 3
У алфавіті три букви|літери| А, В, С. а) Скласти максимальну кількість повідомлень, комбінуючи по 3 букви|літери| в повідомленні? б) Яка кількість інформації доводиться|припадає| на одне таке повідомлення? у) Чому дорівнює кількість інформації на символ первинного алфавіту?
Визначити максимум системи, що складається з 6 елементів, кожен з яких може бути в одному з чотирьох станів|достатків| рівноімовірно.
При передачі повідомлень по каналу зв'язку з|із| шумами була отримана|одержувати| наступна|слідуюча| статистика: частота f1| з|із| 100 разів була прийнята 97 разів, 2 рази була прийнята частота f2| і 1 раз частота F3|; при передачі f2| 98 разів прийнята f2|, двічі – f1|; при передачі f3| 96 разів прийнята f3|, двічі - f2| і двічі – f4|; при передачі f4| 99 разів прийнята f4| і один раз - f3|.
а) Скласти канальну матрицю, що описує даний канал зв'язку з погляду умов проходження частот f1|, – f4|.
б) Визначити загальну|спільну| умовну ентропію повідомлень алфавітом яких є|з'являються| частоти f1| - f4,если| вірогідність|ймовірність| появи цих частот в передаваних повідомленнях відповідно рівна: p(f1|)=0,37, p(f2|)=0,3, p(f3|)=0,23, p(f4|)=0,1.
Повідомлення передаються комбінуванням частот f1|, f2|, f3|, f4|. Статистичні випробування каналу зв'язку для цих частот дали наступні|слідуючі| результати:
приемник
|
f1
|
f2
|
f3
|
f4
|
f1
|
0,9834 |
0,0160 |
0,0006 |
0 |
f2
|
0,0160 |
0,9837 |
0,0003 |
0 |
f3
|
0 |
0,0290 |
0,9708 |
0,0002 |
f4
|
0 |
0 |
0,0087 |
0,9913 |
а) Визначити ентропію об'єднання передаваних повідомлень, що приймаються, якщо частоти f1| – f4| з'являються|появляються| на виході передавача з|із| наступною|слідуючою| вірогідністю|ймовірністю|: p(f1|)= =p(f2|) = p(f3|)= 0,2; p(f4|)= 0,4.
б) Визначити інформаційні втрати при передачі повідомлень, що складаються з 1000 елементарних частотних посилок|посилань|.
Визначити середню надмірність на 200-буквений текст, побудований з алфавіту A, B, C, D з наступним розподілом вірогідності: pa = 0,1; pb = 0,25; pc = 0,35; pd = 0,3.
Яким способом найпростіше скрутити|згорнути| наступний|слідуючий| масив:
1 2 3 4 5 6 7 8
1 2 3 4 5 6 7 8
1 2 3 4 5 6 7 8
1 2 3 4 5 6 7 8
1 2 3 4 5 6 7 8
Показати процес згортання і розгортання даного масиву.
Варіант 4
1. Генератор виробляє чотири частоти f1|, f2|, f3|, f4|. У шифраторі частота комбінується по три частоти в кодовій комбінації. а) Чому дорівнює максимальна кількість комбінацій, складених з|із| цих частот? би) Чому дорівнює кількість інформації на одну кодову посилку|посилання| цих код?
2. Визначити ентропію словосполуки, складеної з|із| англійських букв|літер| Lemon| tea|. Вірогідність|ймовірність| появи букв|літер| в англійському тексті наступна|слідуюча|:
L-0,29|; E-0,1105|: M-0,021|; O-0,065|; N-0,059|; T-0,072|; A-0,063|.
3. В результаті статистичних випробувань встановлено, що при передачі кожних 100 повідомлень завдовжки по 5 символів в повідомленні символ До зустрічається 25 разів, а символ Т – 60 разів. Разом з символом До символ Т зустрічається 15 разів. Визначити умовні ентропії Н(К/т) і Н(Т/к).
4. Визначити середню кількість інформації, що міститься в прийнятому ансамблі повідомлень щодо переданого, якщо повідомлення складені з алфавіту А, Би, В. Вероятності появи букв в алфавіті на виході джерела повідомлень р(Аi)=0,25, p(Bi)=0,25, p(Ci)= 0,5. Умовнаймовірністьвиникнення пар виду ai/ bi наступна:
р(А/а)= 0,97; р(А/в)= 0,02; р(А/с)= 0,01; р(В/а)= 0,015; р(В/в)= 0,97; р(В/с)= 0,01; р(С/а)= 0,015; р(С/в)= 0,01; р(С/с)= 0,98.
5. Визначити загальну|спільну| і приватну надмірності деякого восьмибуквеного алфавіту, якщо відомо, що з урахуванням|з врахуванням| неравновероятности| розподілу символів його ентропія рівна Н’=2,7 біт/символ, а з урахуванням|з врахуванням| взаємозалежності букв|літер| ентропія цього алфавіту зменшується на 0,25 біт/символ.
6. Необхідно передати|передавати| в двійковому коді 9 чисел: 5, 7, 17, 31, 33, 127, 128, 129. Представити|уявляти| ці числа в двійковому коді.
Варіант 5
Відомо, що одне з m можливих повідомлень, передаваних рівномірним двійковим кодом, несе 4 біта інформації. Чому дорівнює N?
2. Чому дорівнює ентропія системи, стан|достаток| якої описується дискретною величиною з|із| наступними|слідуючими| розподілами вірогідності|ймовірності|:
xi |
x1 |
x2 |
x3 |
x4 |
pi |
0,25 |
0,25 |
0,3 |
0,2 |
Визначити загальну умовну ентропію повідомлень, складених з алфавіту А, В, якщоймовірністьпояви символів в повідомленні рівна рА=0,8; рВ=0,2. Умовнаймовірністьпереходів одного символу в іншій рівна р(В/а)=0,35; р(А/в)=0,2.
Визначити інформаційні втрати в каналі зв'язку, описаному наступною|слідуючою| канальною матрицею:
|
0,99 |
0,02 |
0 |
0 |
Р(а/b)=
|
0,01 |
0,98 |
0,01 |
0,01 |
|
0 |
0 |
0,98 |
0,02 |
|
0 |
0 |
0,01 |
0,97 |
Вірогідність появи символів A, B, C, D на виході джерела повідомлень відповідно рівні: рА = рВ = рС = рD =0,25. Визначити також середню кількість інформації в прийнятих повідомленнях щодо переданих.
З урахуванням частоти появи букв в текстах, ентропія англійської, німецької, французької і іспанської мов рівні відповідно: Нангл =4,03 біт/символ; Нфр = 3,96 біт/символ; Нісп = 3,98 біт/символ; Ннем = 4,1 біт/символ. Визначити приватну надмірність виду Dp для вказаних вище мов.
Визначити орієнтовну довжину кодового слова повідомлення, складеного з алфавіту А, Би, В, Грам, якщо рА = 0,1, рБ = 0,2; рВ = 0,3; рГ = 0,4, а вторинний код містить 8 якісних ознак.
Варіант 6
Символи алфавіту володіють двома якісними ознаками (m = 2, символи первинного алфавіту). а) Яку кількість повідомлень можна отримати|одержувати|, комбінуючи по 2, 3, 7 і 8 елементів в повідомленні? б) Яка кількість інформації доводиться|припадає| на один елемент таких повідомлень?
2. Повідомлення складене з рівномірного алфавіту, m=128 якісних ознак, що містить. Чому дорівнює кількість символів в прийнятому повідомленні, якщо відомо, що воно містить 42 біта інформації? Чому дорівнює ентропія цього повідомлення?
3. При передачі повідомлень по каналу зв'язку з|із| шумами була отримана|одержувати| наступна|слідуюча| статистика: частота f1| з|із| 100 разів була прийнята 97 разів, 2 рази була прийнята частота f2| і 1 раз частота F3|; при передачі f2| 98 разів прийнята f2|, двічі – f1|; при передачі f3| 96 разів прийнята f3|, двічі - f2| і двічі – f4|; при передачі f4| 99 разів прийнята f4| і один раз - f3|.
А) Скласти канальну матрицю, що описує даний канал зв'язку з погляду умов проходження частот f1|, – f4|.
Б) Визначити загальну|спільну| умовну ентропію повідомлень алфавітом яких є|з'являються| частоти f1| - f2,если| вірогідність|ймовірність| появи цих частот в передаваних повідомленнях відповідно рівна: p(f1|)=0,37, p(f2|)=0,3, p(f3|)=0,23, p(f4|)=0,1.
4. Використовуючи ентропію об'єднання, визначити кількість інформації при передачі повідомлень, побудованих|спорудити| з|із| алфавіту 1, 2, 3, якщо апріорна вірогідність|ймовірність| появи символів первинного алфавіту рівна між собою, а в результаті|унаслідок| дії перешкод 5% символів передаваних повідомлень можуть з|із| рівною імовірністю перейти в будь-який інший символ даного алфавіту.
Визначити надмірність повідомлень, побудованих з алфавіту з наступним розподілом ймовірностіпояви символів в повідомленнях: pa = 0,07; pb = 0,03; pc = 0,09; pd = 0,01; ре = 0,3; pf = 0,11; pg=0,09; ph = 0,3.
Знайти верхню і нижню межі|кордони| мінімальної середньої довжини кодових блоків, якщо первинний алфавіт російський, а вторинний|повторний| містить|утримує| дві якісні ознаки. Блоки складаються з 5, 10, 50, 100 букв|літер| в блоці. Довести, що верхня і нижня межі|кордони| зближуються з|із| подовженням|видовженням| блоку.
Варіант 7
У алфавіті три букви|літери| D, E, F. а) Скласти максимальну кількість повідомлень, комбінуючи по 2 букви|літери| в повідомленні? б) Яка кількість інформації доводиться|припадає| на одне таке повідомлення? у) Чому дорівнює кількість інформації на символ первинного алфавіту?
Визначити максимальну ентропію системи, що складається з 8 елементів, кожен з яких може бути в одному з п'яти станів|достатків| рівноімовірно.
3. В результаті статистичних випробувань встановлено, що при передачі кожних 100 повідомлень завдовжки по 5 символів в повідомленні символ До зустрічається 30 разів, а символ Т – 40 разів. Разом з символом До символ Т зустрічається 20 разів. Визначити умовні ентропії Н(К/т) і Н(Т/к).
4. Визначити кількість інформації в прийнятому ансамблі повідомлень, якщо задана умовнаймовірністьпереходу одного сигналу в іншій і ймовірностіпояви сигналів на виході джерела повідомлень: ра = 0,2; рb = 0,3; рс = 0,5; p(a’/a)= p(b’/b)= p(c’/c)= 0,97; p(b’/a)= p(c’/a)= p(a’/b)= p(c’/b)= p(a’/c)= p(b’/c)= 0,015.
Вірогідність появи букв первинного алфавіту на виході джерела повідомлень рівна: pa = 0,2; pb = 0,03; pc = 0,06; pd = 0,02; ре = 0,1; pf = 0,5; pg=0,06; ph = 0,03. Визначити ентропію, коефіцієнт ущільнення, надмірність і недогруженность символів повідомлень, побудованих з даного алфавіту.
6. Чому дорівнює середня довжина кодового слова оптимальної коди для первинного алфавіту з наступним розподілом вірогідності: р(а1)=0,13; р(а2)=0,16; р(а3)=0,02; р(а4)=0,03; р(а5)=0,6; р(а6)=0,01; р(а7)=0,05?
Варіант 8
Яка кількість інформації доводиться|припадає| на букву|літеру| алфавіту, що складається з 16, 25, 32 букв|літер|?
Визначити ентропію словосполуки, отриманої|одержувати| з|із| російських букв|літер|, – Яблуні квітнуть. Вірогідність|ймовірність| появи букв|літер| в російському тексті наступна|слідуюча|:
Я – 0,018; Би – 0,014; Л – 0,035; Про – 0,09; Н – 0,053; І – 0,062; Ц – 0,004; У - 0,038; Е – 0,072; Т – 0,053; У|біля| – 0,021.
3. Визначити загальну умовну ентропію повідомлень, складених з алфавіту А, В, якщоймовірністьпояви символів в повідомленні рівна рА=0,3; рВ=0,7. Умовнаймовірністьпереходів одного символу в іншій рівна р(В/а)=0,25; р(А/в)=0,15.
4. Визначити інформаційні втрати в каналі зв'язку, описаному наступною|слідуючою| канальною матрицею:
5. Визначити середню надмірність на 200-буквений текст, побудований з алфавіту A, B, C, D з наступним розподілом вірогідності: pa = 0,2; pb = 0,25; pc = 0,45; pd = 0,1.
Чому дорівнює довжина кодових комбінацій оптимальної коди для передачі повідомлень, складених з|із| 16, 32 і 28 рівноімовірних двійкових символів?
Варіант 9
1. Відомо, що одне з m можливих повідомлень, передаваних рівномірним двійковим кодом, несе 9 біта інформації. Чому дорівнює N?
2. Визначити максимум ентропії системи, що складається з 9 елементів, кожен з яких може бути в одному з трьох станів|достатків| рівноімовірно.
3. При передачі повідомлень по каналу зв'язку з|із| шумами була отримана|одержувати| наступна|слідуюча| статистика: частота f1| з|із| 100 разів була прийнята 97 разів, 2 рази була прийнята частота f2| і 1 раз частота F3|; при передачі f2| 98 разів прийнята f2|, двічі – f1|; при передачі f3| 96 разів прийнята f3|, двічі - f2| і двічі – f4|; при передачі f4| 99 разів прийнята f4| і один раз - f3|.
а) Скласти канальну матрицю, що описує даний канал зв'язку з погляду умов проходження частот f1|, – f4|.
б) Визначити загальну|спільну| умовну ентропію повідомлень алфавітом яких є|з'являються| частоти f1| - f2,если| вірогідність|ймовірність| появи цих частот в передаваних повідомленнях відповідно рівна: p(f1|) =0.37, p(f2|)=0,3, p(f3|)=0,23, p(f4|)=0,1.
4. Визначити інформаційні втрати в каналі зв'язку, описаному наступною|слідуючою| канальною матрицею:
5. Визначити загальну|спільну| і приватну надмірності деякого чотирьохбуквеного алфавіту, якщо відомо, що з урахуванням|з врахуванням| неравновероятности| розподілу символів його ентропія рівна Н’=1,7 біт/символ, а з урахуванням|з врахуванням| взаємозалежності букв|літер| ентропія цього алфавіту зменшується на 0,15 біт/символ.
6. Чому дорівнює початковий|вихідний| масив, якщо на проміжному етапі розгортання масив мав наступний|слідуючий| вигляд|вид|:
8 3 1 2 4 5 9 7
. . . . . . . 1
. . . . . . 2 1
. . . . . . . 4
. . . . . 3 5 7
3 4 2 1 3 4 2 2
. . . . . . 1 1
. . . . . . . 4
Варіант 10
Символи алфавіту володіють двома якісними ознаками (m = 2, символи первинного алфавіту). а) Яку кількість повідомлень можна отримати|одержувати|, комбінуючи по 3, 4. 9 і 11 елементів в повідомленні? б) Яка кількість інформації доводиться|припадає| на один елемент таких повідомлень?
2. Повідомлення складене з рівномірного алфавіту, m, що містить = 256 якісних ознак. Чому дорівнює кількість символів в прийнятому повідомленні, якщо відомо, що воно містить 42 біта інформації? Чому дорівнює ентропія цього повідомлення?
3. При передачі текстових повідомлень статистичні спостереження показали, що для слів з|із| середньою довжиною в 6 букв|літери| на кожних 100 повідомлень буква|літера| А зустрічається 80 разів, буква|літера| В зустрічається 50 разів, буква|літера| А і В разом зустрічаються 10 разів. Визначити умовну ентропію появи А, якщо в слові присутній В, і умовну ентропію В, якщо в слові присутній А.
4. Визначити інформаційні втрати в каналі зв'язку, описаному наступною|слідуючою| канальною матрицею:
5. З урахуванням частоти появи букв в текстах, ентропія англійської, німецької, французької і іспанської мов рівні відповідно: Нангл =4,03 біт/символ; Нфр = 3,96 біт/символ; Нісп = 3,98 біт/символ; Ннем = 4,1 біт/символ. Визначити приватну надмірність виду Dp для вказаних вище мов.
6. Яким початковим|вихідним| масивам відповідають наступні|слідуючі| згорнуті масиви:
а) 1 9 7 1 1 3 7 4 3 0
р 1 р 2 р 2 1 3 7 4
3 0 р 1 р 2
б) 1 9 7 1 1 3 7 4 3 0
р 1 р 2 р 2 1 3 7 4
3 0 р 1 р 2 р р р 7