1)Кількість повідомлень н яку можна отримати комбінуючи м символів по н елементів у повідомленні можна подати залежністю:

Н=м^н (2)

Для двійкової системи числення : Н=2^н

Отже кількість інформації, що передається знаходиться в експонентній залежності від кількості елементів у повідомленні. Тому Н недоцільно використовувати як міру кількості інформації. Тоді Хартлі запропонував прийняти логарифм числа можливих послідовностей символів:

І=logN=logmⁿ=nlogm (3)

І тоді невизначеність, що припадає на символ алфавіту, що складений з рівно ймовірних і взаємозалежних символів буде визначатися :

N=logm (4)

Для двійкової системи:

N=log₂m (4a)

Тоді кількість інформації І для рівно ймовірних і взаємонезалежних символів первинного алфавіту в к-повідомленнях можна подати:

I=kN=klog₂m (5)

Для не рівно ймовірної появи символів в первинному алфавіті із ймовірністю р_і ентропія 1 символ Н буде визначається:

N=E_i-1^mp_ilog₂1/p_i = -E_i-1^m p_ilog₂ p_i. (6)

На основі 6 можна отримати співвідношення для кількості інформації у повідомленні:

I = -k E_i-1^m p_ilog₂ p_{i (7)}

В теорії інформації розрізняють поняття кількості інформації та об’єм інформації. Кількість інформації визначається виключно характеристиками первинного алфавіту . Об’єм інформації визначається характеристиками вторинного алфавіту. Під об’ємом інформації розуміють кількість символів у прийнятому вторинному алфавіті:

Q=k*l_c (8)

В випадку, якщо міра невизначеності Н= l_c, , тоді Q=I інакше I<Q

Це основі базові співвідношення для кількості інформації.

Безумовна ентропія та її властивості.

Безумовна ентропія - це питома кількість інформації на один елемент повідомлень складених із алфавітів між символами яких відсутня взаємозалежність.

Якщо розглядати поняття ентропії, як міри невизначеності деякого досліду. Результат якого залежить від вибору одного елементу із множини вихідних, то множину вихідних елементів називають вибірковим простором.

Імовірність знаходження елемента вихідної множини в тому чи іншому стані єдодатніми числами, а сума вихідних елементів рівна 1.

Якщо виконується ця умова то результат досліду не можливо віднисти до повної групи подій.

Вибірковий простір та його ймовірнісні характеристики, являє собою ансамбль повідомлень.

Для дискретного ансамблю імовірність подій рівна сумі імовірностей елементів вибіркового простору, які відносяться до цієї події.

Ансамбль повідомлень на виході джерела інформації називаєть ансамблем джерела повідомлень і переважно позначається як «А».

Абстрактній алфавіт за допомогою якого представляється вихідна множина елементів показується маленькими буквами «а» і для m-елементів це буде множина А -> {a1,a2,…am}.

Відповідно імовірності появи символа на виході джерела повідомлень позначається малою буквою «р» р(а1), р(а2),…р(аm).

– сума ансамблю повідомлень А має бути рівна 1.

Ентропія ансамблю повідомлень А=>Н(А)= -

Визначає невизначеність появи на виході джерела повідомлень букви первинного алфавіту. Ансамбль повідомлень на виході приймача називається ансамблем приймача повідомлень і переважно позначається буквою «В».

Для того щоб відрізнити передані і прийняті сигнали абстрактний алфавіт в якому представлений ансамбль приймача представлений аансамбль приймача позначається В=>{b1,b2,b3,…bm}

Імовірності появи цих елементів Р(b1), Р(b2)… Р(bi)… Р(bm);

Умова, що сума

Ентропія для повідомлення B рівна Н(А)= -

Ентропія ансамблю повідомлень являє собою невизначеність появи на вході приймача символу після його появи на виході джерела повідомлення, якщо в системі пердачі інформації не відбувається втрачання інформації то завжди bi символ відповідає ai i H(A)=H(B).