Теоретико-информационые меры связей.

Коэффициенты взаимной сопряженности основаны на критерии хи-квадрат. Их можно использовать, когда выполняются все предпосылки применения хи-квадрата: большой объем наблюдений. При невыполнении этих условий даже нулевое значение коэффициента взаимной сопряженности может не означать независимости признаков. Отмеченные ограничения отсутствуют у теоретико-информационных мер связей, основанных на величине количества информации I(у, х). С этой целью оценивается неопределенность распределения переменной у (без учета знания переменной х), т.е. вычисляется полная энтропия распределен шия переменной у:

, (1)

где j - номер категории переменной у;

- вероятность (частость) появления j-го значения переменной у.

Полная энтропия распределения вычисляется на основе безусловного распределения. После чего рассчитывается неопределенность распределения у при закрепленном значении х, т.е. энтропия условного распределения у:

. (2)

где

Формула (2) определяет энтропию распределения у при i-м значении переменной х. В целом условная энтропия определяется как:

(3)

Если х полностью предопределяет распределение у, то Н_х(у) = 0. Если х не связан с у, то Н_х(у) = Н(у).

Разность между полной и словной энтропией перемен ной есть количество информации о переменной у за счет знания переменной х, I(у, х). Количество ин формации, так же как энтропия распределения измеряется в битах. Это информационная мера. Энтропия распределения изменяется от 0 до, Нулевое значение энтропии распре деления означает, что неопределенности нет. Максимальная неопределенность соответствует равновероятному распределению. Частости такого распределения р(у) = 1/k, где k - число категории переменной у (к - 1, ..., р). Разработано целое семейство теоретико-информационных коэффициентов связи. Наиболее популярен коэффициент нормированной информации:

(4)

Очевиден смысл этого показателя как меры относительно редукции неопределенности наших знаний об y при получении знания об х. Коэффициент нормированной информации R у /X. Обладает следующими свойствами:

1. 0 R у /_X 1;

2. R_y/_X = 0 если переменные независимы;

3. Ry/X = 1, если между у и х имеет место полная (функциональная) связь. По сути, этот коэффициент аналогичен коэффициенту детерминации: в числителе - объясненная дисперсия (здесь — информация); в знаменателе — полная дисперсия.

Очевидно, что 0 Ry/X 1.

Пример. Изучается зависимость образования взрослых сына или дочери от образования матери. По данным таблицы 11.9. Вычислим полную энтропию переменной у по безусловному распредёлению, т.е. по данным о распределении сына или дочери по уровню образования без учета образования матери:

Образование Матери, x	Образование сына или дочери, y			Всего
	Высшее	Среднее специальное	Общее среднее и неполное среднее	Итого	В процентах к итогу
Высшее	83,5	10,4	6,1	100	12,4
Среднее специальное	42,5	50,5	7,0	100	14,8
Общее среднее	55,0	25,4	19,6	100	16,4
Неполное среднее	26,2	36,9	36,9	100	20,6
Начальное	20,2	29,6	50,2	100	35,8
Итого	38,4	31,1	30,5	100	100

По характеру итогового распределения видим, что оно близко к равновероятному, следовательно, полученное значение энтропии близко к . Затем рассчитаем энтропии условных распределений детей по образованию при условии определенного образования матери:

Точно так же рассчитываются значения энтропии других условных распределений детей по образованию:

Сравнение полученных значений свидетельствует о влиянии образования матери. Так, в первом случае при наличии высшего образования у матери энтропия распределения детей наименьшая, т.е. если мать имеет высшее образование то более вероятно, что сын или дочь тоже получит высшее образование.

Условная энтропия распределения детей по образованию вычисляется как средняя взвешанная из полученных значений .

Данные об образовании матери уменьшили неопределенность знания об образовании детей. Полученное количество информации равно:

Коэффициент нормированной информации равен:

Если бы такое значение принял коэффициент корреляции, мы бы сделали вывод, что связь слабая. А применяя коэффициент нормированной информации, следует помнить, что если связь либо умеренно тесная, либо тесная.