12. Основные информационные меры, используемые в рамках информационного подхода к комплексированию геофизических методов.
Информационные меры для дискретных случайных величин:
- количество информации, содержащееся в сообщении об отдельном событии xi-h(xi)
- энтропия (энтропия сложной системы, словная энтропия)
- среднее количество информации, содержащееся в системе Х о системе У
Информационные меры для непрерывных случайных величин:
- энтропия непрерывной системы
- уровень дискретизации Δх и Δу
- среднее количество информации для непрерывных систем Х и У
Информационные меры для выбора комплекса методов:
- коэффициент эффективности
-парный и множественный коэффициент корреляции
13. Основные свойства энтропии
Значение функции осредненное по всем значениям (состояниям) Х
H(x)=
Называется энтропией и характеризует среднее количество информации, необходимое для полного определения системы Х. Н(Х) является мерой определенности системы Х.
Свойства энтропии:
- принимают только положительные значения Н(Х)>0.
- равна нулю в случае полного отсутсвия неорпделенности, когда вероятность одного из состояний системы равна 1, а остальных – 0.
- при заданном числе состояний n максимальна и равна log n .когда вероятности всех n состояний равны, т.е. P(x1)=P(x2)=…=P(xn)=1/n
Свойства энтропии сложной системы:
- Н(х,у)≤Н(х)+Н(у)
- если системы Х и У зависимы, то Н(х,у)= Н(х)+Н(у/х)= Н(х/у)+Н(у)
- если системы Х и У независимы, то энтропия максимальна Н(х,у)= Н(х)+Н(у)
- если состояние одной системы полностью предопределяет состояние другой системы, то Н(х,у)= Н(х)=Н(у)
Основные свойства условной энтропии:
- значение условной энтропии не может превзойти значение безусловной энтропии, т.е. Н(у/х)≤ Н(у)
- если системы Х и У статистически независимы, то Н(у/х)= Н(у)
- если состояние каждой из систем однозначно определяют состояния другой (полная зависимость систем) , то Н(у/х)=0
14. Примеры детерминированных алгоритмов распознавания образов: на n-образов, на 1 образ.
По ближайшему одному:
- вычисляются меры сходства по косвенному признаку распознаваемого объекта со всеми объектами обучения
- на множестве вычисленных мер сходства ищется максимальная
- проверяется номер образа, к которому относится объект, наиболее схожий с распознаваемым объектом
- распознаваемый объект относится к тому же образу, что и объект, наиболее схожий с распознаваемым объектом
По среднему в образах:
- вычисляются меры сходства по косвенному признаку распознаваемого объекта со всеми объектами обучения
- вычисляется средняя мера сходства распознаваемого объекта с объектами первого и второго образов
- какая из вычисленных мер сходства больше, к такому образу и принадлежит объект
По общему среднему:
- вычисляются меры сходства по косвенному признаку распознаваемого объекта со всеми объектами обучения
- вычисляется средняя мера сходства распознаваемого объекта со всеми объектами обучения
- сравнивается значение мер сходства с объектами
- первого образа со средним значением меры сходства, подсчитывается число ситуаций n1, когда значение меры сходства превышает среднее
- второго образа со средним значением меры сходства, подсчитывается n2
- подсчитываются отношения: N1=n1/L1; N2=n2/L2, где L1,L2 – число объектов первого и второго образа соответственно.
- какое из полученных отношений больше, к такому классу и относится распознаваемый объект.
На один образ
– вычисляем центр масс множества исследуемых объектов
- вычисляем меру сходства объекта со всеми объектами материала обучения
- ищем минимальное значение меры сходства
- относим объект к образу
2) – вычисляем меру сходства между всеми парами объектов
- ищется минимальная мера сходства
- распознаваемый объект сравнивается со всеми объектами обучения
- относим объект к образу