4. Обработка информации в иис

4.1. Виды, задачи, источники информации

Задачи.

Методы:

Символистские	Коннективистские	Гибридные
RBS DT Fuzzy Probability BN HMM	LN ANN	FLN (Fuzzy + ANN) ANFIS PLN

4.2. Уровни обработки данных в иис

Принято выделять 6 уровней обработки.

Уровни:

0. SF – уровень определения и оценивания компонентов ситуации (признаки, слова, состояния).

1. DF – уровень оценивания объектов типа речевых сообщений или образов.

2. IF – уровень для оценки ситуаций (события, фазы процесса, сам процесс)

3. IF – то же, что 2), а также предсказание ситуаций.

4. ADM - Actional Decision Making. – уровень для управления ресурсами и процессом, автоматически без оператора.

5. HADM – Human Actional Decision Making – уровень принятия решений с участием человека-оператора и последующим динамическим перепланированием ресурсов для достижения главной цели (стратегии, управление ресурсами и объектами).

4.3. Слияние информации и принятие решений

Восприятие (слияние + распознавание)

Слияние – когда нужно интегрировать информацию от разных источников, в системах, где много источников, для эффективного принятия решений.

SF – несколько гетерогенных сенсоров объединяются и дают информацию об объекте.

Пример. Речевой сигнал и изображение лица.

- двумодальное распознавание речи.

DF- несколько источников БД об объектах объединяются.

KF – несколько источников знаний объединяются и дают новые знания об объектах.

Распознавание.

• Object Recognition

Объект – вещи, сообщения, образы (лицо, фигура, трёхмерные)

• Situation Asseccment – распознавание сцен (взаимодействие объектов).

• Process Statement – действия.

Постановка задачи OR.

Образ – некая сущность, имеющая описание (лингвистическое, структурное).

Дано M – множество сущностей W, в нём разбиение на множество классов:

4.4. Сегментация и классификация

4.5. Проблема распознавания речи

Speech Recognition – SR.

Natural Language Understanding – NLU.

Характеристики:

• Уровень шума

• Свойства канала передачи

• Размер словаря

• Вариативность

• Тип ввода

VAD – Voice Activity Detector – распознавание на фоне шума (преобразование Фурье, аппроксимация текущего отсчёта через линейную комбинацию).

Два способа:

1. Спектральное преобразование – преобразование акустического сигнала речи. Позволяет вычислить оптимальный набор параметров этого сигнала.

Отчёты включаются в каждый фильтр, пересчитываются с помощью окна, вычисляется энергия. Выход каждого фильтра логарифмируется, подвергается sin/cos преобразованию.

2. Линейное предсказание – авторегрессионный анализ, аппроксимация текущего отсчёта через линейную комбинацию соседних.

Распознавание методом HMM (Скрытые Марковские модели).

Основаны на теории дискретных случайных цепей (дважды стохастического процесса). Скрытый и наблюдаемый, позволяющий оценить основной.

Пример.

Параметры модели:

1. Тип

• Эргодическая

• Модель Бэкиса

2. Размер (число состояний): 3-4 для фонемы.

3. Тип наблюдаемых параметров

• Фонема

• Дифоны

• Слога

Алгоритм Витерби.

При распознавании изолированных слов:

• Создается модель каждого слова из словаря объемом V и оптимизируются её параметры путем обучения.

• Распознавание. Вычисление вероятности правдоподобия гипотез слов, выбор максимума.

Требуется большой объем акустической БД, создается акустический корпус. Создаются транскрипции, фонемо-разметки, разметка слова.

Использование статистического подхода значительно продвинуло распознавание речи в смысле сложности речи, зависимости от диктора и величины словаря.

Слитная речь трудно распознаваема.

Вероятность, с которой последовательность генерируется из модели, может быть вычислена двумя методами:

• Путем суммирования вероятностей всех возможных переходов

• Процедурой forward – backward:

Обучение HMM – регулирование параметров модели, чтобы для каждого слова получить максимальную вероятность.

Процедура Palm-Watch-Reastimation:

Задача двумодального распознавания.

Использование звуковой и визуальной информации. Подходы:

1. DI – direct identification model

Входные сигналы поступают прямо в кодировщик.

2. SI – separate identification model

Слово распознается отдельно по аудио и видео, формируется общая гипотеза.

3. DR – dominant recording model

Аудио – главное, а визуальный вход записывается внутрь и улучшает распознавание.

4. MR – motor recording model

Оба входа проектируются в видео пространство.

Распознавание визуальных образов

PCA – Principal Component Analysis. – анализ главных компонент, объединяет схожие символы, сжатие информации.

ICA – Independent component analysis – анализ независимых компонент, линейная комбинация.

SIFT – scale invariant feature transform – инвариантное к масштабу преобразование образов.

Фильтр – устройство/алгоритм для извлечения полезной информации из зашумленных данных.

Извлечение информации в дискретные моменты времени из данных, полученных до этого момента времени. Используется для выделения узловых точек.

Сглаживание – фильтрация, приводящая к уменьшению размера изображения за счёт интерполяции символов (меньше экстремальных точек).

Прогнозирование – получение прогноза состояния объекта после данного момента.

Примеры.

1. Гауссовый фильтр

Выход:

2. Габро – фильтр

Преобразование.

Аффинное:

Преобразование Хафа:

- для выделения различных элементов.

Выделение признаков:

- геометрически

- Линейный фильтр Хебба для выделения главных компонент (PCA)

Условия:

1. Все нейроны линейны

2. m входов, l выходов, l<m.

3. Хеббовское обучение через веса. Коррекция весов:

Алгоритм GHA (Gennalized Hebian Algorithm)

1. В момент n=1 инициализируем веса случайными малыми значениями.

2. n=1, вычисляем выходы и .

3. n=n+1, go to 2, пока стабильны. Таким образом - вектор главных компонент.

Выделение независимых компонент. Преобразование ICA.

Независимые источники: .

Линейная система характеризуется матрицей спещения: .

Найти разделяющую матрицу W, .

D – несингулярная матрица

P – матрица перемещения

- корреляция между компонентами. В идеале, для независимых I=0.

Решение: .

Для решения использовать нейронную сеть и алгоритм Infomax.

Энтропия H(X) – мера неопределенности x.

.

H(X,Y) – совместная энтропия.

Уровень оставшейся неопределенности относительно x после того как получено наблюдение y.

I – оценка взаимной информации через энтропию.

.

Нейронная сеть для преобразования ICA.

Обучение NN – на минимизации дивергенции между плотностями.

Метод градиентного спуска, коррекция весов:

SIFT.

Сглаживание изображения, Гауссовы фильтры.

1. Построении «пирамиды» из ключевых точек.

1. Увеличим изображение в 2 раза.

2. Преобразуем в соответствии с гауссовой функцией.

Первый прогон: . (А)

3. (В)

4. А-В.

5. Уменьшим размер изображения В в 1,5 раза – получаем следующий уровень пирамиды.

6. Повторяем 3-5 раз – формируем уровни пирамиды.

2. Формирование ключевых точек.

1. Находим точки, имеющие максимальные и минимальные значения среди 9-ти смежных точек на нижнем уровне пирамиды.

2. Вычисляем ориентации:

3. Формирование дескриптора объединением точек всех уровней для изображения.

Классификация объектов.

1. По суммированию признаков

2. Ближайшее соседство

3. Kd-tree

4. Мэтчинг графов

5. Вывод через RBS, FS, PS

6. Искусственные нейронные сети с обучением

7. Иерархический классификатор

Probabilistic Reasoning Model

- процедура Байеса, требуется знать априорные вероятности путем эксперимента.

- линейный Байесовский классификатор, линейная ковариационная матрица.

- вектор преобразования после ICA.

- среднее значение для k класса.

- вес признака для k класса.

Классификационное правило:

.

Возможность определить с вероятностных позиций наличие признаков в зоне гауссова распределения.

Классификация по ключевым точкам.

- по шаблонам из ключевых точек изображений тренинговых наборов.

Метод поиска наилучшего приближения по ближайшему соседу:

1. Формируется bin - корзина точек.

2. Исследуется bin ближайшей точки запроса.

3. Находим точки, строим область исследования с диаметром d.