- •37. Перцептрон и его математическая модель.
- •Математическая модель перцептрона.
- •38. Алгоритм обучения перцептрона
- •39. Сходимость алгоритма обучения перцептрона. Теорема Новикова.
- •Теорема Новикова.
- •40, 41 Итеративные процедуры распознавания на основе градиентных методов: минимизация одной функции, минимизация нескольких функций.
- •Решение задачи оро.
- •Сходимость процедуры.
- •42. Алгоритм обучения перцептрона как реализация специальной стратегии совместной минимизации нескольких функций с помощью градиентных методов.
- •43. Физическая интерпретация метода потенциальных функций
- •Решение двух случаев.
- •44. Кумулятивный потенциал. Алгоритм итеративного вычисления кумулятивного потенциала
- •45. Теоремы о сходимости обучения классификации методом потенциальных функций.
- •46. Достоинства и недостатки распознающих процедур перцептронного типа
- •47. Элементы задачи решения.
- •Байесовская теория решения.
- •48. Условный риск. Общий риск.
- •49. Постановка Байесовской задачи решения. Оптимальное решающее правило. Связь с задачей распознавания.
- •Типовая задача распознаванию образов.
- •50. Классификация с минимальной вероятностью ошибки.
- •Замечание.
- •51. Минимаксное решающее правило
- •Пусть теперь функция потерь неизвестна.
- •52. Процедура Неймана-Пирсона
- •Модель.
- •Процедура – экстремальная задача.
- •53. Схема доказательства оптимальности процедуры Неймана-Пирсмана
- •От противного.
- •Случай 2.
- •54. Обучение байесовской процедуры распознавания: оценка неизвестных параметров.
- •55. Оценка неизвестной плотности вероятности по априорной информации
- •56. Оценка неизвестной плотности вероятности с использованием экспериментальных данных.
- •57. Правило ближайшего соседа как пример непараметрического метода распознавания: оценка вероятности ошибки классификации. Правило ближайшего соседа.
- •58, 59 Мгуа
- •2.3. Понятие и виды опорных функций
- •Критерий регулярности.
- •Критерий несмещенности.
- •2.6. Критерии остановки мгуа
- •60. Достоинства и недостатки
- •61. Постановка задач лингвистического распознавания
- •62. Три способа решения задачи
- •Классификация на основе синтаксического анализатора:
- •63. Задача восстановления грамматики по обуч выборке
- •Теорема о разрешимости задачи для информаторного представления.
- •Теорема о неразрешимости для текстуального представления.
- •68. Два класса алг восст грамм
- •69. Алг Фельдмана
- •Часть 1.
- •Часть 2.
- •Часть 3.
- •70. Требование к вектору признаков
- •71. Среднеквадратичное расстояние в евкл простр
- •72. Преобр детерм вект призн, миним внутрикласс расст
- •73. Способы учета изменен межкласс расст при миним внутрикласс раст
2.6. Критерии остановки мгуа
Ряды селекции продолжают наращиваться
до тех пор, пока критерий несмещенности
решений падает:
.
Схема применения МГУА для решения задачи распознавания образов
Задачу распознавания образов будем решать с помощью выявления некоторого инвариантного свойства для совокупности изображений, объединяемых в один класс. То есть данное свойство для образов из одного класса примерно одинаково, а для образов из различных классов имеет отличающиеся значения.
Пусть инвариантным свойством образов
класса будет некоторая функция f(X).
Инвариантность означает, что функция
остается почти одинаковой для всей
совокупности образов одного класса, т.
е.
для класса
;
для класса
и т. д. Функцию f(X)
можно представить как поверхность в
многомерном пространстве, построенную
так, что образам разных классов
соответствуют несвязные отрезки на оси
f.
Выше сказанное для выборки, состоящей из n точек и имеющей l признаков, можно представить следующим образом:
-
номер
точки
присваиваемое НАМИ классам значение
признаки
1
fi
x1(1)
x2(1)
……………
xl(1)
2
fj
x1(2)
x2(2)
xl(2)
…..
………….
……………
…………
……………
…………
n
fk
x1(n)
x2(n)
……………
xl(n)
Где xi(j) – значение i-го признака j-й точки, fk – значение присваиваемое k-му классу. Нашей задачей является определения функции f.
Решающее правило, основанное на этой функции, будет выглядеть следующем образом:
,
где
- средняя высота над изображениями
класса
.
Общая схема:
1) Выбрать вид частных описаний и критерия селекции
2) Разбить выборку на обучающую и проверочную
3) Из всевозможных пар признаков составить частные описания
4) Для каждого частного описания определить значения коэффициентов a0, a1, a2, …
5) Выбрать F лучших описаний согласно выбранному критерию селекции
6) Если минимальное значение параметра селекции частных описаний на данном шаге не улучшилось, то восстановить решающую функцию и остановится
7) Повторить шаги 3-6 принимая в качестве параметров полученные частные описания.
60. Достоинства и недостатки
61. Постановка задач лингвистического распознавания
Рассматриваем
цепочку
из
.
.
Выделено
классов. Каждый класс представлен
определенным языком:
.
Языки
порождаются некоторыми грамматиками:
.
Задача
распознавания образов состоит в
построении распознающей процедуры:
.
Если же
то говорится, что цепочка
не классифицируется.
62. Три способа решения задачи
Элементарное
действие:
.
Элементарное действие можно решать 3
способами:
Сравнение с эталоном.
В каждом
классе (языке) выделено по одному эталону:
.
Тогда
где
функция оценки близости.
Классификация по одной цепочке на основе набора синтаксических правил.
Синтаксическое правило – это необходимое или запрещенное соотношение между символами в цепочках данного языка.
Вводится
набор синтаксических правил:
.
Тогда
.
