- •37. Перцептрон и его математическая модель.
- •Математическая модель перцептрона.
- •38. Алгоритм обучения перцептрона
- •39. Сходимость алгоритма обучения перцептрона. Теорема Новикова.
- •Теорема Новикова.
- •40, 41 Итеративные процедуры распознавания на основе градиентных методов: минимизация одной функции, минимизация нескольких функций.
- •Решение задачи оро.
- •Сходимость процедуры.
- •42. Алгоритм обучения перцептрона как реализация специальной стратегии совместной минимизации нескольких функций с помощью градиентных методов.
- •43. Физическая интерпретация метода потенциальных функций
- •Решение двух случаев.
- •44. Кумулятивный потенциал. Алгоритм итеративного вычисления кумулятивного потенциала
- •45. Теоремы о сходимости обучения классификации методом потенциальных функций.
- •46. Достоинства и недостатки распознающих процедур перцептронного типа
- •47. Элементы задачи решения.
- •Байесовская теория решения.
- •48. Условный риск. Общий риск.
- •49. Постановка Байесовской задачи решения. Оптимальное решающее правило. Связь с задачей распознавания.
- •Типовая задача распознаванию образов.
- •50. Классификация с минимальной вероятностью ошибки.
- •Замечание.
- •51. Минимаксное решающее правило
- •Пусть теперь функция потерь неизвестна.
- •52. Процедура Неймана-Пирсона
- •Модель.
- •Процедура – экстремальная задача.
- •53. Схема доказательства оптимальности процедуры Неймана-Пирсмана
- •От противного.
- •Случай 2.
- •54. Обучение байесовской процедуры распознавания: оценка неизвестных параметров.
- •55. Оценка неизвестной плотности вероятности по априорной информации
- •56. Оценка неизвестной плотности вероятности с использованием экспериментальных данных.
- •57. Правило ближайшего соседа как пример непараметрического метода распознавания: оценка вероятности ошибки классификации. Правило ближайшего соседа.
- •58, 59 Мгуа
- •2.3. Понятие и виды опорных функций
- •Критерий регулярности.
- •Критерий несмещенности.
- •2.6. Критерии остановки мгуа
- •60. Достоинства и недостатки
- •61. Постановка задач лингвистического распознавания
- •62. Три способа решения задачи
- •Классификация на основе синтаксического анализатора:
- •63. Задача восстановления грамматики по обуч выборке
- •Теорема о разрешимости задачи для информаторного представления.
- •Теорема о неразрешимости для текстуального представления.
- •68. Два класса алг восст грамм
- •69. Алг Фельдмана
- •Часть 1.
- •Часть 2.
- •Часть 3.
- •70. Требование к вектору признаков
- •71. Среднеквадратичное расстояние в евкл простр
- •72. Преобр детерм вект призн, миним внутрикласс расст
- •73. Способы учета изменен межкласс расст при миним внутрикласс раст
73. Способы учета изменен межкласс расст при миним внутрикласс раст
Условие
задачи. Выделено
классов. Выборка представлена следующим
образом:
.
,
где
,
где
.
,
где
,
где
.
.
.
Таким
образом, мы получаем, что множество
весов надо выбрать так, чтобы обеспечить
минимизацию величины
.
На практике
же мы часто проводим нормирование весов
(так как нам важно относительное значение
весов, а не абсолютное значение). Для
этого вводят два условия:
.
Тогда мы
получаем задачу оптимизации
.
Остается
только определить то значение
,
для которого задача будет решаться.
Здесь важно отметить, что практически
выгодно выбирать в качестве
номер самого «рыхлого» класса (такого,
что класс
обладает наибольшим внутри множественным
расстоянием).
Пусть мы
выбрали в качестве такого класса
.
Будем
решать задачу оптимизации методом
неопределенных множителей Лагранжа.
Вводим функцию для безусловной оптимизации
.
Найдем частные производные
и приравняем их к нулю:
Получим,
что веса равны
.
Однако нам неизвестно значение
.
Найдем его из уравнения по частной
производной.
Тогда веса
равны
.
Заметим
теперь, что
.
Условие
автоматически выполнено.
Теперь посмотрим, как сказывается преобразование на внутри множественном расстоянии внутри других классов:
Так как
все веса не отрицательны и меньше
единицы, то
.
Во всех класса наблюдается тенденция уменьшения внутри множественного расстояния. Это то, что нам нужно по критериям.
Однако и между множественное расстояние между классами начинает уменьшаться:
Так как
все веса не отрицательны и меньше
единицы, то
.
Это то, что нам НЕ нужно по критериям.
