- •37. Перцептрон и его математическая модель.
- •Математическая модель перцептрона.
- •38. Алгоритм обучения перцептрона
- •39. Сходимость алгоритма обучения перцептрона. Теорема Новикова.
- •Теорема Новикова.
- •40, 41 Итеративные процедуры распознавания на основе градиентных методов: минимизация одной функции, минимизация нескольких функций.
- •Решение задачи оро.
- •Сходимость процедуры.
- •42. Алгоритм обучения перцептрона как реализация специальной стратегии совместной минимизации нескольких функций с помощью градиентных методов.
- •43. Физическая интерпретация метода потенциальных функций
- •Решение двух случаев.
- •44. Кумулятивный потенциал. Алгоритм итеративного вычисления кумулятивного потенциала
- •45. Теоремы о сходимости обучения классификации методом потенциальных функций.
- •46. Достоинства и недостатки распознающих процедур перцептронного типа
- •47. Элементы задачи решения.
- •Байесовская теория решения.
- •48. Условный риск. Общий риск.
- •49. Постановка Байесовской задачи решения. Оптимальное решающее правило. Связь с задачей распознавания.
- •Типовая задача распознаванию образов.
- •50. Классификация с минимальной вероятностью ошибки.
- •Замечание.
- •51. Минимаксное решающее правило
- •Пусть теперь функция потерь неизвестна.
- •52. Процедура Неймана-Пирсона
- •Модель.
- •Процедура – экстремальная задача.
- •53. Схема доказательства оптимальности процедуры Неймана-Пирсмана
- •От противного.
- •Случай 2.
- •54. Обучение байесовской процедуры распознавания: оценка неизвестных параметров.
- •55. Оценка неизвестной плотности вероятности по априорной информации
- •56. Оценка неизвестной плотности вероятности с использованием экспериментальных данных.
- •57. Правило ближайшего соседа как пример непараметрического метода распознавания: оценка вероятности ошибки классификации. Правило ближайшего соседа.
- •58, 59 Мгуа
- •2.3. Понятие и виды опорных функций
- •Критерий регулярности.
- •Критерий несмещенности.
- •2.6. Критерии остановки мгуа
- •60. Достоинства и недостатки
- •61. Постановка задач лингвистического распознавания
- •62. Три способа решения задачи
- •Классификация на основе синтаксического анализатора:
- •63. Задача восстановления грамматики по обуч выборке
- •Теорема о разрешимости задачи для информаторного представления.
- •Теорема о неразрешимости для текстуального представления.
- •68. Два класса алг восст грамм
- •69. Алг Фельдмана
- •Часть 1.
- •Часть 2.
- •Часть 3.
- •70. Требование к вектору признаков
- •71. Среднеквадратичное расстояние в евкл простр
- •72. Преобр детерм вект призн, миним внутрикласс расст
- •73. Способы учета изменен межкласс расст при миним внутрикласс раст
47. Элементы задачи решения.
(не уверен что это именно то, что нужно)
Байесовская теория решения.
множество ситуаций или состояний
природы.
решения.
функция потерь. Это потери, которые
мы понесем при вынесении
решения в ситуации
.
Косвенные
признаки
.
Задан вектор
из случайных величин, закон распределения
которого зависит от
.
Условные
законы распределения системы случайных
величин
при условии, что реализуется состояние
природы
:
будем считать, что состояния природы
также реализуются случайным образом:
вероятности
.
Рассмотрим
теперь вероятность
вероятность реализации состояния
природы
при условии, что будет наблюдаться
вектор косвенных признаков
.
Теперь
рассмотрим выводы для случайной величины:
пусть
абсолютно-непрерывная случайная
величина.
48. Условный риск. Общий риск.
Потери – случайная величина. Будем пытаться искать такое правило для принятия решения, которые минимизирует математическое ожидание потерь.
Условный
риск
условное математическое ожидание потерь
от принятия решения
при условии, что будет наблюдаться
реализация вектора косвенных признаков
.
правило для принятия решения в зависимости
от наблюдаемой реализации
.
условный риск при использовании правила
.
Общий
риск
безусловное математическое ожидание
потерь в случае использования правила
.
49. Постановка Байесовской задачи решения. Оптимальное решающее правило. Связь с задачей распознавания.
Требуется
найти такую функцию принятия решения
,
которая обеспечивает минимум функционала
.
Теперь
отметим, что
.
Сумма
достигает минимума, когда величина
достигает минимума при каждом значении
.
Это решение называется Байесовским решающим правилом, а значение общего риска – Байесовским риском.
Типовая задача распознаванию образов.
Задан
вектор признаков в вектор
.
есть множество состояний природы.
Установим
взаимооднозначное соответствие функции
потерь
.
Может быть так, что не задана функция
потерь.
50. Классификация с минимальной вероятностью ошибки.
Потери от принятия любого решения одинаково нежелательны:
.
Пусть
.
Вероятность ошибки классификации, при условии, что наблюдался .
условная вероятность ошибки классификации
в случае использования решающего правила
.
безусловная вероятность ошибки
классификации, если используется
решающее правило
.
Замечание.
Правило является эвристическим. Соблюдается условие оптимальности.
51. Минимаксное решающее правило
Минимаксное решение - это решение, при котором минимизируются максимальные потери. Это наиболее осторожный подход к принятию решений и наиболее учитывающий все возможные риски.
Правило минимакса (минимаксное правило возможных потерь) состоит в том, чтобы для каждого решения выбрать максимально возможные потери. Затем выбирается решение, которое ведет к минимальному значению максимальных потерь.
Пусть нам неизвестны
вероятности появления классов
.
Тогда есть два решения:
классы равновероятны (предположение);
,
где
.
Минимаксное решающее правило (
оптимизируется по минимуму общего
риска, далее оптимизация по максимальному
значению минимума общего риска).
Но может
быть так, что
,
потому что классы появляются не случайным
образом. Тогда функция потерь должна
быть определена в новых условиях. В этой
ситуация постановка задачи (как было
рассмотрено ранее) вообще невозможна
и необходимо искать какие-то другие
подходы к постановке задачи.
Говорят,
что существует система случайных величин
,
которая реализуется через
.
решается задача распознаванию состояния
природы.
До проведения
наблюдения
не существует, мы может рассматривать
только
как случайную величину; закон распределения
функции потерь зависит от закона
распределения
и от вида
.
Вводится
новых величин вида
.
