1. История развития теории распознавания, основные понятия, содержимое литературных источников

Курс тесно связан с понятием – “интеллектуальные системы”. В прошлом термин «интеллект» можно было применить напрямую только к человеку. Различные науки выделяли отдельные признаки, пытаясь дать определение данному понятию. Вот некоторые из них.

Наука		Биология		Психология		Философия
Что такое интеллект	Способность человека адекватно реагировать на изменение окружающей среды.		Характеристика умственного развития, определяющая его способность целесообразно действовать, рационально мыслить.		Познание, понимание, рассудочная способность к абстрактноаналитическому расчленению (Гегель); способность к образованию понятий (Кант).

В двадцатом столетии в области исследования интеллекта сформировались важное научное направление – теория распознавания (ТР), нашедшее в считанные десятилетия многочисленное признание и применение.

Теория распознавания прочно вошла в математический базис интеллектуальных систем, в его сердцевину. Зарождение этого направления связано с появлением компьютеров. Носителем результатов исследований стало программное обеспечение, а в отдельных случаях и архитектура вычислительных сред. Собственно интеллектуальность в искусственных системах присуще именно программным продуктам или, если говорить более обобщенно, наполнению памяти и переключателей связей систем.

В подавляющем большинстве своем аппаратные средства современных компьютеров и системы на их основе в той или иной степени потенциально интеллектуальны, но только построенный по определенным принципам программный продукт добавляет им это свойство. Сегодня мы приблизились к построению программ способных распознавать другие программные продукты, определять их свойства, задействовать их функции в своих задачах подстраиваться под специфику и практику работы пользователя.

Однако признаки искусственного интеллекта и их возможные носители (задача о приделах возможностей системы в распознавании ситуации) исторически рассматривались довольно давно. Декарт, Лейбниц делали попытки сравнить человека с машиной в области умственной деятельности. Легендарные прообразы искусственных интеллектуальных систем - Франкенштейн, Голлем отображали и страх человека перед механическими существами, наделенными искусственным разумом.

Но реально, только в сороковые годы прошлого столетия началось освоение предметной области.

У.Р. Эшби в связи с началом работ по моделированию интеллектуальной деятельности человека ввел понятие “самоорганизующаяся система”.

В 1955-1956 г. Дж. Маккарти впервые употребил термин “искусственный интеллект”, который и получил дальнейшее развитие, став обозначением обширной области науки и техники. Между ними работа Алана Тьюринга “ Может ли машина мыслить” (1950), в которой наиболее просто ставится вопрос о достижении границы искусственного разума.

Стала стандартом и процедура Тьюринга: А задает вопросы В и С отвечают, В или С – машина. Необходимо по ответам распознать машину. Испытания по данному тесту продолжаются до сего времени.

Интересно и то, что одновременно были высказаны количественные оценки требуемой мощности аппаратных средств. Например, объем памяти компьютера в миллиард бит должен быть достаточен для 5 минутного общения среднего человека с 70% вероятностным исходом не распознавания машины, как источника ответов. Достижение этой границы автор предсказывал через 50 лет.

Однако по мере развития науки о искусственном интеллекте изменяются и прогнозы. Один из них – компьютер производительностью в миллиард операций в секунду, с памятью объемом бит с временем доступа 50 нс потенциально достаточен для принятия решений при неполном описании ситуации с логической надежностью близкой к человеку. Сегодня данным требованиям практически удовлетворяет персональный компьютер.

Последние десятилетия наибольшие успехи в области интеллектуальных систем достигнуты в решении частных задач. Текущее столетие же переводит в практическую плоскость решение следующих вопросов:

Сможет ли человек познать процесс анализа ситуации, принятия решений идущий в его мозге?

Можно ли вложить полученные знания в архитектуру технической системы, ее программное обеспечение?

Сможет ли искусственная система превзойти своего создателя, быть «умнее» его?

Как шутил кибернетик И.А. Полетаев «Определите, что такое «мышление» и мы его быстренько запрограммируем».

Внешне проявление осмысленного участия кого то в принятии «разумных» решений выглядит как его правильность, оптимальность, доказанные по прошествии некоторого времени, достаточного для исчезновения неопределенности в оценки последствий этого решения.

Принимаемые решения – правильны, если они предполагают риск не выше допустимого и дают наибольший выигрыш по априорной информации о ситуации. Поведение системы, принимающей правильные решения, часто называют стандартным.

«Разумные» решения дают наибольший выигрыш по апостериорным данным, полученным по прошествии принятия решения.

Можно считать что системы «думают не стандартно», если разница выигрыша от принятия ими «разумных» решений по сравнению с последствиями правильных решений существенна. Конечно, наиболее просто такой результат выявляется в конкурирующей среде многих систем с различным поведением, направляемых через механизм конкуренции. При этом, так же ощутимый процент участников проигрывает системам, принимающим правильные решения.

Интеллектуальные системы потенциально обучаемы, если они содержат средства корректировки решающих правил, метрик пространств анализа, в которых идет распознавание ситуации и оснащены техническими средствами получения информации о последствиях выводов.

В двадцатом столетии значительную нагрузку в области умственной деятельности взяли на себя САПР, созданные для различных областей деятельности человека, сократив в десятки и сотни раз затраты человеко-часов, необходимых для выполнения явно интеллектуальных задач в разработке, проектировании, проведении экспериментов и анализе их результатов. Эти системы не конкурируют с человеком, а дополняют его способности. Но без них создание конкурентно способных изделий не реально.

Технические системы начинают распознавать речь человека и подражать ему в ответах, имитируя ритм и тон собеседника, ведутся работы в области распознавания слов по движениям губ. Они берут на себя управление самолетами, автомашинами на испытательных трассах и оценивают ситуацию не редко более правильно, чем это делает человек. Все эти признаки показывают стремительный рост реальных научных достижений в распознавании образов искусственными системами.

Важным направлением является и разработка теории функционирования мозга человека, животных. Можно выделить две взаимно обогащающие друг друга цели нейронного моделирования: первая – понять функционирование нервной системы человека на уровне физиологии и психологии и вторая – создать вычислительные системы (искусственные нейронные сети), выполняющие функции, сходные с функциями мозга.

Аппаратно почти одновременно начали отрабатываться две модели сред распознавания – (последовательная машина) - компьютер (ЗУ, вычислительный блок, устройство управления) 1939 … 1943 годы (Тьюринг, Пост, фон Нейман, Лебедев и др.) и (параллельная среда) нейронная сеть ( У. Мак-Каллок и Ч. Питтсон) 1943 год.

Первая основана на многократном использовании при решении задачи ограниченного числа сосредоточенных систем - модулей (сегодня их число достигает десятков тысяч), это 64-х разрядные узлы связанные ограниченным числом каналов передачи данных. Не смотря на развитую структуру команд минимально полное число команд, делающее структуру универсальной, способной решать любую алгоритмизируемую задачу равно примерно шести.

Вторая эмулирует биологическую структуру мозга. Считается, что он состоит из практически однородной структуры нейронов (около 100 миллиардов), каждый из которых имеет в среднем 10 000 связей. Биологическая сеть нейронов отвечает за мысли, эмоции, память субъекта, сенсомоторные и автономные функции. Сеть чрезвычайно надежна и продолжает функционировать при ежедневной гибели большого количества нейронов. Обработка поступающей информации мозгом осуществляется очень быстро, за доли секунды, несмотря на то, что сам нейрон является медленнодействующим элементом со временем реакции в доли и единицы миллисекунд.

Размеры единичных элементов обеих сред (транзисторов и синапсов) на сегодня близки и сравнимы. Тело нервной клетки, как правило, имеет поперечный размер несколько десятков микрон. Связи между клетками имеют утолщения, называемые синоптической бляшкой, или синапсом. Поперечные размеры синапса, как правило, не превышают нескольких микрон.

Приведенные аппаратные платформы развиваются с различным успехом, слабо дополняя друг друга. Специфика математического, технологического обеспечения, большие объемы информации пользователя привели к тому, что практически очень мало интегральных решений. Нейрочипы также не получили и массового применения. Некоторые специалисты в области параллельных архитектур с управляемым слоем переключателей считают доминирование последовательных машин - случайной веткой в развитии архитектуры вычислительных сред, которая должна уйти в прошлое. Сторонники аппаратуры, базирующейся на идеи последовательной машины, резко критикуют малую разрядность искусственного нейрона, очень малое внимание, уделяемое в нейронных средах подготовке операндов и т. п. Однако в развитии обеих архитектур не мало успехов в области распознавания как теоретических, так и практических.

Рассматриваемые в курсе вопросы тесно связаны с предметной областью теорий статистических выводов, игр, оценок, полезности, планирования эксперимента, оптимального управлением, оптимальной обработки сигналов и т. п.

Математическая статистика, дающая наиболее гибкие инструменты для анализа экспериментальных данных, часто рассматривается и с активной позиции, как наука о статистических решениях, вырабатывающая рекомендации по выбору оптимальных способов поведения и управления в случайных ситуациях. Именно в этом понимании, она является базой теории распознавания.

В определенной степени указанные науки вошли в математический базис кибернетики. Модели, описывающие случайные процессы, рассматриваемые в курсе, достаточно полно изложены в учебном пособии Городецкого А.Я. Однако, каждый слушатель в вопросах, связанных с приложениями теории вероятностей, может опираться только на полученные знания в университете и те литературные источники, которые он изучал.

Монография Себестиана, вышедшая в 1962 году, в области распознавания образов является первой работой, интегрирующей результаты первичных исследований по распознаванию в США. Как говорится в предисловии редактора перевода, только эта страна в то время обладала вычислительными машинами с огромной оперативной памятью в 100 тысяч слов, которые необходимы для ведения работ в данной области.

Книга написана как учебное пособие, математический аппарат строг, но просто изложен. Практически все узловые вопросы современной теории распознавания обозначены. Изображения трактуются как вектора в пространстве признаков. В этом пространстве определены метрики и расстояние. Распознаваемые подмножества в этом пространстве, определены как классы.

Метрика пространства признаков преобразуется для повышения компактности классов. Вероятность принадлежности нового объекта к данному классу оценивается через функцию подобия. Разделяющая функция относит точку в пространстве признаков к тому классу, которому она наиболее подобна. Классификация рассматривается как задача теории решений. Решающее правило минимизирует риск и потери при распознавании. Рассмотрены и вопросы обучения, нейросетевые приложения в распознавании и т. п.

В монографии Вапника В.Н. и Червоненко А.Я. основной акцент делается на обучение систем распознавания образов, в частности применительно к нейросетевым структурам.

В работе Дуда Р., Харта П. очень хорошо изложены основы байесовского подхода к распознаванию.

Рис.1.1. Плотности вероятности величин сигнала при поступлении на конвейер

досок дуба (более темная структура) и ольхи

В примере рассматривается задача распознавания досок дуба и осины по сигналам фотоэлектрического датчика (рис.1.1). Зона I - сигнал может принадлежать только доске дуба, III – только доске с ольхи. Задано два класса (дуб, ольха). Алфавит признаков из одного признака – напряжение на выходе фотодатчика. При не равновероятном поступлении досок определенного типа на конвейер вид кривых промасштабируется. Если обрабатывается доска дуба, например, вероятность того что следующая доска тоже из дуба возрастает. Появляется определение вероятностной смеси, марковской цепи случайных чисел, функции риска принятия ошибочных решений и т. п.

Цикл лекций Гренандера У. подытоживает развитее науки о распознавании в период ее становления.

В монографии Патрика Э. излагаются вопросы теории распознавания на академическом уровне с довольно абстрактным математическим аппаратом. Она полезна для углубленного изучения вопроса.

Учебные пособия Горелика и др. образуют предельно минимальный набор литературных источников, дополняющих курс лекций.

В работах Абламейко, Порфирьева, Чернявского и др. рассмотрена специфика формирования образов, идентификации объектов в различных областях.

В последние годы наибольшее применение в описании проблематики теории принятия решений находит понятие нечеткой информации, нечетких моделей и их анализа. Приведенные источники отображают и это направление.

Последующие работы дополняют список литературы, конкретизируя отдельные вопросы, рассматриваемые в курсе. Как правило, смысловое содержание названия книги соответствует специфике рассматриваемого в ней вопроса.

Лабораторный практикум по теории принятия решений и распознаванию образов позволят Вам получить навыки в формировании образов и их обработке применительно к специфике курса.

Задача распознавания формулируется в приведенных источниках, как поиск отображения совокупности наблюдений на множество классов объектов. Она подразумевает построение и определение ряда характеристик. Это и : Ансамбли распознаваемых портретов, сигналов. Решающие правила. Оптимальная структура устройств распознавания и различения сигналов. Оптимальная обработка некоррелированных портретов. Оптимальная обработка сильно коррелированных портретов. Структура устройств различения сигналов. Показатели качества обнаружения. Отношение правдоподобия. Выбор порога решения. Характеристики распознавания и различения сигналов. Показатели качества распознавания портретов и различения сигналов. Характеристики распознавания некоррелированных портретов. Характеристики процедур распознавания сильно коррелированных портретов. Характеристики различения сигналов. Классификация и кластеризация данных.

Немного о терминологии. Термин распознавание не редко соседствует и поглощает термины идентификация, верификация, обнаружение. Под идентификацией понимают сравнение объекта по признакам (его входного кода) со всеми кодами, хранящимися в БД, с целью выявления близких объектов.

Верификация часто используют, как определение соответствия объекта, имеющемуся описанию этого объекта, извлекаемого по его имени. Например, точное соответствие переписанного файла исходному, или на проходной предприятия - определение соответствия проходящего, вызванному по его имени биометрическому паспорту. Задача распознавания в случае, когда количество классов равно двум, обозначают как задачу классического обнаружения.

Термин распознавание часто дополняется, превращаясь в распознавание образов, распознавание ситуаций, распознавание сигналов и т. п. Часть этих дополнений стремится охватить все возможные объекты теории распознавания. Например: образ – как определение виртуального объекта, который можно описать в виде доступной математической модели по показаниям датчиков, текстам нечетких описаний и т.п. Спорить с предлагаемыми расширениями сложно и редко необходимо.

Отображение объекта на воспринимающие органы распознающей системы принято называть изображением, а множества таких изображений, объединенные какими-либо общими свойствами, представляют собой классы (образы, ситуации, и т.п.). Решающее правило - методика отнесения элемента к какому-либо классу.

Генеральная совокупность - гипотетическое множество всех возможных объектов каждого образа.

Если априорная неопределенность относится только к параметрам известных законов распределения; целью становится получение оценок параметров распределения. Методы распознавания, применяемые в этом случае, называют параметрическими.

Если отсутствуют априорные сведения о виде закона распределения наблюдаемой совокупности выборочных значений, методы распознавания, применяемые в этих условиях, называют непараметрическими. Целью обучения в этом случае является получение оценок условных плотностей вероятностей. При непараметрическом оценивании плотности вероятности используются в основном гистограммный метод, метод разложения по базисным функциям, метод полигонов Смирнова, метод локального оценивания по k ближайшим соседям, а также ряд специальных методов нелинейного оценивания.

По аналогии с биологией в теории распознавания работает определение класса. Как и в методике программирования, под ним будем понимать множество объектов, характеризуемое набором признаков в пространстве существования объектов и имеющих одинаковое обозначение. Подходит здесь и понятие шаблона, виртуального образа. Классы разделяются в пространстве признаков решающими поверхностями, образуя многомерные объединения, в общем случае не слитные и незамкнутые. Классы часто пересекаются, образуя спорные области. Задачей теории распознавания в этом случае является подготовка данных для окончательного принятия решений.

Предметом анализа ТР являются объекты различной физической, химической, биологической, социальной природы. Это могут быть изображения, звуки, описания рыночной конъюнктуры по виду товара в определенной области земного шара, математические формулы, концепции, всевозможные виртуальные объекты.

В результате анализа формируется математическая модель объекта – вспомогательный искусственный объект, имеющий сходство с оригиналом в определенном пространстве его свойств и характеристик. Модель должна удерживать только полезные для изучения свойства объекта, это один из наиболее очевидных путей получения более простого представления об оригинале, чем он сам.

Модель должна быть при последующем использовании

• адекватна оригиналу с заданной точностью, удерживать частное в общем в конкретной группе задач,

• эффективна (проще, удобнее или давать новую информацию об объекте),

• экономична т.е. не требовать для анализа больших ресурсов, чаще вычислительных, чем имеет исследователь в своем распоряжении для решения поставленной задачи.

Процесс создания модели включает в себя следующие механизмы:

• определения состава (кортежа, алфавита) свойств объекта, подлежащих исследованию,

• составление набора технических средств для оценки выбранных свойств объекта,

• получения сведений (опыта, знаний), от других систем об свойствах подобных объектов,

• использование аналогий,

• анализ всех данных для формирования описания области существования объекта в пространстве обозначенных свойств.