3.7.3. Алгоритмы обработки изображений

Процесс идентификации объектов, находящихся в рабочей зоне робота, обычно включает два этапа: выделение характерных признаков объектов и собственно распознавание объектов по найденной совокупности характерных признаков. В соответствии с такой структурой процесса идентификации алгоритмы обработки информации в СТЗ принято делить на алгоритмы предварительной обработки и алгоритмы распознавания.

Фотодатчик формирует изображение рабочей зоны робота. Под изображением обычно понимается двумерная картина поля интенсивности излучений рабочей зоны. Формально получение изображения заключается в определении функциональной зависимости интенсивности излучений рабочей зоны от координат точек изображения x и y:

J=f(x, y).

Задачей предварительной обработки является поиск особенностей функции f(x, y), которые могли бы указать на тип объекта, находящегося в рабочей зоне.

Дискретизация изображения. Первый шаг предварительной обработки изображения на ЭВМ состоит в квантовании исходного изображения f(x, y). Квантование ведется как в пространстве по координатам x и y, так и по значению функции изображения f(x, y). Для упрощения описания алгоритмов предварительной обработки в дальнейшем будем рассматривать прямоугольные изображения в декартовой системе координат XOY при условии, что дискретные представления таких изображений получаются в результате равномерного квантования координат x и y. Результатом квантования по полю изображения является дискретное изображение – функция g(m, n) (разрешением MхN), значения которой совпадают со значениями f(x, y) в точках:

x=x₀+Δx∙m; y=y₀+Δy∙n,

где m=0, 1, 2,…, M-1; n=0, 1, 2,…, N-1 [7].

Следует иметь в виду, что на каждом этапе формирования изображения вносятся аппаратурные помехи (шумы), искажающие функцию f(x, y) по пространственным признакам.

Фильтрация шумов. Помимо преобразования видеосигнала в цифровую форму в устройстве сопряжения телекамеры в микроЭВМ выполняется также фильтрация шумов изображения, в результате которой увеличивается отношение сигнал/шум, что упрощает дальнейшую обработку изображений. Одним из методов снижения влияния зашумленности изображения является пространственная регуляризация. На изображении выделяется прямоугольное окно W(x, y) площадью S_w с центром в точке x_i, y_i. Затем функцию интенсивности сигнала J= ( x_i, y_i) от каждой точки изображения заменяют функцией

Затем выбирается следующая точка, и описанная операция повторяется для каждой точки изображения. Такой алгоритм обработки заменяет яркость каждой точки изображения яркостью, усредненной по соседним точкам. Этим достигается эффект сглаживания мельчайших деталей изображения, как бы легкой расфокусировки. Степень сглаживания изображения можно регулировать путем изменения площади S_w. Описанная обработка может выполняться также и с аналоговым сигналом (это эквивалентно подавлению высокочастотных составляющих видеосигнала) [2].

Повышение контрастности. Если в процессе обработки изображения подчеркнуть разницу в яркости детали и фона, это позволит с большей достоверностью выделить деталь и идентифицировать ее. Такой способ повышения контрастности изображения может быть реализован как аппаратным путем (например, путем использования элементов матрицы с нелинейной характеристикой светочувствительности), так и программным способом. (Бинаризация - предельный случай повышения контрастности.)

Выделение контуров. Оперируя с массивом чисел, описывающих распределение яркости светового потока по полю кадра видеодатчика, микроЭВМ последовательно выделяет точки изображения, в которых происходит резкое изменение яркости. Обычно эти точки принадлежат контуру той или иной детали, расположенной на более светлом фоне, или являются точками, подчеркивающими различные особенности одной детали (отверстия, ребра и т. п.). Для выделения контуров деталей может использоваться пространственное дифференцирование, при котором подчеркиваются высокочастотные составляющие видеосигнала и подавляются низкочастотные. Такая операция может выполняться как с аналоговым сигналом (путем его дифференцирования по времени), так и с цифровым.

Пространственное дифференцирование оптических сигналов с целью выделения контуров объекта используется также зрительными системами живых организмов (например, глаз лягушки выполняет пространственное и временное дифференцирование электрических сигналов от светочувствительных клеток, что позволяет этому животному выделять контуры движущейся пищи на неподвижном фоне).

Сегментация. В дальнейшем выполняется анализ связности контуров, т. е. определяется принадлежность каждой точки тому или другому контуру, являющемуся замкнутой кривой, и осуществляется сегментация изображения, представляющая собой процедуру выделения на изображении отдельных замкнутых однородных областей. Сегментация может потребоваться в случае, если объекты соприкасаются или частично перекрывают друг друга. Если объекты не перекрывают друг друга и их контуры хорошо выделены, операция сегментации не представляет особых трудностей для СТЗ. В более сложных случаях сегментация включает в себя операцию присваивания контуров объектам и может производиться лишь с ограниченным набором объектов, признаки которых заложены в память СТЗ.

Распознавание объекта (идентификация). Выбор признаков, по которым производится идентификация, осуществляется на основе анализа класса распознаваемых объектов, возможностей датчиков изображения по разрешению, требований к скорости обработки.

Если расстояние от объектива телекамеры до объектов на сборочном столе (а, значит, и увеличение телекамеры), является известной величиной, для распознавания объектов (независимо от их ориентации и места расположения) могут использоваться, например, следующие параметры (совокупности признаков), которые рассчитываются микроЭВМ после выполнения операции выделения контуров и сегментации:

• площадь объекта;

• периметр объекта;

• длины радиусов, исходящих от центра тяжести и заканчивающихся в определенных точках контура объекта (обычно используются длины максимального, минимального и среднего радиусов);

• значения моментов инерции изображения;

• диаметры описанной и вписанной окружностей;

• размеры описанного и вписанного прямоугольника;

• количество отверстий;

• количество углов;

• параметр формы – отношение квадрата периметра к площади.

Последние три параметра позволяют распознавать объекты также независимо от масштаба изображения.

Наиболее просто вычисляется площадь изображения. Ее значение можно получить простым подсчетом количества элементов цифрового изображения при сканировании кадра. Для вычисления радиусов вписанных или описанных окружностей предварительно определяются координаты геометрического центра изображения X_C и Y_C. После их определения вычисляются минимальное и максимальное расстояние (радиусы вписанной и описанной окружностей) до уже выделенных граничных элементов. Отношение этих радиусов к периметру контура объекта позволяет получить признаки, инвариантные по отношению к масштабу изображения [7].

Идентификация объектов в СТЗ чаще всего производится методом сравнения с эталоном. При этом решается одна из двух задач. Первая задача заключается в получении изображения одного объекта и сравнении со всеми эталонами заданного класса. По совпадению выбирается наилучший эталон и осуществляется идентификация объекта, а затем при необходимости находятся его положение и ориентация. Вторая задача заключается в получении изображения нескольких объектов и поочередном их сравнении с эталоном того объекта, который необходимо выделить. После этого вычисляются его положение и ориентация в рабочей зоне. Эта информация необходима, например, для последующего захвата детали роботом и установки ее в заданное место с требуемой ориентацией.

Типичные задачи зрительного восприятия для робототехники.

1. Определение плоских координат известных объектов.

2. Распознавание отдельных двухмерных объектов.

3. Распознавание касающихся двухмерных объектов.

4. Распознавание отдельных трехмерных объектов.

5. Распознавание и анализ взаимного расположения групп трехмерных объектов (анализ сцен).

6. Распознавание трехмерных объектов, лежащих внавал.

Задачи 1-3 – для управления сборочными роботами в нестрого упорядоченной среде, 3-5 – управление движением автономного транспорта, работа робота в плохо организованной среде.

В специальных случаях СТЗ используют для получения информации невидимую человеком часть оптического диапазона. Необходимость в этом может возникнуть при работе систем скрытого наблюдения в ночных условиях или при исследовании технологических процессов, наблюдение за которыми в инфракрасном диапазоне излучений является наиболее информативным.

Например, такая СТЗ была использована для диагностики состояния режущего инструмента во время обработки детали [18]. Инфракрасное излучение содержит информацию о текущей форме режущей кромки и поле температур в зоне резания. В качестве датчика использовался тепловизор Prism DS компании FLIR Sistems Inc (США), предназначенный для визуализации объектов в реальном масштабе времени в температурном диапазоне от -10 до +1500ºС. Разрешение по температуре составляет 2ºС, а пространственное разрешение - 1 мрад. Монитор позволяет наблюдать цветное изображение зоны резания и определять температуру любой ее точки помощью шкалы, размещенной в поле зрения. Встроенный процессор позволяет производить анализ изображений, записывать их в 12-битовом динамическом диапазоне и передавать на компьютер.