Разработка алгоритма обработки видео изображения в режиме реального времени
Для разработки алгоритма обработки видео изображения необходимо выяснить то, как работает камера. В нашем случае это камера на основе 5 мега пиксельной матрицы ov5647, сделанная на основе активно-пиксельного датчика.
Принцип работы активно-пиксельного датчика
Функциональная схема активно-пиксельного датчика (рисунок 11) объясняет принцип его работы.
Рисунок 11 – функциональная схема работы датчика
Накопление фотонов в каждом пикселе датчика происходит при открытом затворе. Линза, установленная на каждом пикселе, концентрирует пучок света в фоточувствительной области пикселя. Далее световой пучок подвергается фильтрации на три разных цвета: красный, синий и зеленый, таким образом в каждом из пикселей находиться определенный цвет (подробнее о строение микро-линз и набора цветовых фильтров описано в следующем пункте). Далее происходит выбивание электрона, находящегося в потенциальной яме, фотоном, накопленные электроны создают разность потенциалов. Накопленный заряд считывается одновременно, со всех или отдельных пикселей, при помощи синхронизующего сигнала с генератора импульсов. Так как его значения слишком малы, происходит его усиление. Для оцифровки сигнала, он считывается при помощи аналого-цифрового преобразователя. Затем происходит коррекция и интерполяция цветов при помощи цифрового процессора или при помощи ПО.
Рисунок 12 – Архитектура датчика.
Структурная схема датчика представлена на рисунке 12. Каждый пиксель имеет подсоединение к металлической сетке проводников, что дает возможность проходить по всем ячейкам различных сигналов таких как:
Сигнал считывания
Временной сигнал
Выходной сигнал
Выходом данной сетки является декодирующее устройство, располагающееся за пределами массива пикселей. Данная архитектура дает возможность считывать как всех так и отдельных пикселей, используя простую адресацию XY. Внешний вид сенсора показана на увеличенной фотографии на рисунке 13.
Рисунок 13 – Увеличенная фотографии сенсора. Размер одной ячейки приблизительно 15 мкм.
Активный пиксель – это пиксель в котором находится рассеивающий мощность элемент. Наиболее распространено использование Mosfet как активный элемент, в буферной или усиленной конфигурации. Данный транзистор сделан на структуре металл-оксидного проводника.
Следовательно активный пиксель это единичный элемент твердотельной решетки, имеющий фотоэлектрическую передаточную функцию при воздействии светового электромагнитного излучения. Его особенностью является наличие у каждого пикселя усиливающего транзистора - это позволяет «преобразовать» заряд в напряжение непосредственно на пикселе. Усиливающие схемы могут быть расположены не только на светочувствительной области, что позволит создать множество каскадов усиления.[4]
Микролинзы и набор цветных фильтров.
На своем пути фотоны проходят через микролинзы, концентрирующие свет в фоточувствительной части каждого пикселя. Это позволяет увеличить фактор заполнения (Fill-Factor). Так как фотодиод является «монохромным», необходима наличие цветных фильтров перед каждым пикселем.
Рисунок 14 – Структура микролинз и набора цветных фильтров.
Для получения цветного изображения необходимо разложить падающий световой поток на три основных составляющих из спектра видимого диапазона: R, G, B. Для этого перед каждым пикселем ставиться спектральный отрезающий фильтр, пропускающий фотоны, длина волны которых лежит в определенном спектральном диапазоне, который соответствует одному из цветов.
Для исключения наводок (помех) на кремневую подложку наноситься металлический непроницаемый слой. Он не позволяет фотонам проникать в кремневую подложку и создавать им дополнительный заряд.
Наиболее распространенной расположение фильтров является повторяющаяся матрица 2х2, разработанная фирмой «Bayer». Но это не исключает иных вариаций их расположения.
Рисунок 15 – Расположение цветных фильтров фирмы «Bayer».
Из-за восприимчивости каждого пикселя лишь к одному цвету, общая чувствительность сенсора упала примерно в 3 раза по сравнению с монохромным сенсором. Именно по этому монохромные сенсоры подходят больше для применения в условиях малой освещенности.[5]
Выходом активно-пиксельного датчика является матрица RGB, размер которой зависит от установленного значения считывания определенных пикселей. Нельзя забывать, что максимальный размер матриц не может превышать разрешения матрицы фотокамеры.
Разобравшись с тем как строиться изображение на камере, нам необходимо выбрать его размер. Так как размер изображения у Raspberry camera module может варьироваться от 160x120 до 1980х1080 пикселей, нам необходимо выбрать одно из них. Быстродействие системы на прямую зависит от размеров изображения, а именно:
Таблица 1 – зависимость размеров изображения от количества кадров в секунду
Размер изображения |
Количество кадров в секунду |
1080р |
30 |
720р |
60 |
640х480 |
90 |
480х360 |
90 |
320х240 |
90 |
Для реализации алгоритма в режиме реально времени исходя из таблицы 1 и учитывая, что это количество кадров в секунду только на получение изображения не считая его обработку, можно сделать вывод что подходящее нам разрешение будет равно 480х360. Так как при разрешение 640х480 уже может получить 90 кад/c, но данная частота упадет при включении алгоритма обработки в код программы.
Рисунок 16 – Результат полученного изображения на примере надводного макета судна