Лекция 5. Проетирование систем ввода потоков входящих документов

Цель, назначение и задачи проектирования системы ввода бумажных документов в СЭДО.

Состав и содержание операций настройки автоматизированного ввода и загрузки потоков входящих документов. Характеристика OCR, ICR и OMR-технологий распознавания документов. Методы контроля операций сканирования и распознавания текстов.

Состав факторов и требований, предъявляемых к выбору аппаратно-программной платформы систем ввода бумажных документов. Характеристика систем и их компонент для автоматизации ввода документов.

Пятая лекция курса «Проектирование систем ввода потоков входящих документов» посвящена знакомству с проектированием систем ввода потоков входящих документов. В данной лекции приводятся определение ключевых понятий, общие сведения о проектировании систем ввода.

Назначение и технология работы системы массового ввода бумажных документов. Одной из основных задач, связанных с технологиями документооборота, является массовый ввод бумажных документов в архивную систему или систему управления документами и организация последующего к ним доступа. Основное отличие массового ввода документов от простого сканирования состоит в том, что обрабатывается большое количество однотипных документов. В качестве примеров приложений данной технологии в конкретных предметных областях можно привести систему ввода и обработки «Платежных поручений» в банке, систему ввода «Налоговых деклараций», систему ввода и проверки бухгалтерских документов в Пенсионном фонде.

Для организации обработки большого количества бумажных документов и перевода их в электронную форму необходимо разработать систему массового ввода документов (СМВ), которая будет способна работать как с одним, так и с несколькими тысячами бумажных документов в день. При реализации технологии массового ввода документов можно рассматривать два основных класса задач: 1) извлечение данных из бумажных документов, когда пользователей интересуют только извлеченные структурированные данные, а собственно сами изображения документов их не интересуют, т.к. не используются для последующего хранения и доступа; 2) извлечение данных из бумажных документов с сохранением изображения документа (например, «Платежное поручение» клиента), когда имеет смысл после извлечения данных сохранить изображение документа для того случая, при ко- тором потребуется анализ исходного документа. При этом извлеченные данные можно использовать двояко: во-первых, эти данные имеет смысл напрямую загружать в банковскую систему, а во-вторых, их можно использовать для организации хранения и быстрого поиска изображений.

При проектировании системы ввода бумажных документов решается следующая совокупность проблем: 1) определение состава операций, которая должна выполнять система; 2) выбор технических средств реализации выполнения этих операций; 3) выбор и настройка программного обеспечения; 4) разработка технологической документации.

Рассмотрим содержание основных операций автоматизированного ввода бумажных документов. Автоматизированное чтение и ввод документов на бумажном носителе включают в себя операции, которые можно объединить в два этапа: 1. подготовительный; 2. основной. Подготовительный этап – очень важная фаза процесса ввода документов, которая обеспечивает получение достоверных отсканированных изображений, сохраняемых в системе, и включает в себя две операции: 1) подготовку документов для сканирования; 2) выполнение описания настроек системы на конкретную форму документа.

Подготовка документов для сканирования предполагает выполнение следующих действий: 1) определение состава документов, подлежащих сканированию; 2) выбор конкретных областей в каждом документе для сканирования; 3) определение технологической цепочки движения документа по рабочим местам; 4) открытие конвертов, удаление скрепок или других предметов, мешающих сканированию; 5) подготовка пакетов документов для сканирования; 6) выписка ярлыков на каждый пакет документов с указанием кода документа и количества документов каждого типа в пакете.

Выполнение описания настроек системы на конкретную форму документа предполагает выполнение трех операций: 1) составление настройки на форму документа; 2) разработка настройки на модель ввода; 3) составление настройки соответствия полей формы документа и полей индексации для ввода в информационную базу или архив.

Основной этап автоматизированного ввода бумажных документов включает в себя выполнение таких операций как: 1) сканирование; 2) контроль качества отсканированных изображений и повторное сканирование; 3) предварительная обработка текста; 4) основная обработка текста документа; 5) контроль качества распознавания и редактирование; 6) индексирование документа и загрузка.

Обработка данных, содержащихся в документе, предполагает выполнение следующих основных операций: 1) предварительная обработка изображений; 2) основная обработка изображений документа.

Предварительная обработка изображения документов используется для улучшения полученных изображений и необходима по следующим причинам: 1) Улучшение читаемости изображения. Обработанные изображения более понятны при визуальном просмотре. 2) Повышение точности распознавания. Применение специальных методов улучшения изображения может значительно повысить точность оптического распознавания символов. 3) Уменьшение размера изображения. Размер файлов обработанных изображений может быть меньше первоначального размера на 80%. Под уменьшением размера понимается как простое сжатие файла, так и удаление ненужной информации.

Процесс основной обработки документов предусматривают выполнение операций: 1) нахождения полей (сегментация документа); 2) распознавание текста документов.

Они могут быть выполнены последовательно и независимо, если поля полностью определены своими визуальными характеристиками. Такая ситуация характерна для машиночитаемых форм и документов с явными разделителями полей в виде линий или больших промежутков.

Распознавание документа, анализ содержания документа и извлечение данных может осуществляются с помощью следующих систем распознавания текстов, отличающихся по стоимости, качеству и скорости работы: 1) OCR (Optical Character Recognition) – технология оптического распознавания печатных символов, т.е. перевода сканированного изображения печатных сим- волов в их текстовое представление; 2) ICR (Intelligent Character Recognition) – распознавание раздельных печатных символов, написанных от руки; 3) OMR (Optical Mark Recognition) – распознавание отметок (обычно перечеркнутые крест-накрест либо галочками квадраты или круги); 4) Стилизованные цифры – распознавание рукописных цифр, написанных от руки по шаблону, как на почтовых конвертах;

Существует несколько подходов к реализации технологий ввода рукописных символов: 1) Распознавание on-line осуществляется в тот момент, когда человек пишет специальным пером на сенсорном экране, воспринимающем дополнительную информацию о траектории движения руки, наклоне пера, силе нажима и т.д. Применяется в основном в персональных электронных записных книжках типа 3Com PalmPilot для рукописного ввода числовых и символьных данных. 2) Распознавание off-line – распознавание произвольного рукописного текста, введенного в компьютер через сканер.

Распознавание рукопечатных символов является подмножеством технологии рас- познавания off-line. Этот метод применяется, как правило, для ввода стандартных форм. Распознавание рукописного текста значительно сложнее, чем печатного, поскольку если в последнем случае мы имеем дело с ограниченным числом вариаций изображений шрифтов (шаблонов), то в рукописном варианте число шаблонов неизмеримо больше.

Для OCR-систем в основном используются три технологии распознавания напечатанного текста: 1) матричная (Matrix-based); 2) описательная (основана на описании правил построения символов); 3) нейронная (основана на использовании нейронных сетей).

Индексирование и загрузка данных. Заключительная операция процесса – это экспорт изображений документов и сопутствующих данных в конкретную систему документооборота или базу данных и индексирование. Основными требованиями к экспорту являются поддержка различных форматов данных и его скорость.

После того, как документ распознан, он поступает в базу данных или в систему управления документами, где проводится его индексирование. В отличие от обычной системы распознавания система ввода стандартных форм использует формальное описание исходной формы документа, описание модели ввода и модели соответствия полей ввода и индексирования. Это позволяет автоматически производить индексирование документов и загружать информацию в поля базы данных или архив без участия оператора.

В зависимости от конкретной задачи и типа документа, он может быть загружен в полнотекстовый модуль или информация из него извлеченная должна будет попасть в систему атрибутивной индексации (например, значения из полей формы попадают в карточку документа). При этом, может быть сохранено изображение документа.

Требования, предъявляемые к СМВ. Характеристика систем. Основной фактор при оценке эффективности систем распознавания заключается в стоимости исправления ошибок при распознавании, а не в точности и скорости системы. В некоторых случаях затраты на исправление ошибок при распознавании могут перекрыть все плюсы автоматизации и сделать ручной ввод по изображению более эффективным.

При разработке и использовании СМВ проектировщику требуется выполнить также большой объем работ по интеграции этой системы ввода в действующую или разрабатываемую информационную систему. На производительность системы очень большое влияние оказывают используемая технология ввода, ее настройка на текущую задачу и вид документов. Здесь нужно учитывать состав оборудования, программное обеспечение и совместимость формата распознанной информации с уже существующими системами. Существует множество компаний, которые предлагают решения или компоненты систем обработки форм. Решение о внедрении системы обработки форм, а также выбор того или иного приложения должны производиться с учетом в первую очередь следующих факторов: 1) тип обрабатываемых документов и вид содержащихся в них данных; 2) точность распознавания; 3) наличие эффективной системы редактирования; 4) настраиваемость системы на требования конкретного заказчика и способность изменяться согласно меняющимся внешним условиям без программирования; 5) наличие поддержки сканеров различных типов, а также разного рода плат обработки изображений документов; 6) наличие редактора форм, настраивающего систему на новые формы или изменения старой формы, на которую система была предварительно ориентирована; 7) наличие редактора схем обработки документов, открытого интерфейса подключения различных модулей распознавания (в зависимости от типа формы можно для повышения качества распознавания подключать тот или иной модуль, который наиболее подходит для данного типа формы); 8) наличие редактора схем экспорта в базу данных (данные, которые извлекаются при обработке формы, должны быть переданы или в базу данных для хранения, или в другие бизнес-приложения для обработки).

Помимо этого, к выбору ПО для СМВ можно предъявить совокупность общих требований: 1) Открытость. Система должна позволять включать в себя различные технологии и программные продукты в зависимости от конкретного приложения, даже если эти продукты поставляются другими фирмами. Необходима возможность интеграции с различными workflow-системами и с системами документооборота. 2) Возможность настройки. Пользовательский интерфейс должен быть настраиваемым для достижения максимальной эффективности работы операторов. 3) Масштабируемость. Необходимо иметь возможность добавлять и уменьшать системные ресурсы при различных уровнях загрузки системы. 4) Возможность администрирования. Пользователь должен иметь возможность гибкого управления системой. Необходимо иметь возможность контролировать используемые ресурсы и инструментарий для получения различных видов отчетов.

Эффективность применения системы ввода бумажных документов в ЭИС основана, в первую очередь, на значительном сокращении участия человека во вводе данных. Как следствие, можно наблюдать уменьшение времени ввода документов и количества ошибок. Для организаций, обрабатывающих большие потоки форм (центральные налоговые и почтовые ведомства, статистические организации, центры авторизации по расчетам за кредитные карты), использование описанных технологий позволит решить проблемы эффективности обработки сотен тысяч и даже миллионов форм в сжатые сроки.

Подробное изложение теоретических вопросов, затронутых в первой лекции, можно найти в литературе [1].

Знания следует самостоятельно проверить путем ответов на контрольные вопросы.