17. Назначение и возможности систем автоматического чтения текста.

Для быстр. ввода текст. инф-и в ПК широко исп. сканер, к. работает по принципу фотоаппарата, позволяя "увидеть" текст. Для того, чтобы перевести граф. изображение в текстовую форму, необходимы с-мы автоматического чтения текстов или OCR (optical character recognition)

OCR - комп. прог-ма, позвол. преобраз. текст бумажного носителя в электронный файл.

Принципы работы OCR:

1. целостность (объект опис. как целое с помощью знач. элементов и отношений между ними)

2. целенаправленность (распозн-е стр. как процесс выдвижения и целенаправл. проверки гипотез)

3. адаптивность (способность комп. с-мы к самообучению)

Fine Reader

Этапы работы системы Fine Reader:

1) сканирование - получение граф. образа документа

2) распознавание

а) анализ граф. макета страницы (выделение областей для распознавания таблиц, картинок, выделение в тексте строк и отд. символов)

б) распознавание кажд. символа на основе различных алгоритмов распознавания

3. проверка орфографии

4. сохранение

Алгоритмы распознавания (классификаторы)

1) шрифтозависимые (шаблонные) - растров. изображ. наклад. на шаблон, содержащийся в базе данных, наиболее подход. явл. шаблон, у кот. наименьшее кол-во точек отлич. от исслед. изображения.

2) признаковые - распознаванию подвергается не сам символ (оригинал), а некотор. его признаки, к. вычисл. по формулам.

Эти классификаторы не отвечают принципу целостности, т.к. теряется существенная часть информации

3) структурные - содерж. инф-ю не о точечном изображении символа, а о правилах начертания или структуре.

Стр. элементами явл. все составляющие символ линии. Раб. с векторным изображениями. Недостаток - чувствительность к дефектам изображения.

В Fine Reader работают все типы классификаторов.

Возможности системы:

1. во время сканирования автоматически подбир. яркость, фрагментируется страница, распознаются символы, можно пров. орфографию.

2. позв. распозн. печат. символы (около 200 языков), рукопечатные, рукопис. (для КПК)

3. способность самообучаться и распозн. плохопропечатанные символы и символы незнакомых языков.

4. распозн. изображения, полученные с помощью фотоаппаратов.

Развитие программ OCR сегодня идёт в направлении повышения точности распознавания текстов низкого качества, рукопис. текста, выделение текст. инф. на фоне шумов, а также интеграции OCR-систем с различными программами обработки информации.

18. Аннотация и реферат текста: основные понятия. Методы автоматического аннотирования и реферирования текста: позиционный, логико-семантический метод.

Реферат - связный текст, к. кратко выражает не только центр. тему или предмет к-либо документа, но и цель, используемые методы, осн. результаты описанного исследования или разработки.

Аннотация - краткое изложение содержания докумета, дающее общ. представление о теме этого документа.

Рефераты и анн-ции - вторич. документы чаще всего созд. к научным книгам, статьям.

Автоматич. реферирование (аннотирование) текста (сжатие, компрессия текста) - составление реферата (аннотации) текста с помощью компьютера.

Первый машинный реферат был получен американцем Генри Лунном в 1958 году.

Машинный реферат наз. квазирефератом.

Этапы построения реферата человеком:

1) подготовительный (референт опред. тематическую направленность текста и пыт. осмыслить документ в целом)

2) аналитический (р-т делит текст на фрагменты и в них выд. осн. смысл. единицы, составл. план буд. реферата)

3) этап непосредственного построения реферата (выделенные ранее смысловые единицы (их комбинации) располагаются в единый вторич. текст в соответствии с планом)

В качестве смысловых единиц реферата могут быть:

1) полное без изменнеия ключ. предложение исход. текста

2) перефразированное ключевое предложение исходного текста

3) предложения, составл. из ключ. слов или словосочетаний с использованием связующих элементов

4) предложения, обобщ. несколько предложений исходного текста (не обязательно ключевых)

Смысловыми единицами аннотации могут быть:

1) ключевые слова, словосочетания исходного текста с предшествующими им спец. словами-реляторами ("книга посвящена след. проблемам", "в статье рассмтр. след. вопросы")

2) спец. предложения исходного текста

а) содержащие оценочные элементы типа (рассматриваются !важные! проблемы, статья посвящена !актуальной! теме)

б) предложения, содержащие клише - специализированные словесные штампы, к. фиксир. внимание человека ("недостаток заключается", "ставится задача")

Компьютер должен уметь:

1. находить в тексте ключ. слова, словосочетания, предложения

2. наход. в тексте менее знач. единицы

3. составлять из текстовых единиц смысл. единицы р-та, аннотации.

4. составл. из таких единиц текст р-та

Методы:

1) статистические

2) позиционные

3) логико-семантические.

Позиционные методы:

Осн. критерии этих методов явл. место или позиция предложения в исходном тексте. Выделяется 2 метода:

а) метод заглавия (счит., что основное содержание текста выражается текстом заголовка, поэтому составляется словарь ключевых слов на основе знаменательных слов заголовка, раб. на 35-40%)

б) метод локализации (раб. на текстах ?у/й? тематики. Идея метода: в таких текстах предложения о цели, результатах исследования заним. фиксированное место в тексте; метод работает на 25-55%)

Методы, исп. комплексно и совместно, дают результат около 75%.

Логико-семантические методы:

Исслед. структуру и семантику текста.

Ключ. предложение - предложение с наибольшим функциональным весом, на величину которого влияют различные факторы (связь с левым и правым окружением, наличие в предложении семантически значимых слов)

Кажд. из 3 методов имеет свои достоинства и недостатки, поэтому естественно представл. тенденция использовния совокупности методов.