2.2. Автоматическое распознавание текста

Ввод печатного текста в компьютер. Распознавание тек­

ста с помощью OCR-программ.

Автоматический анализ печатного текста, также как и анализ

звучащей речи, начинается с его ввода в компьютер. Поскольку со­

временный человек имеет дело главным образом с информацией,

размещенной на печатных носителях, остановимся на процессах ав­

томатической обработки печатных текстов подробнее и посвятим

им несколько отдельных параграфов. В первом из этих параграфов

рассмотрим ввод печатного текста в компьютер и связанный с этим

процесс распознавания печатного текста.

Для ввода информации в компьютер используются специальные

устройства — клавиатура, мышь и др., но наиболее удобным ин­

струментом для ввода большого количества печатных текстов явля­

ется сканер.

Сканер — это устройство ввода, работающее по принципу фото­

аппарата, т.е. позволяющее компьютеру «увидеть» текст в виде фо-

тографии [20, 53]. Чтобы компьютер смог «понять» этот текст, т.е.

перевести графическое (растровое) изображение символов в тексто­

вую форму, при которой у каждого символа имеется свой двоичный

код (например, в системе кодировок ASCII), требуется программа

автоматического распознавания символов (англ. OCR = Optical

Character Recognition).

Символами являются любые буквы, знаки препинания и другие

знаки текста (апостроф, кавычки, тире, скобки и т.д.). Слово пони­

мается как последовательность символов между двумя соседними

пробелами.

Программа автоматического распознавания текста (OCR-програм­

ма) — это компьютерная программа, позволяющая преобразовать

текст с бумажного носителя в электронный текстовый файл, кото­

рый в дальнейшем может обрабатываться человеком в любом тек­

стовом редакторе [20, 53]. Такие программы обычно предлагаются с

каждым приобретаемым сканером, но наиболее известными и по­

лифункциональными являются OCR-программы FineReader (компа­

нии АЪЪуу) и CuneiForm (фирмы Cognitive Technologies).

С другими программами автоматического распознавания текстов

можно познакомиться, например, в интернет-ресурсе, размещенном

по адресу http://kompkimi.ru/?p=617 (дата обращения: 02.02.2012).

Результат распознавания большинством OCR-программ весьма

точен, хотя некоторые трудности в распознавании текста приводят

к ошибкам, которые впоследствии приходится исправлять вручную.

Трудности распознавания могут быть вызваны следующими особен­

ностями печатного текста [20, 53—54; 6, 34]:

• использование шрифта разной гарнитуры и размера,

• использование в тексте нескольких языков,

• размещение текста в несколько колонок,

• включение в текст таблиц и рисунков,

• искажения символов (разрывы, слипания букв и т.п.),

• посторонние включения в изображение и т.д.

Названные трудности решаются, если дополнить системы авто­

матического распознавания текстов возможностью работы машины

со смыслом документа, т.е. вывести OCR-программы на более высо­

кий уровень искусственного интеллекта.

В целом точность распознавания OCR-программ на текстах хо­

рошего и среднего качества достигает 99%, что позволяет считать

проблему массового ввода печатных текстов в компьютер практиче­

ски решенной.

Вопросы для обсуждения

1. Охарактеризуйте основные возможности OCR-программ.

2. Каковы перспективы развития OCR-программ?

3. Что такое «интеллектуальное распознавание»?

4. Охарактеризуйте особенности одной из систем автоматического распоз­

навания текста.

Рекомендуемая литература

1. Башмаков И.А, Башмаков А.И. Интеллектуальные информационные си­

стемы. М.: МГТУ им. Н.Э. Баумана, 2005. С. 32—40.

2. Всеволодова А.В. Компьютерная обработка лингвистических данных:

учеб. пособие. 2-е изд., испр. М.: Флинта; Наука, 2007. С. 47.

3. Зубов А.В., Зубова И.И. Информационные технологии в лингвистике:

учеб. пособие. М.: Академия, 2004. С. 53—55.

4. Сканирование и распознавание: профессиональный подход: материалы

курса дистанционного обучения, www.online-academy.ru/scan.htm (дата об­

ращения: 02.02.3012).

Лабораторная работа 6

Сканирование текстового документа

Для сканирования возьмите текст любого печатного издания (книги, жур­

нала) на ваш выбор. Нужно отсканировать три страницы (разворота) печатного

издания.

1. Откройте программу ABBYY FineReader (через меню «Пуск» — Все про­

граммы).

2. Откройте вкладку меню «Файл» — «Сканировать несколько страниц...» или

нажмите кнопку «Сканировать» над основным рабочим полем программы.

Положите в сканер печатный текст. Следуйте инструкциям в открыв­

шемся окне работы со сканером. После предварительного сканирования

при необходимости поверните изображение. Сканируйте первую страницу

текста, вложенного в сканер, нажав кнопку «Scan» окна работы со скане­

ром. Отсканированная страница должна появиться в программе ABBYY

FineReader под номером 1.

3. Повторите процедуру сканирования со страницами 2 и 3. После того как

эти страницы появились в программе ABBYY FineReader под номерами 2

и 3, закройте окно работы со сканером и продолжайте работу только с про­

граммой ABBYY FineReader.

4. Проверьте язык распознаваемого документа. Он должен соответствовать

языку того документа, который вы сканируете. При необходимости выбе­

рите нужный язык распознавания из предлагаемого списка.

5. Нажмите кнопку «Распознать все» над основным рабочим полем програм­

мы ABBYY FineReader.

6. После окончания процесса распознавания выберите функцию «Передать

все в MS Word» (нажав вкладку меню файл — передать все... или нажав

треугольник рядом с кнопкой MS Word над основным рабочим полем про­

граммы ABBYY FineReader.

7. Сохраните получившийся файл MS Word под названием Л4_Номер груп-

пы_Ваша фамилия, например, Л4_10_Иванов. Добавьте в начале документа

библиографические данные книги: Фамилия и инициалы автора. Название

книги. Город: Издательство, год. Кол-во страниц по образцу: Зубов А.В.,

Зубова И.И. Информационные технологии в лингвистике. М.: Академия,

2004. 208 с.

2.3. Автоматическое аннотирование

и реферирование текста

Понятие автоматического аннотирования и реферирова­

ния текста. Виды рефератов. Примеры систем автоматическо­

го аннотирования.

В условиях все возрастающего количества текстов в окружаю­

щем человека мире возникает проблема: как в этом море информа­

ции найти нужные документы и познакомиться с их содержанием?

Решению данной проблемы может помочь составление рефератов и

аннотаций полнотекстовых документов. Они дают читателю пред-

ставление о содержании исходных документов и позволяют оценить

степень необходимости обращения к полным текстам каждой рабо­

ты. Кроме того, рефераты и аннотации акцентируют внимание чита­

теля на новых сведениях, т.е. позволяют за небольшой промежуток

времени узнать много новой информации.

Рефераты и аннотации составляются вручную, например самим

автором исходного текста или библиографическим работником, или

автоматически, с помощью специальных компьютерных программ.

Наиболее качественным является первый вид рефератов и аннота­

ций, поскольку в этом случае создается новый текст, называющий

основную мысль высказывания и отличающийся связным характе­

ром. Но для обработки большого массива текстов за минимальное

количество времени требуется привлечение автоматических средств

для решения задачи реферирования и аннотирования текстов.

Реферат определяется как связный текст, который кратко выражает

• центральную тему,

• предмет

• цель,

• методы,

• результаты исследования [20, 55].

Рефераты обычно составляют к научно-техническим докумен­

там: научным монографиям, статьям, патентам на изобретение и др.

В зависимости от жанра исходного текста (монография, статья, па­

тент и др.) и от предметной области (медицина, химия, лингвистика

и т.д.) заданные элементы реферата могут различаться. Так, для на­

учных рефератов дополнительно к названным выше элементам ре­

ферата прибавляется краткое изложение сути, практической апроба­

ции и перспектив исследования [8, 93—94].

Различают следующие виды рефератов [8, 89]:

• связный текст — новое текстовое образование, порождаемое на

основе логико-смыслового анализа исходного текста;

• реферат-клише — модификация заданной клишированной струк­

туры, пустые ячейки которой заполняются после анализа задан­

ного текста;

• квазиреферат — перечень наиболее информативных предложе­

ний текста.

Очевидно, что для автоматического создания рефератов — связ­

ных текстов требуются более сложные компьютерные программы,

чем для создания рефератов-клише и квазирефератов.

Некоторые исследователи считают реферат и аннотацию сино­

нимами [8, 88], а некоторые предлагают разводить эти понятия,

определяя аннотацию как краткое изложение содержания докумен­

та, дающее общее представление о его теме [20, 55]. Согласно этому

определению в отличие от реферата, знакомящего читателя с сутью

излагаемого в документе содержания, аннотация выполняет лишь

сигнальную функцию (есть публикация на определенную тему).

В большинстве программ, направленных на автоматическое со­

ставление краткого содержания текста, можно задать разную сте­

пень компрессии текста, т.е. одна и та же программа создает как

развернутые рефераты, так и краткие аннотации. В связи с этим в

отношении автоматического процесса составления краткого содер­

жания текста обычно используется двойное обозначение: автомати­

ческое реферирование и аннотирование текста.

Создаваемые в процессе реферирования и аннотирования анно­

тации и рефераты представляют собой вторичные документы. Пер­

вичными (или исходными) документами являются сами книги, ста­

тьи, патенты и др.

Программы автоматического аннотирования и реферирования

ориентированы на то, как это делает человек. Для человека этот про­

цесс включает следующие этапы [20, 56—57]:

1) подготовительный: определение темы текста, его понимание;

2) аналитический: деление текста на фрагменты (абзацы и т.п.) и вы­

деление в каждом фрагменте главных смысловых слов, которые

составляют план будущего реферата;

3) непосредственное составление реферата или аннотации: соеди­

нение выделенных смысловых единиц в связный текст.

Главными смысловыми единицами исходного текста выступают

ключевые слова, ключевые словосочетания и ключевые предложе­

ния. Ключевое слово — знаменательное слово, относящееся к основ-

ному содержанию текста и повторяющееся в нем несколько раз. Клю­

чевое словосочетание — сочетание слов, среди которых есть одно

или несколько ключевых. Ключевое предложение — предложение,

которое содержит несколько (два и более) ключевых слов [20, 57].

По способам выделения из исходных текстов ключевых слово­

сочетаний и предложений различаются следующие методы автома­

тического реферирования и аннотирования текстов [20, 59]:

1) статистические,

2) позиционные,

3) логико-семантические.

При статистическом методе принадлежность слова к категории

ключевых определяется его статистическими характеристиками:

ключевое слово согласно этому методу встречается среди знамена­

тельных слов текста наибольшее количество раз. Ключевое пред­

ложение, соответственно, содержит несколько ключевых слов, кото­

рые располагаются на небольшом расстоянии друг от друга.

В позиционном методе принцип отнесения предложения к клю­

чевым опирается на его местонахождение в тексте: ключевые пред­

ложения входят в заголовок, подзаголовок, находятся в начале и

конце текста.

Целью логико-семантического метода, при котором учитывает­

ся структура и семантика текста, является выделение предложений

с наибольшим функциональным весом. Такими предложениями

считаются те, которые содержат семантически значимые слова, осо­

бым образом связаны с другими предложениями, имеют определен­

ный синтаксический тип предложения и т.п.

Наиболее простыми системами автоматического реферирования

и аннотирования является функция АиtoSummarize в MS Word, систе­

мы Intelligent Text Miner, Oracle Context и Inxight Summarizer (компо­

нент поискового механизма AltaVista) (IBM). Правда, возможности

этих программ ограничены выбором оригинальных фрагментов из

исходного документа и их соединением в короткий текст [50].

Кроме того, можно привести примеры следующих систем авто­

матического реферирования и аннотирования текстов:

• ОРФО 5.0 (компания «Информатик»): программа включает функ­

цию автоматического аннотирования русских текстов;

• «Либретто» (компания «МедиаЛингва»): программа встраивает­

ся в Word и обеспечивает автоматическое реферирование и ан­

нотирование русских и английских текстов;

• поисковая система «Следопыт», которая включает средства ав­

томатического реферирования и аннотирования документов;

• программы Extractor и TextAnalyst (компания «Медиасистемы»),

которые выдают последовательности именных групп, выделен­

ных с помощью синтаксических анализаторов.

В целом можно констатировать, что автоматические рефераты и

аннотации представляют собой, по сути, квазирефераты, т.е. резуль­

татом автоматической компрессии текста в большинстве случаев

становится либо набор ключевых слов, либо перечень ключевых

предложений, что, впрочем, в значительной степени помогает ре­

шить задачу аннотирования и реферирования большого объема тек­

стов в малые сроки.

Вопросы для обсуждения

1. Опишите этапы составления реферата текста.

2. Представьте известные вам системы автоматического реферирования и ан­

нотирования текстов.

3. Какие задачи являются перспективными для систем автоматического рефе­

рирования и аннотирования текстов?

Рекомендуемая литература

1. Башмаков И.А, Башмаков А.И. Интеллектуальные информационные си­

стемы. М.: МГТУ им. Н.Э. Баумана, 2005. С. 77—90.

2. Беляева Л.Н. Лингвистические автоматы в современных гуманитарных

технологиях: учеб. пособие. СПб.: Книжный Дом, 2007. С. 87—101.

3. Зубов А.В., Зубова И.И. Информационные технологии в лингвистике:

учеб. пособие. М.: Академия, 2004. С. 55—75.

Лабораторная работа 7

Использование функции «Автореферат» MS Word

1. Откройте любой текстовый документ в MS Word 2007. В верхней строке

командного меню нажмите вкладку «Настройка панели быстрого доступа»

(треугольник, обращенный вниз). Выберите вкладку «Другие команды».

2. В открывшемся окне найдите указатель «Выбрать команды из...», в кото­

ром нужно установить параметр «Команды не на ленте». Выделите в спи­

ске команд «Автосуммирование» и нажмите «Добавить». Далее нажмите

«ОК» и убедитесь, что значок «Автосуммирование» появился в верхней

строке командного меню.

3. Нажмите значок «Автосуммирование», выберите вкладку «Автореферат».

Выберите вид и размер реферата, нажмите «ОК».

4. Проанализируйте получившийся реферат и отразите результаты анализа

в таблице.

Параметр анализа Ваш комментарий

Связный текст или набор словосочетаний/предложений

Функциональная нагруженность элементов реферата

Отражены ли необходимые структурные компоненты

реферата (тема, цель, методы, результаты работы)

Общий вывод

5. Составьте вручную реферат того же самого исходного текста. Ориентируй­

тесь при этом на этапы составления реферата, названные в теоретической

части раздела.

6. Сохраните оба реферата (автоматический и созданный вами) и таблицу с

комментарием об автоматическом реферате (задание 4) в Word под назва­

нием Л7_Номер группы_Ваша фамилия, например, Л7_10_Иванов.