Электронный терминологический словарь «слово-жест»*

Введение

Актуальность задачи облегчения коммуникации глухих и слабослышащих людей при межличностных взаимодействиях с другими людьми определяется решениями ООН, а также законодательством Российской Федерации [1; 2]. Одним из средств расширения возможностей общения глухих с людьми, использующими текстовой язык, являются электронные словари, позволяющие по слову получать его интерпретации в виде жестов с помощью виртуальных демонстраторов — аватаров. Данную задачу можно рассматривать как первый шаг к созданию системы автоматического сурдоперевода.

Особенности жестового языка

Текстовый и жестовый языки имеют как сходства, так и различия. Текстовый язык конвенционален и развертывается линейно. У него более жестко определена грамматика, чем у жестового языка. Язык жестов соединяет образный ряд с языковым, а развертка его реализуется в пространстве. Но оба они обладают многозначностью, которая может быть снята только при учете тематики и контекста высказывания.

Русский жестовый язык (РЖЯ), используемый в повседневном общении, обладает собственной лексикой и грамматикой. Число жестов в РЖЯ значительно меньше числа слов русского языка. При этом одним и тем же жестом могут обозначаться разные денотаты. В языке жестов правила морфологических и синтаксических изменений присутствуют в очень размытом и неоформленном состоянии. В РЖЯ существительные не изменяются по падежам, глаголы имеют только одну форму — инфинитив. Для обозначения времени действия используются служебные жесты [3, 100-106].

С пецифику РЖЯ можно проиллюстрировать простым примером. В русском жестовом языке понятию «этаж» соответствуют два разных жеста, описывающих разные ситуации. На рис. 1 представлены описания этого понятия [4, 99].

Рис. 1. Различные представления понятия «этаж» в русском жестовом языке.

Первый вариант жеста используется при описании статических ситуаций, второй — динамических, подразумевающих перемещение между этажами. При этом для текста «Приходи. У меня 6-й этаж» следует использовать второй вариант жеста, а для текста «Мой дом высокий. В моем доме 6 этажей» — первый, то есть описания жестов, приведенные в [4], из-за весьма краткого контекста описаний не всегда дают ясное представление об особенностях смысловых оттенков жестов. Это необходимо учитывать при разработке электронного словесно-жестового словаря [3].

Электронный словарь «слово – жест»

Существует большое многообразие различных вариантов электронных словарей: от простого перевода книжного словаря в электронный вид до разработок, в которых учитываются особенности электронной «подачи» информации и работа на компьютере. В нашем случае на слово должно выдаваться анимированное изображение жеста, что имеет существенные преимущества перед видеозаписью сурдопереводчика [3; 5]. Применять такой словарь можно как аналог «книжного» тематического словаря [4] в качестве средства обучения.

Книжный словарь жестового языка дает значения слов текстового языка посредством рисунков — изображений жестов. В электронной версии появляется возможность давать изображение в динамике, используя анимацию. Электронная версия словаря жестов должна совмещать функции электронных текстовых словарей с учетом специфики жестового представления. Должно быть обеспечено разнообразие режимов работы со словарем, что может быть выполнено при реализации следующих лингвистических [6, 350-363] и мультимедийных функций:

• нормализация входной словоформы (получение лексемы) с помощью морфологического анализатора;

• вывод списка лексем в случае омонимии слова (режим «Альтернативы»);

• поиск смыслового соответствия лексеме жестовой интерпретации или сообщение об его отсутствии;

• визуализация жестовых интерпретаций словесного термина с помощью виртуального демонстратора;

• воспроизведение жеста с возможностями многократного повтора и замедленной (покадровой) демонстрации;

• просмотр вводимых в сеансе работы слов (режим «Предыстория»);

• вывод списка слов, «похожих» на входное слово с ошибкой или на ввод отсутствующего в словнике слова (режим «Варианты»);

• ввод жестовой интерпретации слова с проверкой на уникальность и с возможностями редактирования вводимых данных.

Структура словаря

Словарь состоит из оболочки электронного словаря «слово-жест» и из средств наполнения словарных статей как текстового, так и жестового языков.

Оболочка словаря включает в себя морфологическую базу данных слов русского языка и базу мультимедийных представлений жестов. Оболочка реализует нормализацию введенной или выбранной словоформы с помощью морфологического анализатора, поиск жестового толкования слова по нормализованной словоформе (лексеме) и отображение в соответствующем окне этой жестовой интерпретации с помощью виртуального демонстратора.

Морфологическая база задается в объеме словаря А.А.Зализняка (более 130 тысяч словарных входов). База жестовых толкований заполняется специалистом по жестовому языку с помощью средств пополнения словаря.

Морфологический анализатор

Для представления морфологических данных используется морфологическая модель, описанная М.Г.Мальковским [8]. Морфологический анализатор работает следующим образом. На вход анализатора поступает словоформа. Сначала анализатор пытается воспринять эту словоформу как неизменяемое слово. Если поиск неуспешен, делается попытка отделить постфикс, а затем строятся все возможные (с учетом длины словоформы) ее разбиения на основу и флексии. В случае удачного поиска анализ прекращается и в результате на выход анализатора подается найденная по основе лексема. Например, для входной словоформы арфу анализатор выдаст лексему арфа. Если в морфологическом словаре явно указана возможность неоднозначного членения, анализатор проверяет все возможные варианты и выдает на выходе список омонимов для заданной словоформы. Например, по входной словоформе жажду будут выданы две лексемы: существительное жажда и глагол жаждать. Если проверка правильности членения не дала положительного результата или если при правильном членении не было найдено в словаре соответствующей основы, то анализатор входную словоформу воспринимает как форму незнакомого слова и выдает соответствующее сообщение типа «Слово отсутствует в словаре».

Система заполнения базы жестов

При создании словаря существенной является функция заполнения словаря в части жестовых интерпретаций для текстового словника. Предполагается, что словник всегда «погружен» в множество представленных в морфологическом словаре слов (их объем эквивалентен нескольким миллионам словоформ).

Наполнение словаря может включать несколько этапов: первоначальное заполнение базы изображений, добавление к уже частично заполненной базе новых изображений, замена одного изображения на другое и корректировка уже занесенного в базу изображения. Очевидно, что это позволяет динамически пополнять и корректировать базу данных для жестов прямо в процессе работы со словарем.

Для реализации любых этапов наполнения базы жестов необходим редактор, по своим функциям схожий с известной программой Poser компании Curious Labs.

Заключение

Терминологическое обеспечение современных информационных систем отражает потребность в создании электронных словарей типа «слово-жест» для учебного процесса и для профессиональной деятельности. Предлагаемый комплекс лежит в русле этих разработок, тем более что он обеспечивает возможность адаптации его оболочки к любому тематическому словарю жестов для различных текстовых языков (например, русский, английский и др.) за счет замены морфологического анализатора.

Электронный словарь «слово-жест» дает возможность не только наращивать базу жестовых конфигураций, но и стандартизировать их для кодификации жестового языка.

Выбранные методы и структура организации словаря позволяют его расширять без «ломки» принятых решений. Это, в первую очередь, относится к автоматической идентификации словосочетаний, что потребует привлечения синтаксического анализатора для распознавания правильно построенных словосочетаний и для получения нормализованных словосочетаний.

Предполагается, что описываемый словарь найдет свое применение в разрабатываемой системе автоматизированной трансляции русскоязычного текста в жестовую речь [9].

Литература:

1. Стандартные правила обеспечения равных возможностей инвалидов // Резолюция Генеральной Ассамблеи ООН A/Res/48/96. - http://www.un.org/documents/ga/res/48/a48r096.htm

2. Федеральный Закон № 181-ФЗ от 24.11.1995 г. «О социальной защите инвалидов в Российской Федерации»

3. Воскресенский А.Л. «Непризнанный язык» (Язык жестов глухих и стандартные правила обкомпьютерная лингвистика) // Труды Международного семинара «Диалог-2002». Т. 2. - Протвино, 2002.

4. Фрадкина Р.Н. Говорящие руки: Тематический словарь жестового языка глухих России. - М., 2001.

5. Zwiterslood, I., Verlinden, M., Ros, J., van der Schoot, S., Synthetic signing for the deaf: eSIGN. - Proceedings of the Conference and Workshop on Assistive Technologies for Vision and Hearing Impairment, CVHI 2004, 29 June - 2 July 2004, Granada, Spain.

6. Хахалин Г.К., Богданов Н.К., Платонов С.В. Комплекс по разработке индивидуальных и/или корпоративных электронных толковых словарей. Обработка текста и кСогнитивные технологии // Труды международной конференции Когнитивное моделирование, Пущино, 17-19 сентября 1999 г. - М, 2000, ч. 2.

7. Зализняк А.А. Грамматический словарь русского языка. - М, 1980.

8. Мальковский М.Г. Диалог с системой искусственного интеллекта.- М., 1985.

9. Воскресенский А.Л., Хахалин Г.К. О модели процесса понимания ЕЯ-текста // Труды Международной конференции по когнитивной науке 9-13 июня 2006, Санкт-Петербург (в печати).

Р.Ю.Царёв, г.Курган