2.3.4. Задача порівняння рефератів за допомогою карти Кохонена та пружної карти

Основна трудність при порівнянні рефератів полягає в тому, що практично однаковий зміст може бути виражений за допомогою різної кількості слів, досить великої кількості різних мовних конструкцій, словосполучень та слів синонімів. Питання дещо спрощується через те, що реферати можуть бути

створені за однаковими правилами, що враховують необхідність зменшення вживаних мовних конструкцій. При цьому більшість сучасних методик формування рефератів базується на використанні СМ. В загальному випадку СМ представляє знання у вигляді графа, вузли якого відповідають фактам, а дуги – відносинам або асоціаціям між поняттями. Достоїнством СМ є можливість визначення зв'язків між поняттями і специфічними правилами формування висновків, що визначаються за допомогою механізмів спадкоємства. Під СМ тексту розуміють безліч зв'язаних між собою значущих понять (слів і словосполучень), виділених з складу тексту. Кожний елемент СМ (поняття) характеризується своєю вагою і набором зв'язків з іншими елементами – контекстним вузлом. Вага елементу визначає відносну змістовну значущість вираженої їм теми в порівнянні із значущістю інших елементів. Вага зв'язку між парою елементів характеризує відносну змістовну зв'язність, відповідної першому елементу, з темою відповідної другому. Кожна вага елементу і вага зв'язку характеризується числовим значенням в наперед заданому діапазоні. Використання СМ дозволяє абстрагуватися від малоінформативних елементів формально-синтаксичної структури тексту (порядку слів, займенників і т.ін.) та представляє його структуру в термінах описуваних ситуацій (предикатів) і їх учасників (аргументів) в певних семантичних ролях [19, 20, 23, 56, 71, 88, 89]. Проте, в задачі розпізнавання спаму, повне представлення значення тексту у формі СМ є надмірним і непродуктивним. Таке представлення може мати значний обсяг, що перевищує обсяг документу. В свою чергу обробка такого представлення вимагає розвинених нетривіальних засобів для пошуку і порівняння структур на графах, що у свою чергу призводить до необхідності використання значних обчислювальних ресурсів. Можливим виходом з цієї ситуації є представлення змістовного портрету у вигляді переліку елементарних значень-атрибутів, з оцінками їх інформативності для характеристики тексту. Традиційно при вирішенні цієї задачі використовуються частотні списки слів, які вживаються в тексті. Проте самі інформативні елементи значення, що описують відносини, виникають тільки на рівні синтагм, виділення яких вимагає вживання алгоритмів синтаксичного аналізу, описаних, наприклад в [30-39]. Доповнений правилами для генерації канонічної форми синтагм, синтаксичний аналіз-синтез дозволить описати кожний смисловий атрибут тексту у вигляді рядка, інваріантного до його граматичного виразу в різних фразах.

Можливість створення якісних рефератів підтверджуються поширеністю відповідних програмних продуктів, наприклад TextAnalyst, компанії "Мікро Системи" і Inxight Summarizer, створеної в Дослідницькому центрі Ксерокса. До задач, що вирішуються подібними програмними продуктами, відносяться:

• Формування словників базових понять предметної області (термінологічних словосполучень і слів) на базі множини текстів.

• Побудова баз знань на базі текстів предметної області з оцінкою відносної значущості понять і їх змістовних зв'язків.

• Створення тематичної структури тексту. Тематична структура описує зміст аналізованих текстів у вигляді ієрархії зв'язаних тем і підтем.

• Визначення списку найбільш значущих словосполучень (реферату) початкового тексту. При цьому кожне речення реферату може характеризуватися ступенем значущості.

• Рубрикація (класифікація) текстів по заданих темах.

• Змістовний пошук інформації. Функція змістовного пошуку дозволяє отримати відповідь на запит, сформований у вигляді фрази на природній мові, словосполучень або просто набору ключових слів. При цьому інформація відповідь може мати іншу граматичну форму або взагалі не згадуватися явно в тексті запиту, проте мати змістовний зв'язок з текстом запиту.

Відзначимо, що вирішення подібних задач необхідне і при класифікації електронних листів. Автором були проведені експерименти по складанню рефератів спам-листів з тематик: запрошення на семінари, реклама промислових товарів та реклама побутових послуг. В якості інструментального засобу реферування було використано пакет TextAnalyst 2.01, доступний на Web-сайті за адресою www.analyst.ru, який дозволяє якісно реферувати тексти на російській, українській та англійській мовах. Приклад реферату електронного листа з запрошенням на семінар по темі "Кодекс адміністративного судочинства України" показаний на рис. 2.6. Практично для всіх випадків обсяг файлу реферату склав приблизно 5-10% від обсягу файлу аналізованого тексту, при задовільній як для системи захисту якості змісту реферату. Однак реферування листа призвело і до негативного наслідку – втрати важливих атрибутів листа (заявленої тематики, зворотної адреси і т.і.). Практика показує, що ці атрибути також можуть досить інформативно сигналізувати про тематику листа, а значить повинні використовуватись. Аналіз кореспонденції показує, що атрибути в основному представлені в перших 10 та останніх 30 словах листа. Тому до складу реферату доцільно долучити ще й вказані слова. Окрім цього, зроблена спроба складання реферату порожнього файлу і беззмістовних текстів. Система TextAnalyst повідомила про те, що дані тексти не підлягають реферування, оскільки є неправильними.

Ідеологія Кодексу адміністративного судочинства. На що забувають звертати увагу суди і учасники адміністративного процесу. Завдання адміністративного судочинства. Проблеми визначення юрисдикції адміністративних судів: - справи адміністративної юрисдикції (поняття публічно-правового спору, суб‘єкт владних повноважень); - адміністративна юрисдикція і справи про адміністративні правопорушення. Проблеми визначення підсудності справи (предметної, територіальної та інстанційної): - порядок створення адміністративних судів; - визначення підсудності після створення адміністративних судів; Провадження в адміністративній справі перша інстанція, особливості. Строки для звернення до адміністративного суду.

Рис.2.6 Приклад реферату електронного листа

В інтерпретації системи захисту, листи з таким вмістом були б класифіковані як спам, що безумовно, є позитивним моментом. В той же час, можливості змістовного пошуку і рубрикації тексту за допомогою засобів реферування не відповідають потребам системи захисту від спаму. Так змістовний пошук слова будівля в листі, присвяченому рекламі житла закінчився безрезультатно. При цьому в листі були присутні слова синоніми  житло та дім. Результати [18, 19, 22, 90] показують, що якісно вирішити питання рубрикації і змістовного пошуку можливо за рахунок порівняння рефератів і/або тематичної структури текстів з використанням граматичних словників. Не зважаючи на вказані недоліки результати експериментів підтвердили задовільну якість, як складання тематичної структури аналізованих листів, так і формування реферату. Відповідно висновкам [19, 21, 27, 52, 56, 65, 71, 84-90], порівняння рефератів доцільно реалізувати за допомогою НМ типу карти Кохонена, ймовірністних НМ та СНМ. Відзначимо, що використання рефератів не є обов'язковим. Приблизно класифікувати зміст за допомогою НМ можливо і на основі повного тексту листа. Проте застосування рефератів знімає багато технічних труднощів при програмній реалізації. Наприклад, програма обробки електронних листів для визначення в них інформативних слів була розроблена автором в середовищі Microsoft Office без використання високоефективних та дорогих промислових ПЗ обробки тексту. Це ж стосується і програмної реалізації НМ. В протилежному випадку велика кількість різноманітних слів, що входять до складу тексту листа визначає загальну кількість вхідних параметрів, а значить і мінімальний обсяг обчислювальних потужностей, який перевищує обмеження офісних програмних пакетів.

Як статистичний матеріал було використано 100 електронних листів по таким тематикам як запрошення на різнопланові семінари, реклама побутових послуг та реклама промислових товарів. Листи були отримані автором на протязі декількох тижнів 2006 року. Можна вважати, що на практиці листи однієї із вказаних тематик є цільовими, а інші листи – спам. Тому класифікація листів по тематикам в першому наближені адекватна розпізнаванню спаму. Зазначимо, що задача порівняння рефератів відноситься до класу задач аналізу тексту. Відповідно результатам п. 1.10 для її вирішення можливо використовувати такі типи НМ як карта Кохонена, PNN та СНМ. Відповідно висновків п. 1.4.2 та [17, 27, 29] алгоритм застосування карти Кохонена та ПК для вирішення конкретної задачі складається з таких етапів: 1  визначення номенклатури та допустимих величин вхідних параметрів, 2  підготовка навчальної вибірки, 3  нормування вхідних параметрів навчальної вибірки, 4  визначення кількості кластерів, 5  визначення виду сітки зв’язків нейронів шару розпізнавання, 6  вибір параметрів навчання НМ, 7  навчання НМ, 8  візуалізація та верифікація результатів навчання, 8  якщо результати не задовільні необхідно провести навчання з новими параметрами НМ. Для цього повторити п.4-8.

Таким чином для розв'язання практичної задачі необхідно сформувати множину вхідних параметрів (п.1-3), розробити архітектуру НМ (п.4-6) та провести його навчання (п. 7-9). Основою формування множини вхідних параметрів НМ послужила методика [18-23, 27, 56, 65, 87, 89], яка передбачає:

1. Формування із всіх піддослідних текстів словника інформативних слів. В словник не включаються малозначущі, службові слова та слова-зв’язки. Наприклад в словник не включаться слова: в, на, до, а, біля, та.

2. Якщо сформованому словнику присутні декілька слів слів-синонімів, то вони замінюються одним словом. Наприклад, слова-синоніми машина, автомобіль, легковик, джип, можливо замінити словом автомобіль. Відзначимо, що заміна синонімів потребує використання спеціальних граматичних словників в яких враховується тематика тексту.

3. Розрахунок для кожного із текстів кількості зустрічі кожного із інформативних слів в деякій канонічній формі. Під канонічною формою слова будемо розуміти його запис в такому вигляді, який дозволяє формувати будь-яку із його словоформ. Причиною застосування канонічних форм є те, що в українській та російській мовах більшість слів можуть бути представлені в декількох словоформах. Застосована методика визначення канонічних форм слів [20, 21, 27, 65, 84-87, 90], яка передбачає використання словників словоформ. При цьому всі слова записуються прописними символами.

4. Приведення слів до визначеної для кожного слова канонічної форми. Причиною цього є те, що в українській та російській мовах більшість слів можуть бути представлені в декількох словоформах. Методика приведення передбачає: призначення кожному слову в канонічній формі порядкового номера та розрахунок для кожного із текстів частоти зустрічі в ньому кожного з визначених в п.1, 2 слів:

,

(2.12)

де – частота зустрічі канонічної форми j-го слова в і-му тексті, – кількість словоформ j-го слова в і-му тексті, – кількість слів в і-му тексті.

Таким чином, кількість слів словника дорівнює кількості вхідних параметрів НМ. Попередній аналіз статистичного матеріалу виявив, що кількість слів в канонічній формі в представлених електронних листах перевищує 1000. Після реферування загальна кількість інформативних слів в канонічній формі була зменшена до 108. Відзначимо, в багатьох випадках листи однієї тематики не значно відрізнялись між собою. Наприклад, було отримано 12 листів з запрошенням відвідати семінар по темі “Логістика”. Різниця між листами полягала тільки в даті проведення семінару, а перелік інформативних слів залишився незмінним. Зрозуміло, що з точки зору розпізнавання спаму означені листи повинні відноситись до одного класу. Тому листи з однаковим набором інформативних слів були виділені в окремі групи. Темі реклама побутових послуг відповідає група листів №1, темі запрошення на семінари відповідають групи листів №2,3,4,5,6,7,9,12,14, темі реклама промислових товарів  №8,10,11,13. Зміст та класифікація листів представлені в табл. 2.7.

Таблиця 2.7

Тематика груп листів

№ групи

Зміст групи листів

Тематика групи

1	2	3
1	Реклама встановлення супутникової антени	Реклама побутових послуг
2	Семінар по темі  “Передача житлового будинку в експлуатацію”	Запрошення на семінари
3	Семінар по темі  “Як знайти клієнта по телефону?”
4	Семінар по темі  “Кодекс адміністративного судочинства України”
5	Семінар по темі  “Сучасні підходи логістики”
6	Семінар по темі  “Сучасний маркетинг”
7	Семінар по темі  “Сучасний менеджмент”
9	Семінар по темі  “Психологія споживача”
12	Семінар по темі  “Судові спори з податковими органами”
14	Семінар по темі  “Збільшення власного грошового потоку”
13	Реклама плазмового телевізора	Реклама промислових товарів
8	Реклама обігрівача
10	Реклама охоронної сигналізації
11	Реклама систем відеонагляду

Очевидно, що навіть при експериментах розрахувати “в ручну” кількість слів в канонічній формі досить складно. Для створено дві програми "Заміна_Словник" та "Заміна. Програми написані на VBA та функціонують в середовищі MS Word, в якому має бути відкритий аналізуємий текстовий файл. Програма "Заміна_Словник" в автоматичному режимі визначає канонічні форми слів тексту. В програмі передбачено чотири етапи розрахунків:

1. За допомогою об’єкту Words, бібліотеки MS Word 11.0 Object Library розраховується загальна кількість слів в тексті.

2. Видалення із тексту всіх неінформативних слів, які входять до словника службових слів. Цей словник не входить до складу MS Office, про те його заповнення не викликає труднощів і було здійснене за допомогою [25].

3. Пошук в тексті кожного із слів у всіх словоформах. Пошук здійснюється за допомогою об’єкту Words та завершується підрахунком кількості знайдених словоформ і їх видаленням. Механізм пошуку словоформ використовує вбудовані в MS Office словники та синтаксичного аналізатора.

4. Запис кожної словоформи в книгу MS Excel для подальшого аналізу.

Результати апробації програми "Заміна_Словник" виявились в деяких випадках незадовільними через неякісне визначення словоформ. Наприклад, зміна букв в корені слова призводила до його класифікації як нової словоформи. Виправити цей недолік можливо завдяки: вдосконаленню синтаксичного аналізатора та словників MS Office, створенню власного синтаксичного аналізатора та словників, визначення канонічної форми слова користувачем програми. Через те, що два перших шляхи виправлення недоліку є досить трудомісткими, а програма призначена в основному для експериментальних цілей було обрано третій шлях. Для цього програма "Заміна_Словник" була дещо модифікована. Нова програма дістала назву "Заміна". В ній визначення окремої канонічної словоформи здійснюється користувачем шляхом виділення певної групи символів. Після цього програма вже в автоматичному режимі підраховує кількість входжень цієї групи символів. Таким чином, якість визначення канонічних словоформ інформативних слів залежить від кваліфікації та ретельності користувача програми. Програма "Замена" була апробована та довела свою ефективність при досліджені текстів рефератів. Після розрахунку кількості канонічних форм інформативних слів за допомогою (2.12) в середовищі MS Excel були розраховані частоти цих слів для кожної із груп листів. Вказані частоти використані в якості вхідних даних карти Кохонена та ПК. Крім того, до складу вхідних параметрів ввійшли: назва групи листів та відносна кількість інформативних слів (I_w). Останній параметр розраховується як відношення кількості інформативних слів (I) до загальної кількості слів реферату листа (S):

(2.13)

Застосовувався цей параметр для покращення розпізнавання беззмістовних листів. Фрагмент вхідних даних показаний в табл. 2.8.

Таблиця 2.8

Величини вхідних параметрів карт Кохонена та ПК

№ групи листів	Відносна кількість інформативних слів	СТОИМ	ГРН	КОМПЛЕКТ	ГОД
1	0,12	0,04	0,04	0,04	0
5	0,2336	0,0263	0,0263	0	0,0263
6	0,4211	0	0	0	0,0238

Карта Кохонена моделювалась за допомогою пакету Deductor Studio 4.3, а ПК за допомогою пакету ViDaExpert. Вибір цих засобів пояснюється їх апробованістю та доступністю при некомерційному використанні. При побудові карти Кохонена прийнято: форма сітки зв'язків  прямокутник (1612), форма сітки зв'язків  гексагон, кількість кластерів  5, кількість навчальних епох  500, =0.1, r=6 на початку навчання, =0.005, r=1 в кінці навчання. Розділена на кластери карта Кохонена представлена на рис. 2.7.

A, B, C, D, E  номера кластерів, 1, ..., 14  номера груп листів з однаковим набором інформативних слів, межі кластерів, межі комірок карти.

Рис. 2.7 Карта Кохонена

На рис.2.7 номери 8,10,11,13 відповідають групам листів по темі реклама промислових товарів, а номер 1 відповідає листам по темі реклама побутових послуг. Всі інші листи є запрошеннями на семінари. Можна зробити висновок, що карта Кохонена якісно розділила листи на дві основні теми  реклама (кластери C та D) та запрошення на конференції (кластери A,B,E). Проте не правильно віднесла до одного кластеру листи з рекламою промислових товарів та листи з рекламою побутових послуг. Зазначимо, що якість відображення однотипних листів за допомогою класичної карти Кохонена дозволяє провести їх приблизну класифікацію самим користувачем. Отримані результати підтверджені аналогічними експериментами за допомогою власних програмних засобів кластеризації даних на основі карти Кохонена.

При побудові карти ПК прийнято: форма сітки зв'язків  квадрат (99), форма сітки зв'язків  квадрат, кількість кластерів  10. Навчання ПК було розділене на дві фази. Тривалість першої фази 500 навчальних епох, тривалість другої  3000 навчальних епох. На початку навчання =0.07, r=10, в кінці навчання =0.003, r=1. Відображення багатовимірної площини навчальних даних на площину головних компонент параметрів навчальних даних показане на рис. 2.8. Кожній точці на рис. 2.8 відповідає своя група листів.

Групи листів: 1  реклама промислових товарів, 2  реклама побутових послуг

Рис.2.8 Відображення навчальних даних на ПК

Із рис. 2.8 видно, що групи листів по темі реклама промислових товарів та реклама побутових послуг відображаються досить компактно. Це вказує на можливість їх швидкої та якісної класифікації користувачем шляхом візуального аналізу ПК. Зазначимо, на рис. 2.8 межі кластерів не показані через те, що кластери ПК зайняли несуміжні комірки і їх відображення ускладнює процес візуального аналізу. ПК розділила листи на п'ять кластерів. Листи по темі реклама промислових товарів та по темі реклама побутових послуг були виділені в окремі кластери. Листам із запрошенням на семінари було призначено три кластери. Інші п'ять кластерів залишились порожніми.

Проведені числові експерименти з метою дослідження впливу параметрів настройки карти Кохонена та ПК на відображення топографічного шару та на результати кластеризації. Зазначимо, що деякі з цих параметрів, наприклад початковий розподіл вагових коефіцієнтів, можуть приймати випадкові значення. Результати експериментів показали:

• Відображення топографічного шару на площину головних компонент практично не змінюється.

• Зі зміною параметрів результати кластеризації значно змінюються. Однак можливо визначити деякі величини параметрів, при яких якість кластеризації залишається задовільною. Так для ПК крім вказаних величин навчальних параметрів доцільно використовувати ієрархічний метод кластеризації.