Календарний план

Номер	Назва етапів дипломної роботи	Термін виконання етапів роботи	Примітка
1	Аналіз предметної галузі	18.05.2015-23.05.2015	виконано
2	Постановка задачі	24.05.2015	виконано
3	Дослідження існуючих рішень	25.05.2015-26.05.2015	виконано
4	Розробка моделі взаємодії даних	27.06.2015-30.06.2015	виконано
5	Написання програмного коду	31.06.2015-07.06.2015	виконано
6	Розробка моделі інтерфейсу	08.06.2015	виконано
7	Реалізація візуального інтерфейсу	9.06.2015-10.06.2015	виконано
6	Тестування програми	11.06.2015	виконано
7	Охорона праці	12.06.2015	виконано
8	Підготовка пояснювальної записки	13.06.2015-14.06.2015	виконано
9	Захист перед ДЕК	19.06.2015

Студент
	(підпис)
Керівник роботи
	(підпис)

РЕФЕРАТ

Записка пояснювальна: 87с., 28 рисунків, 1 таблиця, 15 джерел.

Дуже часто, люди, зіткуются з проблемою впорядкування файлів на персональному компьютері. Першим кроком у рішенні цієї – проблеми створення структури папок, але велика кількість файлів, що потрібно сортувати потребує великого об’єму затрачуваного часу.

Найпоширеніший та найоб’ємний вид інформації у Internet – це текстова інформація. Ручне сортування текстової інформації займає більше часу ніж усі інші види інформації разом.

При сортуванні документів з різних джерел інформації, виникає необхідність у уніфікаці засобів автоматизації процессу классифікації, та її оптимізації.

На данний час існує велика кількість якісних программних засобів для класифікації інформації, які спираються на зовнішні ознаки об'єктів файлової файлової системі, але вони не дають високоії точності классифікації на персональні класси.

У ході роботи, буде розроблена програма для інтелектуальної автоматизованої класифікації текстів, і видобутку текстової інформації з різних джерел і її класифікація у створеній заздалегідь структурі.

DATA MINNING, TEXT MINNING, КЛАССИФІКАЦІЯ, NAІVE BAYES, ПОШУК ІНФОРМАЦІЇ, ДЕСКРИПТОР, ФОЛКСОНОМІЯ

РЕФЕРАТ

Пояснительная записка: 87с., 28 рисунков, 1 таблица, 15 источников.

Очень часто, люди, сталкиваются с проблемой упорядочивания файлов на персональном компьютере. Первым шагом в решении этой проблемы – создания структуры папок. Но большое количество файлов которые нужно сортировать требует большого объема затрачиваемого времени.

Самый распространенный и объемный вид информации в Internt – это текстовая информация. Ручная сортировка текстовой информации занимает больше времени чем все другие виды информации вместе.

При сортировке документов из различных источников информации, возникает необходимость в унификаций средств автоматизации процесса классификация, и ее оптимизации.

В данный момент существует большое количество качественных программных средств для классификации информации, которые опираются на внешние признаки объектов файловой системе, но они не дают высокой точности классификации на персональные классы.

В ходе работы, будет разработана программа для интеллектуальной автоматизированной классификации текстов, и добычи текстовой информации из различных источников и ее классификация в созданной заранее структуре.

DATA MINNING, TEXT MINNING, КЛАССИФИКАЦИЯ, NAІVE BAYES, ПОИСК ИНФОРМАЦИИ, ДЕСКРИПТОР, ФОЛКСОНОМИЯ

ABSTRACT

Explanatory note: 87 pages, 7 figures, 1 table, 15 sources.

Very often, people are faced with the problem of organizing the files on their PC. The first step in solving this problem – creating a folder structure. But a large number of files that need to be sorted requires a large amount of solving time.

The most common type of information and the volume in Internt – is text information. Manual sorting of textual information takes more time than other types of information together do.

In time of sorting documents from different sources of information, there are need to unification of autoclassification process and to optimization of getting and storing data from opeational system.

Already there are many software for the classification of information relying on external signs of file system objects, but they do not give high classification accuracy for personal classes.

The work will be developed the program for intelligent automated text classification, text mining of information from various sources and their classification on pre-established structure.

DATA MINNING, TEXT MINNING, CLASSIFICATION, NAІVEBAYES, INFORMATION RETRIEVAL, DESCRIPTION, FOLKSONOMY

СОДЕРЖАНИЕ

ВВЕДЕНИЕ 7

1 АНалИз прЕдментной области и постановка задачи 8

1.1 Особенности электронных библиотек и текстовой информации 8

1.2 Понятие классификации 9

1.2.1 Методы классификации 11

1.2.2 Анализ формальных концептов (FCA) 15

1.2.3 Полиномиальная модель метода Naive Bayes 20

1.2.4 Модель Бернулли метода Naive Bayes 22

1.2.3 Байесовская классификация текстов 23

1.3 Дескрипторы и стоп-слова 26

1.4 Постановка задачи 29

2 Алгоритм извлечения данных 30

2.1 Выбор дескрипторов 30

2.2 Предварительная обработка данных 32

2.3 Анализ входных документов 33

3 Проектирование программы 35

3.1 Анализ языка программирование программирования Java 35

3.2 Архитектура приложения 35

4 ПрактическАЯ реализация И АНАЛИЗ РЕЗУЛЬТАТОВ РАБОТЫ КЛАССИФИКАТОРА 42

4.1Демонстрация работы системы 42

4.1.1 Блок загрузки библиотеки 43

4.1.2 Блок системных настроек 44

4.1.3 Блок ввода данных для классификации 45

4.1.4 Блок вывода результатов классификации 47

4.2Примерыи выборки 48

4.3 Описание реализации программы 51

4.4 Статистические данные и эмпирические выводы 53

4.4.1 Зависимость точности классификации от значений параметра переменной размытия по Лапласу 54

4.4.2 Зависимость точности классификации от объема тестового текста 56

5 охрана труда 58

5.1 Анализ условий труда 58

4.2 Промышленная безопасность в производственном помещении лаборатории 62

5.3 Производственная санитария в помещении 63

5.4 Пожарная безопасность в производственном помещении 66

ВЫВОДЫ 68

ПЕРЕЧЕНЬ ССЫЛОК 70

ПРИЛОЖЕНИЕ А 73

ВВЕДЕНИЕ

В современном обществе каждый сталкивался с проблемами накопления большого количества неклассифицированной информации. Большие объемы затрудняют процесс её сортировки и последующего распределения.

Самым распространенным видом информации в современном цифровом обществе есть текстовая информация. В 21-м веке стали проявляться особенно остро негативные стороны наличия большого разнообразия этого вида информации и ее доступности, а именно – информационная перегрузка. По данным Microsoft, на планете, ежегодно появляются 150 тыс. журналов, 5 млрд. научных книг и статей, 250 тыс. диссертаций и отчётов, и большая часть этой информации попадает в Web [1]. Всемирный книжный фонд удваивается каждые 10-15лет.

В то же время возросла и скорость доступа к этой информации. Человек уже не справляется с качественной классификацией текстовых массивов информации вручную, и возникает необходимость в автоматизации этого процесса и усовершенствования систем поиска по большим выборкам текстовых данных.

Классификация документов – одна из задач информационного поиска, заключающаяся в отнесении документа к одной из нескольких категорий на основании содержания документа. Классификация может осуществляться полностью автоматически с применением методов машинного обучения[2].

Для больших объемов текстовой информации наиболее эффективным критерием классификации является лингвистические дескрипторы. Лингвистический дескриптор – лексическая единица (слово, словосочетание) информационно-поискового языка, выражающая основное смысловое содержание какого-либо текста.