4 Практическая реализация и анализ эффективности

1. Практическая реализация

В качестве наглядного примера приведем интерфейс работы программы. На рисунке 4.1 представленна поисковая форма для ввода, после нажания на кнопку «Enter» будет произведена предвариальная обработка поискового запроса, сформирован входной вектор и отправлен в обработчик для кластреизации.

Рисунок 4.1 – Базовый экран поиска

На рисунке 4.2 представлен результат поиска по запросу: в одном окне выведено предложение поиска схожих текстовых документов в имеющейся распределенной файловой структуре.

Считаем, что сеть заранее прошла обучение на предоставленной целевой выборке по которой ведется поиск.

Рисунок 4.2 – Результат поиска по запросу «Бог умер: теперь мы хотим, чтобы жил сверхчеловек.»

В данном приложении функции просмотра схожих файлов ассоциирована с кнопкой «more.», результат работы которой можно видеть на рисунке 4.3.

Рисунок 4.3 – Результат нажатия на кнопку «more.» по запросу «Холера»

При желании посмотреть более общую тему, относящуюся к поисковому запросу, и при этом не настолько конкретную, имеет место быть удобным в случае ошибочного определения файла и позволяет сузить круг поисков до все еще небольшого круга файлов.

Для модификаци или проверки состояния библиотеки необходимос воспользоваться боковым меню настроек изображенным на рисунке 4.4. Для изменения директории необходимо ввести путь новой библиотеки и нажать на кнопку «save.», а для проверки изменений нужно нажать на кнопку «сheck for updates…» выделенную белым на черном фоне.

Для более гибкой настройки программы был реализован блок системных настроек, показанный на рисунке 4.4. В нем можно указать путь к дирректории храненния библиотеки, или проверить состояние библиотеки на актуальность.

Рисунко 4.4 – Меню настроек

По причине свойства информации изменятся, дополнятся и удалятся существует веская необходимость в актуализации кластреного индекса при минимизации вычислительных нагрузок и поддрежании высого качества поиска приведен алгоритм актуализации изображенный на рисунке 4.5.

Рисунок 4.5 – Блок-схема алгоритма актуализации библиотеки

Полученная система устойчива к изменениям информации. В случае модифицирования промежуточных кластеров происходит модификация индексов только в рамках измененной группы. Что повышает общую стабильность системы.

Хранение анализированной информации о структуре о содержимом самого файла хранится в виде метаинформации файла изображенную на рисунке 4.6.

Рисунок 4.6 – Метаинформация документа в формате «.doc»

Там где это возможно и в виде технической информации в начале файла, в первой строчке где первый вариант не сработал, пример которой показан на рисунке 4.7. Такой подход помогает просто десереализовать структуру полученных ранее данных и не отправлять документ на повторный анализ обработку уже обработанные ранее файлы.

Данный подход имеет обратную сторону в плане уменьшения читабельности информации, в особенности в примитивных расширениях как «.txt».

Рисунок 4.7 – Метаинформация документа в формате «.txt»

В файлах даного формата часто экономят место даже на указании кодировки в начале файловой информации, не говоря уже про какие либо комплексные системные пометки. Системная информация используемая в процессе кластерной-индексации может достигать до 30% от изначального объема файла.

4.2 Анализ эффективности

Взглянув на сравнения производительности, изображенное на рисунке 4.4, можно сделать вывод что данных подход на порядок эффективней, чем стандартный полнотекстовый поиск, встроенный в операционную систему, и превосходит систему полнотекстового поиска MySQL, что открывает перспективы коммерческого использования данной архитектуры.

Рисунок 4.8 – Сравнительный график производительности поисковых алгоритмов

Качества выдаваемых результатов прямо пропорционально растет объему поискового запроса к системе. В случае малых запросов, состоящих из 2-3 слов, без специфичной лексики шанс найти искомый файл снижаются очень сильно.

Использование метода кластерной индексации текстовых документов дает ощутимый прирост в скорости поиска за счет дополнительно предварительной обработки информации и модифицированной структуры хранения индексов.

Что позволят характеризовать данный метод как наиболее качественный метод в условиях распределенной файловой структуры, отсутствия априорных знаний о структуре данных и динамичности выборки документов.

ВЫВОДЫ

В аттестационной работе была исследована возможность применения метода SOINN для кластерной индексации текстовой информации разного рода в распределнной файловой системе и осуществления поиска по составленному данным методом.

Проанализировав существующие методы классификации и кластеризации за основу был взят модифицированный под онлайн обучение метод SOINN что позволило его стабилизировать, увеличить скорость работы и сохранить качество выдаваемого результата. Данный метод был дополнительно доработан для решения задачи кластеризации текстов на основе векторов лингвистических дескрипторов.

При тестировании системы была выбрана максимально репрезентативной выборки текстов для анализа и индексацию Что положительно сказалось на объективное оценивание работоспособности и анализа эффективности выбранного метода

На основе выбранной выборки был составлен словарь лингвистических дескрипторов для первичного текстовой информации в файловой системе. Нейросетевые модели, нацеленные на кластеризацию текстовой информации, хорошо поглащают контекст на основе векторов слов, поскольку цель базируется на анализе контекста, а не проверке или анализе правильности написания поискового запроса.

Успешно был спроектирован эффективный алгоритм предварительной очистки, обработки и последующей индексации данных. Что позволило производить быстрый поиск по заданной выборке.

Одним из наиболее эффективных подходов к решению задачи поиска текстовых данных является индексации. Реализация индексации на основе нейросетевого кластеризатора показала высокие результаты и позволило повысить скорость поиска.

Новый подход к хранению структуры системы в метаинформации документов позволяет поддерживать систему в роботоспособном состоянии и быстро восстанавливать без необходимость полного прохождения предобработки в случе каких либо манипуляций с данными или сбоев в системе.

В результате исследования получено решение важной научно-технической задачи.

Проведя анализ созданной модели на основе обучающей выборки, из чего можно заключить что была достигнута цель исследования, которая заключается в повышении эффективности поиска электронных документов путем модификации алгоритма индексации текстовых данных и хранения индексов.

ПЕРЕЧЕНЬ ССЫЛОК

1. Маннинг, К.Д. Введение в информационный поиск [Текст] : пер. с англ. / К. Д. Маннинг, П. Рагхаван, Х. Шютце. – М. : Вильямс, 2011. – 528с.: ил. – парал. тит. англ. – ISBN 978-5-8459-1623-5.

2. N Kalchbrenner. Recurrent Continuous Translation Models [Text/ N Kalchbrenner, P Blunsom; In Proceedings of the Conference on Empirical Methods in Natural Language Processing. – 2013, – p. 1700–1709.

3. Addressing the Rare Word Problem in Neural Machine Translation [Text]/ T Luong, I Sutskever, Q Le etc.; In Proceedings of the ACL-IJCNLP. – 2013, – p. 11–19.

4. R Dale. Helping Our Own: The HOO 2011 pilot shared task [Text]/ R Dale, A Kilgarriff; In Proceedings of the 13th European Workshop on Natural Language Generation. – 2011.

5. The CoNLL-2014 shared task on grammatical error correction [Text]/ H Tou Ng, S Mei Wu, T Briscoe etc.; In Proc. of CoNLL Shared Task. – 2014.

6. Кнут, Д. Э. Искусство программирования. – Т. 3 : Сортировка и поиск [Текст] / Д. Э. Кнут. – 2-е издание – М.: Диалектика-Вильямс, 2001. – 824 с. – ISBN: 5-8459-0082-4

7. Paar, Christof. Understanding Cryptography: A Textbook for Students and Practitioners [Text] / Christof Paar, Jan Pelzl, Bart Preneel. – Springer. – 2010. – 372 p. – ISBN 3642041000.

8. kd-tree [Electronic resource]. − Access mode: http://www.ray-tracing.ru/articles181.html.

9. Информационный поиск и поиск по схожести [Електронний ресурс]. − Режим доступу : http://www.itman.narod.ru/

10. Харитоненков, А. В. Поиск на неточное соответствие: коды Хемминга [Електронний ресурс] / Андрей Валерьевич Харитоненков. – Режим доступу : http://www.jurnal.org/articles/2009/inf32.html.

11. Compression: a Key for Next-Generation Text Retrieval Systems [Electronic resource] / Nivio Ziviani, Edleno de Moura, Gonzalo Navarro, Ricardo Baeza-Yates. – Access mode: http://cse.hanyang.ac.kr/jmchoi/class/2001-l/ir/papers/compression.pdf.

12. L. Russo. Approximate String Matching with Compressed Indexes [Text] / L. Russo, G. Navarro, A. Oliveira, P. Morales // Algorithms. – 2009. –P. 1105 – 1136.

13. F. J. Burkowski. Surrogate subsets: a free space management strategy for the index of a text retrieval system / F. J. Burkowski // SIGIR'90, 13th International Conference on Research and Development in Information Retrieval, Brussels, Belgium, 5-7 September 1990, Proceedings. – ACM 1990. – P.211-225.

14. Бойцов, Л.М. Использование хеширования по сигнатуре для поиска по сходству [Текст] / Л.М. Бойцов // Прикладная математика и информатика.- М. Изд-во факультета ВМиК, МГУ. – 2001. – № 8. – С. 135-154.

15. A Rozovskaya. The Illinois-Columbia system in the CoNLL-2014 shared task [Text] / A Rozovskaya, Kai-Wei Chang, M Sammons and etc.; In Proc. of CoNLL Shared Task. – 2014.

16. T Mizumoto, M Komachi: Mining revision log of language learning SNS for automated Japanese error correction of second language learners [Text]/ T Mizumoto, M Komachi, M Nagata, Y Matsumoto //In Proc. of IJCNLP, 2011.

17. S Katz: Estimation of probabilities from sparse data for the language model component of a speech recogniser [Text]/ S Katz // IEEE Transactions on Acoustics, Speech, and Signal Processing.  1987.  Vol. 35, no. 3.  Pp. 400-401.

18. Y. Bengio. A neural probabilistic language model [Text] / Y. Bengio, R. Ducharme, P. Vincent, C. Jauvin // Journal of Machine Learning Research.  2003.  no. 3.  Pp. 1137–1155.

19. Архипенко, К. В. Исследование моделей векторного представления слов на основе нейронных сетей [Текст] : автореф. курс….с-та/К. В. Архипенко; [Государственний уни-т им. Ломоносова]. Москва. – 2015. – c.13-20.

20. T Mikolov. Efficient estimation of word representations in vector space / T. Mikolov, K. Chen, G. Corrado, J. Dean // In Proceedings of Workshop at ICLR. – 2013.

21. T Mikolov. Distributed representations of words and phrases and their compositionality / T. Mikolov, I. Sutskever, K. Chen and etc.; In Proceedings of NIPS. – 2013.

22. I Sutskever. Sequence to Sequence Learning with Neural Networks [Text] / I Sutskever, O Vinyals, Q V.Le // In Advances in Neural Information Processing Systems. – 2014, p. 3104–3112.

23. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation [Text] / K Cho, B Merrienboer, C Gulcehre and etc.; In Proceedings of the Conference on Empirical Methods in Natural Language Processing. – 2014. p. 1724–1734.

24. On Using Very Large Target Vocabulary for Neural Machine Translation [Text]/ S Jean, K Cho, R Memisevic, Y Bengio; In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. – 2015. p. 1–10

25. D Bahdanau. Neural Machine Translation by Jointly Learning to Align and Translate [Text]/ D Bahdanau, K Cho, Y Bengio //CoRR, abs/1409.0473, – 2014

26. P Koehn. Statistical phrase-based translation [Text]/ P Koehn, F Josef Och, D Marcu // In Proc. of NAACL, 2003.

27. M Junczys-Dowmunt. The AMU system in the CoNLL-2014 shared task: Grammatical error correction by data-intensive and feature-rich statistical machine translation [Text]/ M Junczys-Dowmunt, R Grundkiewicz // In Proc. of CoNLL Shared Task, 2014.

28. Fast and robust neural network joint models for statistical machine translation [Text]/ J Devlin, R Zbib, Z Huang and etc.; In Proc. of ACL, 2014.

29. S Chollampatt. Neural Network Translation Models for Grammatical Error Correction [Text] / S Chollampatt, K Taghipour, H Tou Ng// In Proc. of CoNLL Shared Task, 2016.

30. R. Susanto. System combination for grammatical error correction [Text]/ Susanto R.H., Phandi P, Hwee Tou Ng // In Proc. of EMNLP, 2014.

31. Grammatical error correction using hybrid systems and type filtering[Text]/ M Felice, Z Yuan, O.E. Andersen and etc.; In Proc. of CoNLL Shared Task, 2014.

32. E Gelenbe : Random neural networks with negative and positive signals and product form solution Neural Computation [Text]/ E Gelenbe // vol. 1, no. 4. – 1989. – p. 502-511.

33. Listen, attend and spell [Text]/ W Chan, N Jaitly, Q Le , O Vinyals // In Proc. of CoNLL Shared Task, 2015.

34. Deep speech: Scaling up end-to-end speech recognition [Text]/ A Hannun, C Case, J Casper and etc.; In Proc. of CoNLL Shared Task, 2014

35. Neural Language Correction with Character-Based Attention/ Z Xie, A Avati, N Arivazhagan and etc.; In Proc. of CoNLL Shared Task, 2016

36. A Niculescu-Mizil. Predicting good probabilities with supervised learning. [Text]/ A Niculescu-Mizil, R Caruana // In International Conference on Machine learning (ICML). – 2005.

37. Нейронный машинный перевод с применением GPU. Вводный курс. Часть 3 [Электронный ресурс] / Режим доступа : http://datareview.info/article/neyronnyiy-mashinnyiy-perevod-s-primeneniem-gpu-vvodnyiy-kurs-chast-3/ – 19.08.2015 г. - Загл. с экрана.

38. Нейросетевое сжатие данних [Электронный ресурс] / Режим доступа : https://ru.wikipedia.org/wiki/ – 19.02.2016 г. - Загл. с экрана

39. Электронная книга по Основы искусственного интеллекта [Электронный ресурс] / Режим доступа: http://koi.tspu.ru/koi_books /gorchakov4/5.2.html – Загл. с экрана

40. Магрупов, Т.М. Анализ и обработка медико-биологической информации. [Текст] / Магрупов, Т.М, Васильева С.А., Магрупова М.Т. –Т.: ТашГТУ, 2012. – c. 55

41. G. Hinton. Reducing the dimensionality of data with neural networks [Text] / G. Hinton, R. Salakhutdinov // Science, 2006. Vol.313. - p.504-507.

42. Лоули Д. Факторный анализ как статистический метод. [Текст]/ Д. Лоули, А.Максвелл – М.: Мир, 1967. – 144 с.

43. Иберла К. Факторный анализ. [Текст]/ К. Иберла – М.: Статистика, 1980. – 398 с.

44. Бодянский, Е.В. Искусственные нейронные сети: архитектуры, обучение, применения. [Текст]/ Е. В. Бодянский, О.Г. Руденко – Харьков: ТЕЛЕТЕХ, 2004. –с. 297-301.

45. Фукунага К. Введение в статистическую теорию распознавания образов. [Текст]/ К. Фукунага– М.: Наука,1979. – 368 с.

46. Патрик, Э. А. Основы теории распознавания образов. [Текст]/ Э. А. Патрик– М.: Сов. радио, 1980. – 408 с.

47. A.Cichocki. Neural Networks for Optimization and Signal Processing. [Text]/ A.Cichocki, R. Unbehauen– Stuttgart: Teubner, 1993. – 526 p.

48. C. M. Bishop. Neural Networks for Pattern Recognition. [Text]/ C. M. Bishop – Oxford: Clarendon Press, 1995. – 482 p.

49. F. M. Ham. Principles of Neurocomputing for Science & Engineering. [Text]/ F. M. Ham, I. Kostanic– N.Y.: Mc Graw-Hill, Inc., 2001. – 642 p.

ПРИЛОЖЕНИЕ А

Ведомость дипломной работы

Позначення					Найменування		Дод. відомості
					Текстові документи
1. ГЮІК.ХХХХХХ.009 ПЗ					Пояснювальна записка		с.
2. ГЮІК.ХХХХХХ. 009 ГД					Графічні документи		10 с.
Рисунок 1					Порівняння задач классифікації та кластеризації		1
Рисунок 2					Описова схема алгоритму SOINN		2
Рисунок 3					Демонстрація кластеризації даних алгоритмом SOINN		3
Рисунок 4					Передача даних в системі		4
Рисунок 5					Блок-схема алгоритму роботи обробника		5
Рисунок 6					Блок-схема алгоритму роботи пошукового движка		6
Рисунок 7					Результат пошуку за запитом		7
Рисунок 8					Метаінформація документа в форматі «.doc»		8
Рисунок 9					Порівняльний графік продуктивності пошукових алгоритмів		9
					Інші документи
3.					Документи на компакт-диску		1 CD
					Презентаційні матеріали
4.					Презентаційний ролик		24 плакатів
					ГЮІК.ХХХХХХ.009 ВД
.	.	Прізвище та ініціали.
Розробив		Кушвід Є. С.	Підп.	Дата
Перевірив		Чала Л. Е			Метод винаходження помилок в електронних текстах	Шифр групи		Код напр./спец.
Н.контр.		Чала Л. Е
Затв.		Філатов В.О.				ХНУРЕ кафедра ШІ