- •Создание структуры.
- •Создание модели интеллектуального анализа данных
- •Введение.
- •Методы решения задач Data Mining в Microsoft sql Server.
- •Метод дерева принятия решений.
- •Упрощенный Метод Байеса
- •Метод временных рядов.
- •Метод кластеризации
- •Метод поиска взаимосвязей
- •Метод линейной регрессии.
- •Метод кластеризации последовательностей
- •Метод нейронной сети
- •Области использования рассмотренных алгоритмов.
- •Доступ к средствам sql Server Data Mining из Microsoft Office.
- •Средства анализа таблиц Excel. Инструмент Table Analysis (Анализировать).
- •Инструмент «Анализ ключевых факторов влияния».
- •Инструмент «Поиск категорий».
- •Инструмент Заполнение по примеру (Fill From Example).
- •Инструмент прогнозирования Прогноз
- •Инструмент Выделение исключений
- •Инструмент Анализ сценария.
- •Поиск решения.
- •Анализ гипотетических вариантов
- •Клиент интеллектуального анализа данных для Excel
- •Подготовка данных
- •Просмотр данных.
- •Инструмент Очистить данные
- •Секционирование данных.
- •Панель инструментов Моделирование данных. Классификация.
- •Инструмент «Оценка»
- •Инструмент «Кластеризация»
- •Инструмент Связать.
- •Инструмент Прогноз.
- •Инструмент Дополнительно.
- •Панель Точность и правильность
- •Диаграмма точности.
- •Матрица классификации
- •Литература и источники.
- •Оглавление
- •101990 Москва, Малый Златоустинский пер. 7
- •Введение.
- •Хранилище данных Концепция хранилища данных.
- •Архитектура хранилища данных.
- •Проблемы создания хранилищ данных.
- •Требования к субд и используемые данные.
- •Data Mining или добыча знаний
- •Типы выявляемых закономерностей и этапы решения
- •Обзор используемых методов и алгоритмов
- •Классификация.
- •Кластеризации.
- •Задача ассоциации
- •Визуализация
- •Системы, реализующие Data Mining
- •Система PolyAnalyst
- •Работа с системой PolyAnalyst
- •Задание для самостоятельного выполнения.
- •Нейронные сети. Область применения нейронных сетей.
- •Теоретические аспекты нейронных сетей.
- •Последовательность этапов решения практических задач с использованием нейронных сетей и рекомендации по их проведению.
- •Программные системы для нейросетевого моделирования.
- •Программный пакет BrainMaker Professional.
- •Последовательность работы с пакетом BrainMaker Professional
- •Задания для самостоятельного выполнения:
- •Литература и источники.
- •Кондрашов Юрий Николаевич, Современные технологии интеллектуальной обработки информации.
- •101990 Москва, Малый Златоустинский пер. 7 Язык dmx Концепции языка dmx
- •Создание структуры.
- •Создание модели интеллектуального анализа данных
- •Детализация структуры
- •Детализация модели
- •Запрос значений столбца
- •Запрос содержимого модели
- •1. Витрины данных, как обособленная (специализированная) часть хд
- •2. Витрины данных (вид хд) , как промежуточная часть хд.
- •2. Кубы данных – оперативная аналиическая обработка (olap)
Введение.
В связи с появлением хранилищ данных [5] сформировались большие объемы информационной руды в самых различных областях. К информационному сообществу пришло понимание того, что сырые данные содержат глубинный пласт знаний, при грамотной раскопке которого могут быть обнаружены настоящие самородки полезной информации. Стало ясно, что без продуктивной переработки потоки сырых данных образуют никому не нужную свалку или руду данных.
Данные в хранилищах имеют неограниченный объем, являются разнородными (количественными, качественными, текстовыми), но при этом результаты обработки должны быть конкретны и понятны, а инструменты обработки сырых данных должны быть просты в использовании.
Появление и широкое использование хранилищ данных способствовало развитию такого направления работы с ними, как Data Mining или добыча знаний. Используются также слова «обнаружение знаний в базах данных» (knowledge discovery in databases) и «интеллектуальный анализ данных». Их можно считать синонимами Data Mining.
"Mining" по-английски означает "добыча полезных ископаемых", а поиск закономерностей в большом количестве данных действительно сродни этому процессу.
Существует множество определений Data Mining. Можно привести некоторые из них.
Data Mining - это процесс поддержки принятия решений, основанный на поиске в данных скрытых закономерностей (шаблонов информации).
Data Mining - это технология, которая предназначена для поиска в больших объемах данных неочевидных, объективных и полезных на практике закономерностей.
Data Mining - это процесс обнаружения в сырых данных практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.
Data Mining - это процесс выделения из данных неявной и неструктурированной информации и представления ее в виде, пригодном для использования.
В каждом из определений так или иначе присутствуют слова неочевидных, неявных, неизвестных, нетривиальных. Это значит, что найденные закономерности не обнаруживаются стандартными методами обработки информации или экспертным путем. В этом качественное отличие Data Mining от традиционных статистических методов анализа, которые ориентированы на проверку заранее сформулированных гипотез.
Поскольку именно формулировка гипотезы относительно зависимостей является самой сложной задачей, то и преимущество Data Mining по сравнению с другими методами анализа становится очевидным.
Направление Data Mining развивается и широко используется в различных сферах деятельности. Можно найти много примеров применения Data Mining в экономике, интернет-технологиях, торговле, телекоммуникации, промышленности, медицине, банковском деле, страховании и др. [2, 3, 1]. Современные широко используемые системы управления базами данных (СУБД), (например, SQL Server Microsoft, Oracle) включают развитые аналитические сервисы, поддерживающие решение задач Data Mining. Для доступа к этим сервисам можно использовать, в частности, широко известную электронную таблицу Excel. Это позволяет проводить интеллектуальный анализ данных широкому кругу прикладных специалистов, не имеющих специальной подготовки в области программирования и СУБД, что будет способствовать еще более широкому внедрению методов Data Mining.
В настоящем учебном пособие рассматривается использование электронной таблицы Excel для доступа к аналитическим сервисам SQL Server Microsoft, обеспечивающим решение широкого круга задач Data Mining.
Настоящее учебное пособие предназначено для бакалавров и магистров направлений 080700 «Бизнес-информатика», 230700 «Прикладная информатика», 010400 «Прикладная математика и информатика», изучающих дисциплину «Современные технологии обработки информации», а также для бакалавров и магистров других направлений, по которым проводится подготовка в Государственном университете Министерства финансов Российской Федерации.
