- •Создание структуры.
- •Создание модели интеллектуального анализа данных
- •Введение.
- •Методы решения задач Data Mining в Microsoft sql Server.
- •Метод дерева принятия решений.
- •Упрощенный Метод Байеса
- •Метод временных рядов.
- •Метод кластеризации
- •Метод поиска взаимосвязей
- •Метод линейной регрессии.
- •Метод кластеризации последовательностей
- •Метод нейронной сети
- •Области использования рассмотренных алгоритмов.
- •Доступ к средствам sql Server Data Mining из Microsoft Office.
- •Средства анализа таблиц Excel. Инструмент Table Analysis (Анализировать).
- •Инструмент «Анализ ключевых факторов влияния».
- •Инструмент «Поиск категорий».
- •Инструмент Заполнение по примеру (Fill From Example).
- •Инструмент прогнозирования Прогноз
- •Инструмент Выделение исключений
- •Инструмент Анализ сценария.
- •Поиск решения.
- •Анализ гипотетических вариантов
- •Клиент интеллектуального анализа данных для Excel
- •Подготовка данных
- •Просмотр данных.
- •Инструмент Очистить данные
- •Секционирование данных.
- •Панель инструментов Моделирование данных. Классификация.
- •Инструмент «Оценка»
- •Инструмент «Кластеризация»
- •Инструмент Связать.
- •Инструмент Прогноз.
- •Инструмент Дополнительно.
- •Панель Точность и правильность
- •Диаграмма точности.
- •Матрица классификации
- •Литература и источники.
- •Оглавление
- •101990 Москва, Малый Златоустинский пер. 7
- •Введение.
- •Хранилище данных Концепция хранилища данных.
- •Архитектура хранилища данных.
- •Проблемы создания хранилищ данных.
- •Требования к субд и используемые данные.
- •Data Mining или добыча знаний
- •Типы выявляемых закономерностей и этапы решения
- •Обзор используемых методов и алгоритмов
- •Классификация.
- •Кластеризации.
- •Задача ассоциации
- •Визуализация
- •Системы, реализующие Data Mining
- •Система PolyAnalyst
- •Работа с системой PolyAnalyst
- •Задание для самостоятельного выполнения.
- •Нейронные сети. Область применения нейронных сетей.
- •Теоретические аспекты нейронных сетей.
- •Последовательность этапов решения практических задач с использованием нейронных сетей и рекомендации по их проведению.
- •Программные системы для нейросетевого моделирования.
- •Программный пакет BrainMaker Professional.
- •Последовательность работы с пакетом BrainMaker Professional
- •Задания для самостоятельного выполнения:
- •Литература и источники.
- •Кондрашов Юрий Николаевич, Современные технологии интеллектуальной обработки информации.
- •101990 Москва, Малый Златоустинский пер. 7 Язык dmx Концепции языка dmx
- •Создание структуры.
- •Создание модели интеллектуального анализа данных
- •Детализация структуры
- •Детализация модели
- •Запрос значений столбца
- •Запрос содержимого модели
- •1. Витрины данных, как обособленная (специализированная) часть хд
- •2. Витрины данных (вид хд) , как промежуточная часть хд.
- •2. Кубы данных – оперативная аналиическая обработка (olap)
Создание модели интеллектуального анализа данных
Создание модели интеллектуального анализа данных можно осуществить одним из следующих способов:
после создания структуры интеллектуального анализа данных можно добавлять в нее модели с помощью инструкции ALTER MINING STRUCTURE;
можно использовать инструкцию CREATE MINING MODEL, в результате выполнения которой создается модель и автоматически формируется лежащая в ее основе структура интеллектуального анализа данных. Имя структуры интеллектуального анализа данных формируется путем добавления строки "_structure" к имени модели.
Первый способ является более предпочтительным, особенно когда планируется создать на основе одной структуры несколько моделей (использующих разные наборы столбцов, алгоритмы и т.д.). Формат оператора представлен ниже.
ALTER MINING STRUCTURE <structure>
ADD MINING MODEL <model>
(
<column definition list>
[(<nested column definition list>) [WITH FILTER (<nested filter criteria>)]]
)
USING <algorithm> [(<parameter list>)]
[WITH DRILLTHROUGH]
[,FILTER(<filter criteria>)]
где
structure |
имя структуры интеллектуального анализа данных, к которой будет добавлена модель; |
model |
уникальное имя модели интеллектуального анализа данных; |
column definition list |
список определений столбцов с разделителями-запятыми; |
nestedcolumn definition list |
cписок с разделителями-запятыми столбцов вложенной таблицы, если применимо; |
nested filter criteria |
определение фильтра, применяющегося к столбцам вложенной таблицы; |
algorithm |
название используемого моделью алгоритма интеллектуального анализа данных; |
parameter list |
cписок параметров алгоритма (через запятую); |
filter criteria |
определение фильтра, применяющегося к столбцам таблицы вариантов. |
Если структура интеллектуального анализа данных содержит составные ключи, то модель интеллектуального анализа данных должна включать в себя все ключевые столбцы, определенные в структуре.
Если модели не требуется прогнозируемый столбец (например, при кластеризации), то в инструкцию не нужно включать определение столбца. Все атрибуты в создаваемой модели будут рассматриваться как входы, например, следующее определение модели MyCluster1 для решения задачи кластеризации:
ALTER MINING STRUCTURE [New Mailing]
ADD MINING MODEL [MyCluster1]
USING Microsoft_Clustering
В общем случае определение столбца выполняется в соответствии со следующим форматом:
<structure column name> [AS <model column name>] [<modeling flags>] [<prediction>]
structure column name |
имя столбца в соответствии с определение структуры; |
model column name |
псевдоним (необязательный параметр, позволяющий в модели использовать ); |
modeling flags |
флаги моделирования, о которых говорилось выше: значение REGRESSOR указывает, что алгоритм регрессии может использовать заданный столбец в формуле регрессии; значение MODEL_EXISTENCE_ONLY указывает, что само присутствие атрибута важнее, чем значения столбца атрибута; |
prediction |
флаг прогнозирования (или флаг использования), указывающий, что данный столбец содержит прогнозируемую величину. Может принимать значение PREDICT (столбец является как входом, так и выходом) или PREDICT_ONLY (столбец является только выходом). Столбец без флага считается входом. |
Если в определении модели стоит WITH DRILLTHROUGH, то пользователям разрешается проводить детализацию (т.е. просматривать не только параметры модели, но и данные вариантов в этой модели).
Определение фильтров позволяет использовать при обработке модели только варианты, соответствующие условиям фильтрации.
Ниже приводится пример создания модели интеллектуального анализа данных "NaiveBayesWomen" в структуре интеллектуального анализа данных "NewMailing". Модель использует упрощенный алгоритма Байеса и ограничивается только теми вариантами из структуры, в которых клиентами являются женщины старше 50 лет (значение столбца Gender, содержащего информацию относительно пола клиента, равно F, от англ. Female - женщина). Предсказываться будет значение атрибута "BikeBuyer", т.е. купит ли эта клиентка велосипед или нет.
ALTER MINING STRUCTURE [New Mailing]
ADD MINING MODEL [Naive Bayes Women]
(
CustomerKey,
Gender,
[Number Cars Owned],
[Bike Buyer] PREDICT
)
USING Microsoft_Naive_Bayes
WITH FILTER([Gender] = 'F' AND [Age] >50)
Как уже отмечалось, модель можно создать и с помощью инструкции CREATE MINING MODEL.
Ее формат следующий:
CREATE [SESSION] MINING MODEL <model>
(
[(<column definition list>)]
)
USING <algorithm> [(<parameter list>)] [WITH DRILLTHROUGH]
Пример использования первого варианта записи оператора CREATE MINING MODEL для создания модели MyAssociationModel приведен ниже. Модель основана на использовании алгоритм взаимосвязей (Association Rules), и использует вложенную таблицу Products. Значения MINIMUM_PROBABILITY (минимальная вероятность) и MINIMUM_SUPPORT (минимальная поддержка) являются параметрами алгоритма Association Rules.
CREATE MINING MODEL MyAssociationModel (
OrderNumber TEXT KEY,
[Products] TABLE PREDICT (
[Model] TEXT KEY
)
)
USING Microsoft_Association_Rules (Minimum_Probability = 0.1, MINIMUM_SUPPORT = 0.01)
Здесь хотелось бы обратить внимание на одну особенность, проявляющуюся при создании модели, использующей только ключевой столбец из вложенной таблицы. В приведенном примере флаг PREDICT установлен для вложенной таблицы [Products], а не ее ключа [Model]. Это указывает на то, что модель прогнозирует множество строк, составляющих вложенную таблицу для варианта.
В других случаях, флаг может ставиться и для заданного столбца вложенной таблицы (который не является вложенным ключом).
После определения структур и моделей, следующим шагом является обработка, включающая заполнение структуры интеллектуального анализа данными, секционирование данных (если это было определено при создании структуры), применение в отношении полученных данных алгоритмов интеллектуального анализа (при обработке модели). Это делается с помощью инструкции INSERT INTO, формат которой приведен ниже:
INSERT INTO [MINING MODEL]|[MINING STRUCTURE] <model>|<structure> (<mapped model columns>) <source data query>
или
INSERT INTO [MINING MODEL]|[MINING STRUCTURE] <model>|<structure>.COLUMN_VALUES (<mapped model columns>) <source data query>
где
model |
название модели; |
structure |
название структуры; |
mapped model columns |
список через запятую с названиями столбцов, в т.ч. вложенных таблиц с их столбцами; |
source data query |
запрос, описывающий загружаемый набор исходных данных. |
Если в операторе указана структура интеллектуального анализа данных, обрабатывается эта структура и все связанные с ней модели. Если задана модель, инструкция обрабатывает только эту модель. В случае, когда не указан аргумент MININGMODEL или MININGSTRUCTURE, службы AnalysisServices производят поиск типа объекта на основе имени, и затем обрабатывается корректный объект. Если сервер содержит структуру и модель интеллектуального анализа данных с одинаковыми именами, возвращается ошибка.
Форма INSERT INTO<объект>.COLUMN_VALUES, позволяет производить вставку данных непосредственно в столбцы модели без ее обучения. При использовании этого метода, данные столбцов поставляются модели в сжатом и упорядоченном виде, что полезно при работе с наборами данных, содержащими иерархии или упорядоченные столбцы.
Элементы списка <mapped model columns> представимы в виде:
<column identifier> | SKIP | <table identifier> (<column identifier> | SKIP)
где
<columnidentifier> |
название столбца; |
<tableidentifier> |
название вложенной таблицы; |
ключевое слово SKIP указывает на то, что соответствующий столбец исходного запроса (исходных данных) не будет использоваться для заполнения структуры или модели (т.е. пропускается).
Элемент <source data query> может включать следующие типы источников данных:
OPENQUERY - инструкция запрашивает данные, являющиеся внешними для экземпляра служб AnalysisServices, при помощи существующего источника данных. Эта инструкция работает аналогично инструкции OPENROWSET, но имеет ряд преимуществ. В частности, DMX-запрос легче записать с помощью OPENQUERY. Кроме того администратор имеет больший контроль над доступом к данным на сервере;
OPENROWSET - инструкция запрашивает данные, являющиеся внешними для экземпляра служб AnalysisServices, при помощи существующего источника данных;
SHAPE - инструкция, позволяющая совместить данные из нескольких источников в одну иерархическую таблицу, т.е. появляется возможность заполнить структуру с вложенными таблицами.
любой запрос к службам AnalysisServices, возвращающий набор строк
Будем использовать первый вариант при отсутствии в структуре вложенных таблиц и третий - при их наличии. Рассмотрим эти форматы более подробно, начав с первого.
OPENQUERY(<named datasource>, <query syntax>)
где
named datasource |
источник данных, существующий в базе служб AnalysisServices (например, определенный с помощью конструктора в BIDevStudio); |
query syntax |
текст запроса, возвращающего набор строк (например, запроса на SQL). |
В следующем примере инструкция OPENQUERY применяется для обучения модели упрощенного алгоритма Байеса на основе данных о целевой рассылке из базы данных AdventureWorksDW (то, что это модель, а не структура SQLServer определит в результате анализа доступных моделей и структур).
INSERT INTO NBSample (CustomerKey, Gender, [Number Cars Owned], [Bike Buyer])
OPENQUERY([Adventure Works DW],'Select CustomerKey, Gender, [NumberCarsOwned], [BikeBuyer] FROM [vTargetMail]')
Другой пример [1] показывает вариант записи с явным указанием, что обрабатывается структура [People1] со столбцами [CustID], [Name] и т.д., для ее заполнения используется источник данных Chapter3Data, в апострофы заключен текст SQL-запроса, выполнение которого приведет к получению требуемого набора строк.
INSERT INTO MINING STRUCTURE [People1]
([CustID], [Name], [Gender], [Age], [CarMake],[CarModel])
OPENQUERY(Chapter3Data,
'SELECT [Key], Name, Gender, Age, CarMake, CarModel FROM People')
Инструкция SHAPE имеет более сложный по сравнению с OPENQUERY формат:
SHAPE {<master query>}
APPEND ({ <child table query> }
RELATE <master column> TO <child column>)
AS <column table name>
[
({ <child table query> }
RELATE <master column> TO <child column>)
AS<column table name>
...
]
где
master query |
запрос, возвращающий родительскую таблицу (таблицу вариантов); |
child table query |
запрос, возвращающий вложенную таблицу; |
master column |
столбец в родительской таблице с которым связаны строки из результата запроса дочерней таблицы(часто это потенциальный ключ, на который ссылается внешний ключ из вложенной таблицы); |
child column |
столбец в дочерней таблице для определения родительской строки из результата главного запроса (как правило - внешний ключ в таблице, используемой в качестве вложенной). |
columntablename |
имя столбца вложенной таблицы в родительской таблице. |
Инструкция SHAPE требует, чтобы результаты запросов были упорядочены по столбцам, используемым для связи между родительской и вложенной таблицами. Для этого в SQL используется инструкция ORDERBY.
Рассмотрим еще один пример [1]. В нем сначала создается структура [People3] cдвумя вложенными таблицами [Purchases] и [MovieRatings]. После чего с помощью оператора INSERT INTO MINING STRUCTURE производится заполнение и обработка структуры и ее моделей. Обратите внимание, что внешние ключи, используемые для связи таблиц (это столбец CustID в таблицах Purchases и MovieRatings), в структуру не попадают. Для этого используется ключевое слово SKIP, подставлемое вместо названия столбца (…[Purchases](SKIP, [Product], …),[MovieRatings](SKIP, [Movie], [Rating])…). Также хочется обратить внимание на наличие в запросах SELECT инструкции ORDERBY, упорядочивающей результат запроса, о чем говорилось выше.
// Создание структуры с двумя вложенными таблицами
CREATE MINING STRUCTURE [People3]
(
[CustID] LONG KEY,
[Name] TEXT DISCRETE,
[Gender] TEXT DISCRETE,
[Age] LONG CONTINUOUS,
[AgeDisc] LONG DISCRETIZED(EQUAL_AREAS,3),
[CarMake] TEXT DISCRETE,
[CarModel] TEXT DISCRETE,
[Purchases] TABLE
(
[Product] TEXT KEY,
[Quantity] LONG CONTINUOUS,
[OnSale] BOOLEAN DISCRETE
),
[Movie Ratings] TABLE
(
[Movie] TEXT KEY,
[Rating] LONG CONTINUOUS
)
)
//обработка структуры
INSERT INTO MINING STRUCTURE [People3]
([CustID], [Name], [Gender], [Age], [AgeDisc], [CarMake], [CarModel]
,[Purchases](SKIP, [Product], [Quantity], [OnSale])
,[Movie Ratings](SKIP, [Movie], [Rating])
)
SHAPE
{ OPENQUERY( Chapter3Data,
'SELECT [Key], Name, Gender, Age, Age, CarMake, CarModel
FROM People ORDER BY [Key]')
}
APPEND
({ OPENQUERY( Chapter3Data,
'SELECT CustID, Product, Quantity, [On Sale]
FROM Purchases ORDER BY CustID')
} RELATE [Key] TO [CustID]
) AS Purchases
, ({ OPENQUERY( Chapter3Data,
'SELECT CustID, Movie, Rating
FROM MovieRatings ORDER BY CustID')
} RELATE [Key] TO [CustID]
) AS MovieRatings
Удалить данные, модель или структуру можно с помощью оператора DELETE. Его синтаксис приведен ниже:
DELETE FROM [MINING MODEL] <model>[.CONTENT]
DELETE FROM [MINING STRUCTURE] <structure>[.CONTENT]|[.CASES]
где
model |
имя модели; |
structure |
имя структуры. |
Если не указан аргумент MININGMODEL или MININGSTRUCTURE, AnalysisServices производит поиск типа объекта на основе имени и затем обрабатывает корректный объект. Если сервер содержит структуру и модель интеллектуального анализа данных с одинаковыми именами, возвращается ошибка.
В таблице 1 описываются различные варианты использования данного оператора [12].
Таблица 1. Инструкция DELETE |
|
Инструкция |
Результат выполнения |
DELETE FROM MINING STRUCTURE <structure> или DELETE FROM MINING STRUCTURE <structure>.CONTENT |
Выполняет функцию ProcessClear по отношению к структуре интеллектуального анализа данных. Все содержимое структуры интеллектуального анализа данных и связанных с ней моделей интеллектуального анализа данных удаляется. |
DELETE FROM MINING STRUCTURE<structure>.CASES |
Выполняет функцию ProcessClearStructureOnly по отношению к структуре интеллектуального анализа данных. Все содержимое структуры удаляется (т.е. кэш вариантов очищается), а связанные с ней модели остаются без изменений. После выполнения команды детализация моделей, связанных со структурой, становится невозможной. |
DELETE FROM MINING MODEL<model> или DELETE FROM MINING MODEL<model>.CONTENT |
Выполняет функцию ProcessClear по отношению к модели интеллектуального анализа данных, но значения состояний оставляются без изменений. Значения состояний представляют собой возможные состояния столбца. Например, значениями состояний для столбца "Пол" являются "Мужской" и "Женский". |
Следующий пример удаляет все содержимое структуры People1.
DELETE FROM MINING STRUCTURE [People1]
Инструкция DROP позволяет удалить модель или структуру интеллектуального анализа данных из базы данных. Синтаксис для того и другого случая соответственно приведен ниже.
DROP MINING MODEL<model>
или
DROP MINING STRUCTURE <structure>
где
model |
имя модели; |
structure |
имя структуры. |
В следующем примере из базы данных удаляется структура NewMailing.
DROP MINING STRUCTURE [New Mailing]
Инструкции EXPORT и IMPORT позволяют соответственно сохранить модель или структуру интеллектуального анализа в файл резервной копии служб AnalysisServices (*.abf) и восстановить модель или структуру из файла. Синтаксис команд [12]:
EXPORT <object type><object name>[, <object name>] [<object type><object name>[, <object name] ] TO <filename> [WITH DEPENDENCIES]
и
IMPORT FROM<filename>
где
objecttype |
тип экспортируемого объекта (модель или структура интеллектуального анализа данных); |
objectname |
имя экспортируемого объекта; |
filename |
имя и расположение файла для экспорта (аргумент типа string, берется в одинарные кавычки). |
Если инструкция указывает модель интеллектуального анализа данных, итоговый файл также содержит связанную структуру интеллектуального анализа данных. Если инструкция указывает WITH DEPENDENCIES, все объекты, необходимые для обработки объекта (например, источник данных и представление источника данных), включаются в ABF-файл. Чтобы экспортировать или импортировать объекты базы данных служб Microsoft SQLServer Службы AnalysisServices, необходимо иметь права администратора базы данных или сервера.
В следующем примере структуры интеллектуального анализа данных TargetedMailing и Forecasting, а также модель интеллектуального анализа данных Association экспортируются в определенный файл. Вследствие того, что модель Association является частью структуры интеллектуального анализа MarketBasket, в примере также экспортируется структура MarketBasket. Любые другие модели интеллектуального анализа данных, которые могут существовать как часть структуры MarketBasket, не будут экспортироваться, потому что модель Association была экспортирована при помощи инструкции MINING MODEL, а не MINING STRUCTURE.
EXPORT MINING STRUCTURE [Targeted Mailing], [Forecasting] MINING MODEL Association TO 'C:\TM_NEW.abf'
В следующем примере модель интеллектуального анализа данных Association экспортируется в определенный файл. Вследствие того, что в инструкции указывается WITH DEPENDENCIES, объекты источника данных и представления источника данных также включаются в ABF-файл.
EXPORT MINING MODEL [Association] TO 'C:\Association_NEW.abf' WITH DEPENDENCIES
В следующем примере выполняется импорт всего содержимого файла с моделью Association, структурой и дополнительными объектами на текущий сервер.
IMPORT FROM 'C:\Association_NEW.abf '
Также можно защищать экспортируемую копию паролем [1]:
EXPORT MINING STRUCTURE People2 TO 'C:\temp\People2.abf'
WITH PASSWORD='People2'
Тот же пароль понадобится при импорте:
IMPORT FROM 'C:\temp\People2.abf' WITH PASSWORD='People2'
Следующая задача - это работа с данными и построение прогнозов. Для этого используется оператор SELECT.
SELECT в DMX очень напоминает аналогичный оператор в SQL, но надо понимать, что и перечень решаемых задач и особенности применения имеют существенные отличия.
При интеллектуальном анализе данных с помощью оператора SELECT можно решить следующие задачи:
просмотр вариантов, загруженных в структуру интеллектуального анализа данных;
просмотр содержимого существующей модели;
создание прогнозов по существующей модели;
создание копии существующей модели.
Для решения первых двух задач используется следующий формат записи оператора:
SELECT [FLATTENED] [TOP<n>] <selectlist>
FROM <model/structure>[.aspect]
[WHERE <condition expression>]
[ORDER BY <expression>[DESC|ASC]]
Инструкция FLATTENED указывает на необходимость преобразования возвращаемых запросом SELECT результатов в "плоский" набор строк (т.е. преобразование к обычной таблице). Она используется, когда представление вариантов с вложенными таблицами в используемом по умолчанию иерархическом формате неприемлемо.
Инструкции ORDER BY и TOP<n> позволяют упорядочить возвращаемый набор по указанному параметру и вернуть только первые n значений. Это может быть полезно в сценариях вроде целевых рассылок, где результаты нужно отправлять только наиболее вероятным получателям. Для этого можно упорядочить результаты прогнозирующего запроса целевой рассылки по вероятности, а затем вернуть только верхние n результатов.
В список выбора <selectlist> могут входить ссылки на скалярные столбцы, прогнозирующие функции и выражения. Доступные параметры зависят от алгоритма и следующих условий:
выполняется запрос к структуре или модели интеллектуального анализа;
запрос выполняется к содержимому или к вариантам;
источник данных является реляционной таблицей или кубом;
делается ли прогнозирование.
Если вместо списка выбора стоит символ "*", то будут выбраны все столбцы из модели или структуры.
В списке выбора допустимо использовать псевдонимы и простые выражения. Например, ниже для всех присутствующих в модели MyModel вариантов (на это указывает ключевое слово CASES см.ниже) выводится идентификатор клиента и его имя и фамилия в виде одного столбца FullName:
SELECT [CustomerID], [Last Name] + ', ' + [FirstName] AS FullName
FROM MyModel.CASES
Инструкция WHERE позволяет ограничить перечень возвращаемых результатов только теми, что соответствуют указанному логическому условию. Синтаксис будет следующий:
WHERE <condition expression>
Например:
SELECT [CustomerID], [Last Name] + ', ' + [FirstName] AS FullName
FROM MyModel.CASES
WHERE [CustomerID]>100
