3. Группировка данных

Сложно делать выводы на основе необработанной первичной информации. Аналитику для принятия решения очень часто нужна сводная информация. Совокупные данные намного более информативны тем более, если их можно получить в различных разрезах. В Deductor Studio предусмотрен инструмент, реализующий сбор сводной информации – Группировка. Группировка позволяет объединять записи по полям- измерениям и агрегировать данные в полях-фактах для дальнейшего анализа.

Для настройки группировки требуется указать, какие поля являются измерениями, а какие – фактами. Для каждого факта требуется указать функцию агрегации.

Стандартные варианты агрегации: сумма, среднее, максимум, минимум, количество. Количество – это число агрегируемых значений фактов для каждой комбинации измерений.

1) Допустим, что у аналитика имеется статистика по банкам России за определенный период. Она находится в файле Banks.txt.

Перед ним стоит задача выявления ряда городов, в которых прибыль банков самая большая, для использования этих данных в дальнейшем. Для

этого аналитик должен обратить внимание на следующие поля таблицы из файла: Банк, Филиалы, Город, Прибыль, т.е. информация о названии банка, городе, в котором он находится (филиалы банка могут находиться в разных городах, следовательно, по одному и тому же банку может быть несколько записей с данными по разным городам), и прибыль банка.

Ясно, что для решения поставленной задачи первым делом необходимо найти суммарную прибыль всех банков в каждом городе. Для этого и используется группировка.

Для начала в новом проекте следует импортировать данные по банкам из текстового файла Banks.txt.

Просмотреть исходную информацию можно в виде куба, где измерениями будут Банк и Город, отображаемым фактом – Прибыль.

На шаге Настройка измерений указать по строкам Банк, а по колонкам –

Город (рис. 2.8).

Рисунок 2.8 – Настройка измерений

Вариант агрегации для Прибыли – Сумма.

Но нам нужно получить эти данные не только для визуализации, но и для последующей обработки, следовательно, необходимо применить обработчик Группировка.

2. Группировка по городам.

Находясь в Узле импорта, запустим Мастер обработки. Выберем в качестве метода обработки Группировку данных (рис. 2.9). На втором шаге Мастера установим назначение поля Город как измерение, а назначение поля

Прибыль как факт. В качестве функции агрегации у поля Прибыль следует указать Сумма.

Рисунок 2.9 – Выбор метода обработки

2. Таким образом, после обработки получим суммарные данные по прибыли всех банков по каждому городу. Их можно просмотреть, используя таблицу. Теперь аналитику можно будет выполнять следующий этап обработки данных (рис. 2.10).

Рисунок 2.10 – Результат обработки

Результаты сохранить в файле L2_3.ded.

4. Слияние данных

Компонент Слияние необходим, когда к информации, содержащейся в некотором наборе данных, необходимо добавить дополнительную информацию из другого набора данных.

Обработчик Слияние предназначен для объединения двух наборов данных по нескольким одинаковым полям. Обработчик применяется, например, для добавления в таблицу с данными о продажах, данных по остаткам за те же месяцы. Операция производится над двумя таблицами: исходной и присоединяемой. К исходной таблице добавляются новые поля и/или строки, значения которых берутся из присоединяемой таблицы.

Для слияния двух узлов необходимо выполнить следующие шаги:

– В Мастере обработки определить узел связи, с которым будет осуществляться соединение, и определить тип слияния данных. При слиянии возможны следующие варианты:

Объединение включает в результирующий набор данных все строки из входящего набора данных, дополненные снизу строками из связываемого набора данных;

Внутреннее соединение включает в результат все строки, для которых найдено совпадение ключевых полей входящего и связываемого набора данных;

Внешнее левое соединение включает в результат все строки из входящего набора данных, дополненные значениями столбцов из связываемого набора данных, которые совпадают по ключевым полям.

Внешнее правое соединение включает в результат все строки из связываемого набора данных, дополненные значениями столбцов из входящего набора данных, которые совпадают по ключевым полям.

Полное внешнее соединение включает в результат все строки из входящего и связываемого наборов данных. Если ключевые поля совпадают, то значения столбцов заполняются реальными значениями. В несовпадающих строках столбцы заполняются пустыми значениями (null-значениями).

• На следующем шаге в мастере обработки необходимо указать связь между наборами данных, каким полям из входящего набора соответствуют поля в связанной таблице.

• Следующим шагом в Мастере обработки необходимо указать поля, которые должны быть включены в результирующий выходной набор данных. Для этого щелчком левой кнопки мыши нужно установить флажок напротив

метки поля, которое необходимо включить в выходной набор данных. На этой же странице мастера можно задать имена полей в результирующей таблице.

• На последнем этапе в Мастере обработки существует возможность описания узла Слияние, где можно указать детализированную информацию о соединяемых источниках данных и т.д.

1) Продемонстрируем механизм слияния, используя данные по продажам и остаткам (файлы TradeSales.txt и TradeRest.txt соответственно).

Добавим к данным по продажам данные по остаткам.

Для этого сначала импортируем данные из файла TradeRes.txt, содержащего данные по остаткам. В сценарии появится новый узел – Остатки товара. Далее импортируем данные по истории продаж из файла TradeSales.txt. В сценарии появится новый узел – Продажи товара.

К сведениям по продажам добавим информацию об остатках, для этого запустим Мастер обработки и выберем обработчик Слияние.

2) Выполнение слияния. Выбрать узел Продажи товара.

В Мастере слияния сначала следует выбрать узел связи, с которым необходимо соединить данные. В данном случае это узел Остатки товара. Также нужно указать тип слияния (рис. 2.11).

Рисунок 2.11 – Выбор типа слияния

3. Далее укажем необходимые взаимосвязи между столбцами двух узлов сценария (рис. 2.12).

Рисунок 2.12 – Взаимосвязи узлов сценария

3. После указания параметров полей нужно перейти на следующий шаг

Мастера и запустить процесс слияния (рис. 2.13).

Рисунок 2.13 – Слияние с узлом

3. Полученные результаты, представленные в виде диаграммы, будут выглядеть следующим образом (рис. 2.14).

Как видно, при помощи слияния удалось объединить объем продаж с объемом остатков.

Рисунок 2.14 – Результат слияния представлен диаграммой

Результаты сохранить в файле L2_4.ded.