37.Опишите процесс загрузки данных в хранилище.

Для принятия обоснованных решений необходимо, чтобы доставляемая информация была актуальной и непротиворечивой. Поэтому организация процесс регулярной загрузки данных в Хранилище является важной задачей. Выделим основные этапы этого процесса:

1. Доступ к источникам данных

2. Доставка на сервер репозитария Хранилища

3. Преобразование данных(унификация, изменение структуры и т.д.)

4. Проверка на корректность и непротиворечивость, очистка

5. Очистка

6. Агрегирование

Доступ к источникам

Компания SAS Institute предоставляет возможности для доступа ко всем данным в организации независимо от места и формата хранения. Доступ осуществляется посредством продукта SAS/ACCESS и позволяет работать напрямую с данными из таких известных СУБД как: Oracle, Sybase, Informix, Rdb, DB2, ADABAS, SAP R/2 и R/3, Ingres и другие, а также обеспечивает доступ к стандартным интерфейсам ODBC и OLE DB и файлам со стандартными форматами: VSAM, XLS, DIF, DBF, WKn и др. Всего система SAS имеет прямой доступ к более чем 40 различным форматам данных на 15 различных платформах.

Отличительной чертой системы SAS является тот факт, что данные доступные через дескрипторы SAS/ACCESS для всех процедур, работающих с данными, не отличаются друг от друга и от собственного формата хранения SAS. Это свойство системы позволяет легко изменять форматы внешних источников данных практически не внося никаких изменений в Хранилище Данных. Единственным изменением будет смена дескриптора доступа к внешним данным.

Доставка на сервер

При реализации Хранилища Данных для организации, автоматизированные системы которой работают на нескольких серверах и даже на разных платформах, процесс транспортировки данных может создавать определенные проблемы. Система SAS функционирует на многочисленных платформах и имеет хорошо развитые средства межплатформенного общения: SAS/CONNECT и SAS/SHARE между такими платформами как: MVS, VM/CMS, различные UNIX, OpenVMS VAX & AXP, OS/2, Window, Windows NT, Macintosh и другие.

Преобразование данных

Физическая структура Хранилища Данных часто сильно отличается от структуры источников. Основной причиной обычно является требования к эффективному исполнению запросов и прогнозируемое время отклика. Кроме изменения структуры, при интеграции данных из разных источников необходимо унифицировать форматы представления. В системе SAS разработчику доступны следующие средства обработки и преобразования данных:

1. SQL – стандартный язык обработки реляционных данных;

2. Data Step – эффективный 4GL язык обработки данных, разработка SAS Institute;

3. SAS/IML – язык для работы с матрицами, в виде математической нотации;

4. Различные специализированные процедуры обработки данных на основе эффективных алгоритмов сортировки (SORT), преобразования временных рядов (EXPAND), шкалирования (RANK) и пр.

Проверка на корректность и очистка

Одним из самых важных свойств Хранилища Данных является достоверность доставляемой информации. Ричард Хекатрон, один из пионеров концепции, назвал Хранилище Данных как «единый образ истины» для всей организации. Поэтому, проверка на непротиворечивость и корректность загружаемых данных, а также очистка и снятие противоречий является ключевым элементом Хранилища Данных.

Кроме простых и достаточно тривиальных процедур, легко реализуемых с помощью стандартных языков обработки данных, возникает необходимость определять данные, выпадающие из общего набора. Система SAS включает в себя процедуры: ANOVA для анализа дисперсий, REG , NREG и LOGISTIC для использования моделей линейной, нелинейной и логистической регрессии, MODEL для более сложных моделей, а также анализ на основе нейронных сетей. Эти процедуры входят в состав следующих продуктов: SAS/Base Software, SAS/STAT, SAS/OR и SAS/Enterprise Miner.

Агрегирование

Исследования, проведенные на работающих в промышленной эксплуатации Хранилищах Данных, показали, что 90% конечных пользователей нуждаются в сильно агрегированной информации, и лишь изредка возникает необходимость анализа информации детального уровня. Поэтому, для обеспечения эффективности отрабатываемых запросов и обеспечения удовлетворительного времени отклика на них, часто используемые агрегированные показатели рассчитываются заранее и включаются в состав Хранилища. Для агрегирования данных, хранящихся в многомерных базах данных, используется процедура MDDB. В зависимости от типа производимых вычислений система SAS предоставляет целый спектр процедур агрегирования, входящих в продукты SAS/Base Software, SAS/ETS и SAS/MDDB Server.