Хранилища данных

Кроме логической сложности построения такого класса систем, на их пути стоят и другие препятствия. Так, предприятие с развитой филиальной структурой может на каждом из филиалов использовать разные программные системы учета своей хозяйственной деятельности. Такие системы могут быть несовместимы друг с другом по составу и структуре информации. Это происходит в силу разных причин, чаще всего приходится сталкиваться с унаследованными системами, с исторически сложившимся состоянием дел. Обычно, приведение всех систем на всех филиалах (или дочерних предприятиях) к единому стандарту невозможно осуществить немедленно, а иногда и нежелательно в силу специфики деятельности конкретного подразделения. Но в рамках всего предприятия необходимо иметь данные, характеризующие общее положение, складывающееся из положений каждого филиала. Тогда возникает задача интеграции информации из разнородных источников – создания хранилища данных (Data Warehouse). Обычно, такая задача решается копированием данных каждого из филиалов в единую базу данных предприятия – хранилище данных, с преобразованием этих данных к единому формату. Кроме того, в хранилище необходима информация не только внутрикорпоративная, но и поступающая из внешнего мира, например, курсы валют, результаты торгов акциями и т. д. Данные в хранилище и являются предметом анализа.

При создании хранилища необходимо уделять внимание очистке поступающей в него информации. Это связано с наличием множества источников поступления данных в хранилище, каждый из которых может содержать ошибки, пропуски и т. д.

Типы ошибок

Противоречивость информации

Для каждой предметной области есть свое определение того, что считать противоречиями в данных. После того, как противоречия выявлены, можно поступать по разному:

1. При обнаружении нескольких противоречивых записей, удалять их.

2. Исправить противоречивые данные: вычислить вероятность появления каждого из противоречивых событий и выбрать наиболее вероятный.

Пропуски в данных

Очень серьезная проблема. Это вообще бич для большинства хранилищ данных. Большинство методов прогнозирования исходят из предположения, что данные поступают равномерным постоянным потоком. На практике такое положение встречается крайне редко. Поэтому одна из самых востребованных областей применения хранилищ данных – прогнозирование – оказывается реализованной не качественно или со значительными ограничениями. Для борьбы с этим явлением можно воспользоваться следующими методами:

1. Аппроксимация и экстраполяция. Т.е. если нет данных в какой-либо точке, мы берем ее окрестность и вычисляем по известным формулам значение в этой точке, добавляя соответствующую запись в хранилище. Хорошо это работает для упорядоченных данных. Например, сведения об ежедневных продажах продуктов.

2. Определение наиболее правдоподобного значения. Для этого берется не окрестность точки, а все данные. Этот метод применяется для неупорядоченной информации, т.е. в случае, когда нельзя определить окрестность исследуемой точки.

Аномальные значения

Довольно часто происходят события, которые сильно выбиваются из общей картины. И лучше всего такие значения откорректировать. Это связано с тем, что средства прогнозирования ничего не знают о природе процессов. Поэтому любая аномалия будет восприниматься как совершенно нормальное значение. Из-за этого будет сильно искажаться картина будущего. Какой-то случайный провал или успех будет считаться закономерностью. Метод борьбы – робастные оценки. Это методы устойчивые к сильным возмущениям. Мы оцениваем имеющиеся данные ко всему, что выходит за допустимые границы, и применяем одно из следующих действий:

1. значение удаляется;

2. значение заменяется на ближайшее граничное значение.

Шум

Почти всегда при анализе мы сталкиваемся с шумами. Шум не несет никакой полезной информации, а лишь мешает четко разглядеть картину. Методов борьбы с этим явлением несколько.

1. Спектральный анализ. При помощи него мы можем отсечь высокочастотные составляющие данных. Проще говоря, это частые и незначительные колебания около основного сигнала. Причем, изменяя ширину спектра, можно выбирать какого рода шум мы хотим убрать.

2. Авторегрессионые методы. Этот довольно распространенный метод активно применяется при анализе временных рядов и сводится к нахождению функции, которая описывает процесс плюс шум. Собственно шум после этого можно удалить и оставить основной сигнал.

Ошибки ввода данных

Перед внесением данных в хранилище можно провести проверку форматов. Кроме того, можно исправлять опечатки на основе каталогов допустимых значений (тезаурусов).

Грязные данные представляют собой очень большую проблему. Фактически они могут свести на нет все усилия по созданию хранилища данных. Причем, речь идет не о разовой операции, а о постоянной работе в этом направлении.

Описанные выше варианты решения проблем не единственные. Есть еще достаточно много методов обработки, начиная от экспертных систем и заканчивая нейросетями. Механизмы фильтрации должны стать таким же неотъемлемым атрибутом хранилищ данных как OLAP. Иначе в горе собранного мусора будет практически невозможно найти зерно полезного.

Обычная схема организации данных в хранилище, предназначенном для анализа – так называемая “звезда”. Она образована таблицей фактов – обычно очень большое множество данных, накапливаемое за длительный период времени (например, таблица SUPPLIES, см. Главу 4.14 и Главу 8 – торговая база данных) и несколькими таблицами измерений (обычно, не очень большие по объему, менее динамично изменяемые данные, характеризующие сущности, включаемые в таблицу фактов).