Загрузка данных
Основная
цель процесса загрузки
данных состоит
в быстрой загрузке
данных в
ХД. Отметим некоторые особенности
выполнения процесса загрузки
данных в
ХД.
Во-первых, загрузка
данных,
основанная на использовании команд
обновления SQL, является медленной. Каждая
команда SQL выполняется СУБД по определенному
плану выполнения, и ее обработка включает
выполнение нескольких фаз. Поэтому загрузка с
помощью встроенных в СУБД средств
импорта/экспорта является предпочтительной.
Во-вторых,
индексы таблиц загружаются медленно.
Во многих случаях целесообразно удалить
индекс и построить его заново.
В-третьих,
следует максимально использовать
параллелизм при загрузке
данных.
Измерения могут производиться одновременно
с фактами и секциями
таблиц.
Аналогично факты и секции
таблиц могут
загружаться одновременно с измерениями.
Следует
заметить, что при загрузке
данных должна
быть гарантирована ссылочная целостность
данных, а агрегаты должны быть построены
и загружены одновременно с подробными
данными.
Настройка
производительности загрузки
данных в
ХД выполняется администратором ХД с
помощью набора процедур, предусмотренных
используемой СУБД.
Таким образом,
мы рассмотрели в общих чертах
основные элементы
ETL-процесса.
Теперь разберем, как проектировать ETL-процессы.
