Поиск информации в базах данных. Хранилища данных
Одной из основных функций маркетинговой информационной системы является предоставление пользователям возможности осуществлять быстрый поиск необходимой информации и получения ответов на разнообразные вопросы.
-----
Це пояснюється тим, що сьогодні більшість організацій мають доступ до практично необмеженої кількості даних, що містять відомості про продаж, демографічні дані, тренди, про продукти конкурентів тощо. Більша частина цих даних розподілена і знаходиться в локальних базах співробітників, в інтегрованій базі даних організації, у базах даних, зовнішніх щодо відповідної організації. Проте багато організацій не можуть ефективно перетворити ці дані в необхідну для прийняття рішень інформацію, подану у зручній формі. Наприклад, менеджери компаній нерідко не в змозі оперативно одержати відомості про обсяги продажу своїх продуктів у певних регіонах. Необхідні для цього дані, звісно, існують, проте швидкість, з якою вони можуть бути перетворені на зручну інформацію, залежить від інформаційної системи, використовуваної в компанії. Часто для збирання та аналізу потрібної інформації необхідні зусилля кількох людей протягом годин або навіть днів.
-----
Вопросы, которые формулируются к базе данных, называются запросами.
-----
Наприклад, працюючи з базою даних, яка містить інформацію про продаж, можна отримати відповіді на такі запитання:
Які обсяги продажу за останній тиждень, місяць, рік?
Чи збільшилися обсяги продажу?
Яких товарів було продано найбільше?
Які товари приносять найбільший прибуток?
Обсяги продажу яких товарів зменшуються?
Скільки продано постійним покупцям?
Як обсяги продажу розподіляються за регіонами?
-----
Компании, использующие инструментальные средства, которые дают возможность сотрудникам быстро получать необходимую информацию и анализировать ее, имеют значительное преимущество на рынке. На сегодня почти идеальной программой для создания инструментов анализа данных является Excel. Эта программа имеет самую большую (по сравнительно с другими программами) библиотеку объектов, предназначенную для анализа данных. Объекты Excel сами по себе являются чрезвычайно мощными, а то, что они могут быть объединены с другими компонентами информационной системы, является решающим фактором их значимости для системы.
Но для того чтобы можно было воспользоваться теми потенциальными возможностями анализа данных, которые эта программа предоставляет конечному пользователю, прежде всего надо иметь инструменты быстрого поиска, отбора и импортирования данных из внешних источников в Excel. Слово «внешние» здесь означает, что данные хранятся в электронном виде, но в рабочей книге Excel они отсутствуют. Такие данные можно импортировать в Excel разными способами, тем не менее самые мощные – это программа Microsoft Query и Web-запросы.
-----
Програма MS-Query може ефективно здійснювати доступ до різних джерел. Вона має розвинені засоби формування запитів, відображення результатів їх виконання і передавання отриманих даних на подальше оброблення. Це не лише потужний, а й досить простий інструмент для отримання даних із різних джерел. Його можна використовувати: для відбору даних з реляційної бази, наприклад Access, SQL Server або Oracal; для отримання даних, що зберігаються у вигляді списків в інших робочих книгах Excel або в текстових файлах; для з’єднання з базою даних OLAP і передавання даних в Excel у вигляді звіту зведеної таблиці. Коли дані отримуються з реляційної БД, списку Excel або текстового файла, можна об’єднувати дані, подані в декількох таблицях.
Хранилища данных
Способ получения информации непосредственно из оперативных баз данных больших корпоративных систем создает для конечных пользователей значительные трудности.
Во-первых, это заставляет пользователей формировать сложные запросы к данным, которые хранятся в разных местах сети и в разных форматах.
Во-вторых, когда данные накапливаются в нескольких несвязанных оперативных базах данных, они часто во многом дублируются, но при этом никак не согласовывают. В таком случае достоверную комплексную информацию получить практически невозможно, несмотря на ее избыточность.
Даже если все данные хранятся на центральном сервере БД, разобраться в их сложных структурах конечному пользователю, как правило, очень сложно. Поэтому возникает потребность в предварительной обработке оперативных данных, которые собираются в разных отделах организации, не только для того, чтобы собрать их в одном месте, а и для того, чтобы согласовать их и, исходя из особенностей решаемых задач, очистить от ненужных данных и хранить в простой, понятной и удобной для формулирования нерегламентированных запросов структуре. Именно это и является основной причиной появления так называемых хранилищ, или складов, данных, которые должны хранить лишь необходимую, актуальную и точную информацию с целью доставки ее определенным лицам в нужен время для принятия ими обоснованных и своевременных решений.
Потребность в полноценной максимально быстрой информационной поддержке процессов принятия решений заставляет не обращать внимание на очевидный недостаток хранилищ данных – на то, что они содержат явно избыточную (поскольку она дублирует данные, которые есть в базах или файлах оперативных систем) информацию.
Еще одной причиной, которая оправдывает появление отдельных хранилищ данных, может быть замедление текущей работы организации из-за того, что сложные аналитические запросы к оперативной информации могут надолго блокировать таблицы баз данных, где она хранится, и захватывать ресурсы сервера, не давая возможности вводить и модифицировать оперативные данные. Понятно, такая предварительная подготовка данных должна проводиться не самыми конечными пользователями, а специальной группой администраторов хранилища данных.
Основные компоненты хранилища данные приведены на рис. 2.1.1.
Оперативные данные собираются из разных источников, очищаются, согласовывают, интегрируются и помещаются в реляционное хранилище. Потом они (целиком или частично) подготавливаются для OLAP-анализа. Они могут быть загружены в специальную БД OLAP или оставлены в реляционном хранилище.
Рис. 2.1.1. Основні компоненти сховища даних
Данные реляционного хранилища доступны для анализа с помощью разнообразных средств построения отчетов.
Но те традиционные отчеты, которые создаются программистами и предназначены для непосредственного использования лицами, принимающими решения, хотя и являются чрезвычайно простыми в применении, тем не менее жестко ограничены в функциональности (лишены гибкости). Они получаются с помощью некоторого множества запросов и, будучи достаточными для повседневного применения, неспособны ответить на все вопросы к имеющимся данным, которые могут возникнуть при принятии решений. Результатом выполнения этих запросов, как правило, являются многостраничные отчеты. Лицо, принимающее решение, не может их «прокрутить», «развернуть» или «свернуть», чтобы получить желательное представление данных. Поэтому после тщательного изучения этих отчетов у него появляется новая серия вопросов. Тем не менее каждый новый непредвиденный запрос должен быть сначала формально описан, закодирован программистом – только после этого он может быть выполнен. Время ожидания в таком случае может быть значительным (достигать нескольких часов и даже дней), что большей частью неприемлемо. Следовательно, внешняя простота получения информации, чего активно добивается большинство заказчиков информационно-аналитических систем, оборачивается катастрофической потерей гибкости.
При не очень больших объемах данных в реляционном хранилище и не очень сложных взаимосвязях между таблицами неплохой способ выхода из этой ситуации – отбор нужных данных и перенесение их для последующего анализа в Excel с помощью программы MS Query. Но в случае работы с большим количеством реляционных таблиц такая задача остается весьма сложной и проведение оперативного анализа данных становится практически невозможным.
Поэтому предварительный сбор, очищение и интегрирование данных – это еще не все, что нужно конечному пользователю. Ему нужны также:
более удобная, чем это могут обеспечить реляционные таблицы, структура данных (с точки зрения упрощения доступа к данным);
гибкие инструменты для вычислений и просмотра информации, которые дают возможность просто и удобно разворачивать и сворачивать данные, обеспечивая возможность как просмотра детализированной информации, так и комплексного взгляда на собранную информацию, ее обобщение и агрегацию;
инструменты для получения знаний, т.е. инструменты обработки данных, которые дают возможность автоматизировать разные виды получения полезной аналитической информации, на основе которой можно обнаруживать скрытые тенденции, строить стратегию развития, находить новые решения. Только при наличии таких инструментов можно проводить серьезные аналитические исследования на базе всей доступной информации о деятельности организации.
Одним из средств решения первых двух проблем является OLAP (On-Line Analytical Processing – оперативная аналитическая обработка) – технология организации данных согласно методам их анализа, которая снижает затраты времени и усилий на создание необходимых отчетов. Хотя OLAP и не является необходимым атрибутом хранилища данных, но именно она чаще всего применяется для анализа накопленных в хранилище сведений.
Важным элементом хранилища являются метаданные (или данные о данных). Они содержат:
информацию о структуре, размещении и трансформации данных (полное описание всех процессов загрузки данных),
специальные программы для анализа и представления данных в определенных областях, а также
дополнительную информацию о всех элементах хранилища, которая помогает ориентироваться в его сложной структуре.
Благодаря метаданным обеспечивается эффективное взаимодействие разнообразных компонент хранилища. Метаданными явно или скрыто пользуются все группы пользователей хранилища – от наименее подготовленных конечных пользователей, программы для которых управляются метаданными, до администраторов данных и разработчиков.
В очень больших организациях подразделения верхних уровней достаточно независимы и имеют развитую организационную и информационную структуру. При этом потребности и приоритеты решения определенных задач также различаются. С другой стороны, информация, необходимая для поддержки принятия решений на более высоком уровне, собирается и хранится на более низком организационном уровне в более детализированном виде. В таких организациях даже большая группа администраторов не может контролировать хранилище, вмещающее все данные, и управлять им. Понятие единого хранилища данных в таком случае реализуется в концепции иерархических хранилищ данных.