Глава 7

Интеллектуальный анализ данных

1. Способы аналитической обработки данных

Современный уровень развития аппаратных и программных средств с неко­торых пор сделал возможным повсеместное ведение баз данных оперативной информации на разных уровнях управления. В процессе своей деятельности промышленные предприятия, корпорации, ведомственные структуры, орга­ны государственной власти и управления накопили большие объемы дан­ных. Они хранят в себе большие потенциальные возможности по извлечению полезной аналитической информации, на основе которой можно выявлять скрытые тенденции, строить стратегию развития, находить новые решения.

В последние годы в мире оформился ряд новых концепций хранения и анализа корпоративных данных. В мировой практике принято использовать термин Business Intelligence (BI), что на русский язык может быть переве­дено как деловой интеллект. Это понятие объединяет различные средства и технологии анализа и обработки данных масштаба предприятия. В аналити­ческом докладе Gartner «Infrastructure and Applications Worldwide Software Market Definitions» (2002 г.) содержится следующая классификация систем класса BI.

1. Средства построения хранилищ и витрин данных (Data Warehouse).

2. Инструменты оперативной аналитической обработки (On-Line Analytical Processing, OLAP) и прочие средства многомерного анализа.

3. Информационно-аналитические системы (Enterprise Information Systems, EIS) и системы поддержки и принятия решений (Decision Support Systems, DSS).

4. Средства интеллектуального анализа данных (Data Mining).

5. Инструменты конечного пользователя для выполнения запросов и по­строения отчетов (Query and Reporting Tools).

Хранилища данных

Хранилища данных (ХД) можно определить как предметно-ориентирован­ные, интегрированные, стабильные, поддерживающие хронологию наборы данных, организованные для целей поддержки управления, призванные вы­ступать в роли «единого и единственного источника истины», обеспечиваю­щего менеджеров и аналитиков достоверной информацией, необходимой для

оперативного анализа и принятия решений. Ценность ХД для экономистов заключается в следующем: ХД — это некая база данных масштаба предпри­ятия, которая содержит определенную аналитическую информацию, обес­печивает ее оперативное представление в удобном для пользователя виде и обладает структурой, учитывающей отраслевую специфику деятельности организации. Типичные представители программных продуктов этой кате­гории: SAP Business Warehouse (SAP), Informatica.

OLAP-средства

Под термином OLAP, как правило, понимают системы аналитической обра­ботки данных в режиме реального времени. OLAP-системы обеспечивают решение многих аналитических задач: анализ ключевых показателей дея­тельности, маркетинговый и финансово-экономический анализ, анализ сце­нариев, моделирование, прогнозирование и т.д. Такие системы могут рабо­тать со всеми необходимыми данными, независимо от особенностей инфор­мационной инфраструктуры компании.

Несмотря на то что для построения систем отчетности можно приме­нять различные подходы, самым распространенным на сегодня является ме­ханизм OLAP. В его основе лежит идея представления информации в ви­де многомерных кубов (гиперкубов), где оси представляют собой измерения (например, время, продукты, клиенты), а в ячейках помещаются показатели (например, сумма продаж, средняя цена закупки). Пользователь манипули­рует измерениями и получает информацию в нужном разрезе. Благодаря простоте понимания, OLAP получил широкое распространение в качестве механизма анализа данных, но при этом его возможности в области более глубокого анализа, например, прогнозирования, крайне ограничены.

С точки зрения пользователя, отличие OLAP-системы от хранилища дан­ных заключается в предметной (а не технической) структурированности ин­формации, при этом пользователю предоставляется возможность опериро­вать привычными экономическими категориями и понятиями. К типичным представителям программных продуктов этого класса относятся: Hyperion Essbase (Hyperion Solutions Corporation), Oracle OLAP (Oracle), MS Analysis Services (Microsoft), Business Objects (Business Objects), Cognos PowerPlay (Cognos), MicroStrategy.

Информационно-аналитические системы

Этот класс аналитических систем включает множество разнообразных про­дуктов, основная задача которых — предоставить конечные решения для ме- неджеров-аналитиков. Характерными примерами программных продуктов данного класса могут служить экспертная аналитическая система «Анализ банковской и финансовой информации (АБФИ)» и система LanFinance. Эти системы позволяют осуществлять функции финансового анализа на осно­ве специализированных модулей, реализующих определенную методологию. При этом разработчики предусмотрели возможность использования анали­тиками некоторого набора готовых методик для проведения различных ви­дов анализа. Например, для банковской сферы реализованы методики ди­станционного анализа, внутреннего и внешнего анализа, анализа прибыль-

ности, рейтинговой оценки надежности банка (CAMEL), расчет рейтинга надежности банка, расчет лимита межбанковского кредитования и др.

Средства интеллектуального анализа данных (Data Mining)

Программные продукты, относящиеся к этой категории, обеспечивают по­иск полезных данных в огромных массивах информации. Иными словами, такие программные продукты позволяют аналитику получить качественно новую информацию, не содержащуюся в источнике данных явным образом. Здесь используются популярные методы математического анализа данных: фильтрация, дерево решений, ассоциативные правила, генетические алго­ритмы, нейронные сети, статистический анализ. Системы Data Mining по­могают аналитику сформировать качественные выводы, которые обычный человек не в состоянии получить стандартными методами исследования дан­ных (во всяком случае, не так быстро, как программа). Как правило, функ­ции интеллектуального извлечения данных встраиваются в OLAP-системы. Типичные представители фирм-разработчиков: Hyperion Essbase (Hyperion Solutions Corporation), Oracle Data Mining (Oracle), SAS (SAS Institute).

Инструменты конечного пользователя для выполнения запросов и построения отчетов (query and reporting tools)

Такие системы обеспечивают функции построения запросов к информацион­но-аналитическим системам (в пользовательских терминах), интеграцию дан­ных из нескольких источников, просмотр данных с возможностью детализа­ции и обобщения, построение полноценных отчетов и их печать. Они пред­назначены для пользователей, обладающих «продвинутыми» техническими навыками. При этом профессиональных знаний в области информацион­ных технологий не требуется, но для экономистов такие средства не все­гда бывают удобны. Как правило, модули, содержащие функции Query & Reporting, входят в состав многих OLAP-систем, но есть и отдельные про­граммные продукты этого класса. Таким образом, четко провести грань меж­ду OLAP и Query & Reporting невозможно. Характерный пример — прило­жение Hyperion Essbase, которое можно отнести к обоим классам.

Структура информационно-аналитической системы

Задачами любой информационно-аналитической системы являются эффек­тивное хранение, обработка и анализ данных. В настоящее время накоплен значительный опыт в этой области. Эффективное хранение информации до­стигается наличием в составе информационно-аналитической системы цело­го ряда источников данных. Обработка и объединение информации дости­гается применением инструментов извлечения, преобразования и загрузки данных. Анализ данных осуществляется при помощи современных инстру­ментов делового анализа данных.

Архитектура современной информационно-аналитической системы орга­низации в обобщенном виде представлена на рис. 14. Приведенная архитек­тура демонстрирует длинный путь, который проходят данные, прежде чем попасть на стол аналитику.

Разнообразие источников данных и необходимость их использования в каждом конкретном случае объясняется потребностью по-разному хранить информацию в зависимости от стоящих перед организацией задач. Если по­пытаться классифицировать источники данных по типам и назначению, то каждый из них можно условно отнести к одной из трех групп: транзакцион­ные источники данных, хранилища данных, витрины данных.

Таким образом, архитектура современной информационно-аналитической системы насчитывает следующие уровни:

Данные могут заноситься в систему как вручную, так и автоматически. На этапе первоначальной фиксации данные поступают через системы сбора и обработки информации в так называемые транзакционные базы данных, которых в организации может быть несколько. Поскольку транзакционные источники данных, как правило, не согласованы друг с другом, то для ана­лиза таких данных требуется их объединение и преобразование. Поэтому на следующем этапе решается задача консолидации данных, их преобразова­ния и очистки, в результате чего данные поступают в так называемые ана­литические базы данных. Аналитические базы данных, будь то хранилища данных или витрины данных, и есть те основные источники, из которых ана­литик черпает информацию, используя соответствующие инструменты дело­вого анализа. При этом информационно-аналитическая система среднего и крупного предприятия или организации должна обеспечивать пользовате­лям доступ к аналитической информации, защищенной от несанкциониро­ванного использования и открытой как через внутреннюю сеть организации, так и пользователям сети интранет и Интернет.

Рис. 14. Структура информационно-аналитической системы

• сбор и первичная обработка данных;

• извлечение, преобразование и загрузка данных;

• складирование данных;

• представление данных в витринах данных;

• анализ данных;

• Web-портал.