3. Значение проекта для развития приоритетного направления развития, науки, технологий и техники в Российской Федерации «Информационно-телекоммуникационные системы»

В рамках комплексного проекта по созданию высокотехнологичного производства, реализуемого по приоритетному направлению развития, науки, технологий и техники в Российской Федерации «информационно-телекоммуникационные системы», будут исследованы и проанализированы методологии бизнес-анализа и существующие подходы к мониторингу и оценке эффективности деятельности сложных экономических систем, международные стандарты, методики и спецификации, применяемые при оценке деятельности экономических объектов. На основе полученных результатов будет реализована и научно обоснована инновационная технология, обеспечивающая использование инновационных методик и технологий интеллектуального анализа данных и обладающая рядом преимуществ по сравнению с аналогами в области информационных технологий. Также в рамках проекта будут созданы:

• универсальное хранилище данных, позволяющее хранить в единой системе прежде разрозненные источники данных;

• универсальные средства обработки и анализа разнообразных (как структурированных так и неструктурированных) данных большого объема в автоматическом режиме;

• универсальные средства отображения данных, в частности, с применением ГИС-технологий и навигационной модели для работы с данными, облегчающую интерпретацию данных, полученных в процессе обработки и анализа данных;

• универсальные системы показателей и индикаторов эффективности управленческих и инвестиционных решений.

Полученные результаты существенно обеспечат рост аналитического потенциала сложных экономических систем как за счет применения технологий аналитической обработки данных - OLAP, интеллектуального анализа данных - Data Mining, технологий работы с «Большими данными» - Big Data, так и использования универсальных средств визуального анализа данных. Результаты проекта позволят перейти на новую ступень технологического развития Российской Федерации и субъектов Российской Федерации за счет создания инновационной технологии управления рисками кризисных ситуаций и мониторинга сложных экономических систем с целью повышения их эффективности.

2. Современное состояние науки, техники и технологии в области организуемого высокотехнологичного производства

   1. Сведения о сходных работах по организации высокотехнологичных производств, ведущихся российскими и зарубежными организациями

В настоящий момент полноценных аналогов создаваемой Системы не существует. Однако в части работ, касающихся создания средств сбора, аналитической обработки и отображения данных (BI-систем) и работы с «большими данными» (Big Data), сходные работы ведутся.

Важнейшие события в области разработки и внедрения BI-систем последних лет связаны с консолидацией отрасли (покупки крупными компаниями Oracle, IBM и SAP специализированных поставщиков BI-решений Hyperion, Cognos и Business Objects).

Ведущие IT-специалисты считают, что коллективное взаимодействие и принятие решений в будущем будет все более актуальным. Спрос на эти операции подстегнет дальнейшее развитие продуктов, представляющих собой комбинацию коммуникационного ПО, методологии управления и BI-платформ. Недавний опрос Gartner показал, что 71% участников считает основным движущим фактором BI-инвестиций повышение качества принимаемых решений. Кроме того утверждается, что при принятии решений принято советоваться с коллегами. В 2012 году ожидается рост примерно 7,0% в год для BI-платформ, а также 7,9 % для самостоятельных и встроенных приложений. По мнению Тэда Кудзилло, известного американского обозревателя в области IT-технологий, в будущем в BI-среде будет преобладать ряд характерных явлений:

• дальнейшая консолидация;

• активное использование Cloud Computing (концепции «вычислительного облака», согласно которой программы запускаются и выдают результаты работы в окно стандартного веб-браузера на локальном ПК, при этом все приложения и данные находятся на удаленном сервере в интернете);

• развитие инструментов с открытым кодом и их внедрение;

• упор на конечные решения, а не на инструменты и технологии;

• дальнейшее распространение BI внутри организаций и отраслей;

• признание ценности неструктурированной информации;

• укрепление позиций устройств для хранения данных ;

• интеграция с электронными таблицами;

• повышение востребованности в BI-специалистах.

В настоящее время на рынке BI-систем лидерами являются следующие BI-продукты:

• Cognos BI компании IBM;

• SQL Server 2008, SharePoint и PerformancePoint компании Microsoft Corporation;

• BI Suite компании Oracle Corporation;

• Business Objects компании SAP AG.

Наибольшее число сходных работ связано с технологиями работы с «большими данными» (Big Data). Согласно прогнозам IDC (американской аналитической компании, специализирующейся на исследованиях рынка информационных технологий) рынок технологий и сервисов для обработки больших данных вырастет с $3,2 млрд в 2010 году до $16,9 млрд в 2015 году. Это соответствует среднегодовому темпу роста на уровне 40%, что примерно в 7 раз больше, чем среднегодовой темп роста всего ИКТ рынка в целом.

Ведущими игроками рынка являются крупные ИТ-компании, в числе которых:

• Amazon

• Dell

• eBay

• EMC

• Facebook

• Fujitsu

• Google

• Hitachi Data Systems Corporation

• HP

• IBM

• LinkedIn

• Microsoft

• NetApp

• Oracle

• SAP

• SAS

• SGI (Silicon Graphics Inc)

• Teradata

• VMware

• Yahoo

В последнее время в связи с активным инвестированием венчурного капитала в развитие технологий Big Data появилось также множество start-up проектов в данной сфере:

• Acunu

• Apigee

• Aspera

• Cloudera

• Couchbase

• Datameer

• DataStax

• Factual

• GoodData

• MapR Technologies

• nPario

• Palantir Technologies

• ParAccel

• ParStream

• SenSage

• Socrata

• Splunk

• TellApart

Существуют также аналитические «движки» для работы с большими данными, в том числе из числа свободных или недорогих открытых аналитических систем:

• 1010data;

• Apache Chukwa;

• Apache Hadoop;

• Apache Hive;

• Apache Pig!;

• Jaspersoft;

• LexisNexis Risk Solutions HPCC Systems;

• MapReduce;

• Revolution Analytics (на базе языка R для мат.статистики).

Особый интерес в этом списке представляет Apache Hadoophttp://www.tadviser.ru/index.php/Big_Data - cite_note-w-2. Как только Yahoo открыла код Hadoop сообществу, в ИТ-индустрии появилось целое направление по созданию продуктов на базе Hadoop. В настоящее время практически все современные средства анализа больших данных предоставляют средства интеграции с Hadoop. Их разработчиками выступают как стартапы, так и общеизвестные мировые компании.

20 марта 2012 года IBM представила три новые решения Smarter Analytics Signature Solutions для выявления фактов мошенничества, оценки рисков и анализа поведения потребителей. По оценкам IDC, компании потратят свыше $120 млрд до 2015 года на программно-аппаратные решения и сопутствующие сервисы, направленные на выявление скрытых закономерностей в «больших данных»:

• Решение Anti-fraud, Waste & Abuse призвано обнаруживать в режиме реального времени факты мошенничества, связанные с уклонением от уплаты налогов и страховыми выплатами, тем самым предотвращая неправомочные выплаты денежных средств. Кроме этого, соответствующие службы страховых компаний и государственных служб получат оптимальные рекомендации по дальнейшему разрешению возникающих инцидентов. При незначительных нарушениях они могут ограничиваться отправкой письма с требованием вернуть платеж, при более серьезных – поступает предложение провести полноценное расследование.

• Решение Next Best Action должно помочь компаниям лучше узнать своих клиентов и выстроить с ними более содержательные взаимовыгодные отношения. Оно сможет проанализировать не только данные, накопленные в корпоративной CRM-системе, но и информацию из внешних источников, в частности, социальных сетей. Как следует из названия, результатом работы станет свод рекомендаций по дальнейшим действиям в зависимости от предпочтений и модели поведения отдельно взятого клиента.

• Предпосылкой для создания решения CFO Performance Insight стали чрезвычайно высокие темпы роста объемов финансовой информации в компаниях, – по данным IBM, на уровне 70% в год. Новый аналитический инструментарий позволяет учитывать финансовые показали предыдущих лет, проводить моделирование по принципу «что если» и на основе полученных данных строить прогнозы.

Представленные решения включают разнообразные продукты IBM и услуги подразделения Global Business Services (GBS). Например, Anti-Fraud, Waste & Abuse сочетает ПО прогнозной аналитики IBM SPSS, iLog для управления правилами, интеграционную платформу WebSphere и хранилище данных Netezza. В решениях CFO Performance и Next-Best Action главенствующая роль принадлежит IBM Cognos, причем в последнем случае бизнес-аналитическое ПО работает в тесной связке с InfoSphere Big Insights – платформой, построенной на базе Apache Hadoop.

2. Сведения о современных тенденциях развития науки, техники и технологии в области организуемого высокотехнологичного производства. Оценка соответствия предлагаемого проекта этим тенденциям

Современное состояние науки, техники и технологии в области организуемого высокотехнологичного производства характеризуется отсутствием строгой формальной базы для решения вышеперечисленных задач управления. В результате:

• Многие решения принимаются на основе экспертных мнений или на интуитивном, слабо формализованном уровне, автоматизация осуществляется лишь на уровне подготовки информации для последующего анализа.

• Нет комплексного анализа прошлых тенденций и причин возникновения как благоприятных, так и неблагоприятных событий, как следствие, нет ранней диагностики назревающих проблем и возможностей оперативного реагирования на них.

• Отсутствует управление изменениями как настоящими, так и будущими (управление ориентировано на текущую ситуацию).

Предлагаемые в проекте методы и модели основываются на теории формальных языков и грамматик, теории параллельных процессов, методах управления знаниями и др., обеспечивающих автоматизированную поддержку собственно процесса принятия решений.

Если говорить о современных тенденциях в области анализа массивов данных, исследователи всего мира продолжают работать над созданием новых методик и совершенствованием существующих. Некоторые из перечисленных ниже методик применимы не только к большим данным и могут с успехом использоваться для меньших по объему массивов, однако, чем более объемный и диверсифицируемый массив подвергается анализу, тем более точные и релевантные данные удается получить на выходе:

• A/B testing. Методика, в которой контрольная выборка поочередно сравнивается с другими. Тем самым удается выявить оптимальную комбинацию показателей для достижения, например, наилучшей ответной реакции потребителей на маркетинговое предложение. Большие данные позволяют провести огромное количество итераций и таким образом получить статистически достоверный результат.

• Association rule learning. Набор методик для выявления взаимосвязей, т.е. ассоциативных правил, между переменными величинами в больших массивах данных. Используется в data mining.

• Classification. Набор методик, которые позволяет предсказать поведение потребителей в определенном сегменте рынка (принятие решений о покупке, отток, объем потребления и проч.). Используется в data mining.

• Cluster analysis. Статистический метод классификации объектов по группам за счет выявления наперед не известных общих признаков. Используется в data mining.

• Crowdsourcing. Методика сбора данных из большого количества источников.

• Data fusion and data integration. Набор методик, который позволяет анализировать комментарии пользователей социальных сетей и сопоставлять с результатами продаж в режиме реального времени.

• Data mining. Набор методик, который позволяет определить наиболее восприимчивые для продвигаемого продукта или услуги категории потребителей, выявить особенности наиболее успешных работников, предсказать поведенческую модель потребителей.

• Ensemble learning. В этом методе задействуется множество предикативных моделей за счет чего повышается качество сделанных прогнозов.

• Genetic algorithms. В этой методике возможные решения представляют в виде `хромосом`, которые могут комбинироваться и мутировать. Как и в процессе естественной эволюции, выживает наиболее приспособленная особь.

• Machine learning. Направление в информатике (исторически за ним закрепилось название `искусственный интеллект`), которое преследует цель создания алгоритмов самообучения на основе анализа эмпирических данных.

• Natural language processing (NLP). Набор заимствованных из информатики и лингвистики методик распознавания естественного языка человека.

• Network analysis. Набор методик анализа связей между узлами в сетях. Применительно к социальным сетям позволяет анализировать взаимосвязи между отдельными пользователями, компаниями, сообществами и т.п.

• Optimization. Набор численных методов для редизайна сложных систем и процессов для улучшения одного или нескольких показателей. Помогает в принятии стратегических решений, например, состава выводимой на рынок продуктовой линейки, проведении инвестиционного анализа и проч.

• Pattern recognition. Набор методик с элементами самообучения для предсказания поведенческой модели потребителей.

• Predictive modeling. Набор методик, которые позволяют создать математическую модель наперед заданного вероятного сценария развития событий. Например, анализ базы данных CRM-системы на предмет возможных условий, которые подтолкнут абоненты сменить провайдера.

• Regression. Набор статистических методов для выявления закономерности между изменением зависимой переменной и одной или несколькими независимыми. Часто применяется для прогнозирования и предсказаний. Используется в data mining.

• Sentiment analysis. В основе методик оценки настроений потребителей лежат технологии распознавания естественного языка человека. Они позволяют вычленить из общего информационного потока сообщения, связанные с интересующим предметом (например, потребительским продуктом). Далее оценить полярность суждения (позитивное или негативное), степень эмоциональности и проч.

• Signal processing. Заимствованный из радиотехники набор методик, который преследует цель распознавания сигнала на фоне шума и его дальнейшего анализа.

• Spatial analysis. Набор отчасти заимствованных из статистики методик анализа пространственных данных – топологии местности, географических координат, геометрии объектов. Источником больших данных в этом случае часто выступают геоинформационные системы (ГИС).

• Statistics. Наука о сборе, организации и интерпретации данных, включая разработку опросников и проведение экспериментов. Статистические методы часто применяются для оценочных суждений о взаимосвязях между теми или иными событиями.

• Supervised learning. Набор основанных на технологиях машинного обучения методик, которые позволяют выявить функциональные взаимосвязи в анализируемых массивах данных.

• Simulation. Моделирование поведения сложных систем часто используется для прогнозирования, предсказания и проработки различных сценариев при планировании.

• Time series analysis. Набор заимствованных из статистики и цифровой обработки сигналов методов анализа повторяющихся с течением времени последовательностей данных. Одни из очевидных применений – отслеживание рынка ценных бумаг или заболеваемости пациентов.

• Unsupervised learning. Набор основанных на технологиях машинного обучения методик, которые позволяют выявить скрытые функциональные взаимосвязи в анализируемых массивах данных. Имеет общие черты с Cluster Analysis.

• Visualization. Методы графического представления результатов анализа больших данных в виде диаграмм или анимированных изображений для упрощения интерпретации облегчения понимания полученных результатов.

Несмотря на то, что «большие данные» и бизнес-аналитика имеют одинаковую цель (поиск ответов на вопрос), они отличаются друг от друга по трем аспектам:

• Большие данные предназначены для обработки более значительных объемов информации, чем бизнес-аналитика, и это, конечно, соответствует традиционному определению больших данных.

• Большие данные предназначены для обработки более быстро получаемых и меняющихся сведений, что означает глубокое исследование и интерактивность. В некоторых случаях результаты формируются быстрее, чем загружается веб-страница.

• Большие данные предназначены для обработки неструктурированных данных.

Согласно опубликованной компанией Oracle белой книге «Информационная архитектура Oracle: руководство архитектора по большим данным» (Oracle Information Architecture: An Architect's Guide to Big Data) работа с «большими данными» не похожа на обычный процесс бизнес-аналитики. При работе с «большими данными» результат получается в процессе их очистки путем последовательного моделирования: сначала выдвигается гипотеза, строится статистическая, визуальная или семантическая модель, на ее основании проверяется верность выдвинутой гипотезы и затем выдвигается следующая. Этот процесс требует от исследователя либо интерпретации визуальных значений или составления интерактивных запросов на основе знаний, либо разработки адаптивных алгоритмов «машинного обучения», способных получить искомый результат. Причем время жизни такого алгоритма может быть довольно коротким.

В рамках реализации проекта предполагается использовать как подходы бизнес-аналитики, так и подходы Big Data, что позволит решать управленческие задачи, как в условиях полноты необходимой структурированной информации, так и в условиях ее частичного отсутствия.

В 2012 году затраты на решение разных задач ИТ, связанных с обработкой «больших данных», составили в мире в целом 28 млрд долл., а в 2013 году, по прогнозам аналитиков фирмы Gartner, они дойдут до 34 млрд долл. При этом в 2012 году только 4,3 млрд долл. было потрачено на закупки программного обеспечения, выполняющего новые функции обработки данных. Большая часть расходов связана с адаптацией традиционных решений к новым условиям работы. «Обработка «больших данных» повлекла за собой новые инвестиции почти во всех областях ИТ», - говорится в докладе Gartner. Однако к 2018 году решение подобных задач станет уже минимальным требованием к технологиям управления информацией, а к 2020 году обработка больших объемов данных станет стандартной функцией продуктов всех основных разработчиков корпоративного программного обеспечения. К этому времени «большие данные» перестанут выделяться в отдельную категорию, а архитектурные подходы, инфраструктура, оборудование и программы, не рассчитанные на работу с ними, будут считаться устаревшими.

Стоит также отметить, что стремление получить максимум выгоды от Big Data, приведет в ближайшее время к выходу на рынок большого количества решений для интеграции и аналитики «больших данных», включая in-memory СУБД и специальные BI - технологии, что соответствует предлагаемому подходу к реализации проекта.

Таким образом, создаваемая в рамках проекта Система является не просто актуальной, но и соответствует наиболее передовым тенденциям и направлениям развития общества, науки и технологий.