Фракталы и временные ряды

В практике часто встречаются формы, обладающие свойством самоподобия: состоят из небольшого числа частей, каждая из которых есть уменьшенная и слегка измененная копия объекта в целом. Например, графики рядов колебания цен на рынках, строение Интернета, динамика сетевого трафика и т.д. Задать такую форму (принцип изменения формы) можно либо с помощью «длинных» (и малоинформативных) рядов синусов/косинусов, либо с помощью относительно простого фрактального процесса. Фрактальные компьютерные модели разрабатываются весьма активно, но для большинства реальных процессов и структур – малоэффективно (пока). Теория фракталов тесно связана с кластерным анализом, решающим задачу выделения компактных групп объектов с близкими свойствами.

Самоподобие информационного пространства выражается, прежде всего, в том, что при его лавинообразном росте в последние десятилетия, частотные и ранговые распределения, получаемые в таких разрезах, как источники, авторы, тематика практически не меняют своей формы.

Как один из основных законов отражающих самоподобие информационного пространства можно назвать закон Ципфа (см.УМКД Моделирование систем): «Если к какому-либо достаточно большому тексту составить список всех встретившихся в нем слов, а затем ранжировать эти слова, т.е. расположить их в порядке убывания частоты встречаемости в данном тексте и пронумеровать в возрастающем порядке, то для любого слова произведение его порядкового номера (ранга) этом списке и частоты его встречаемости в тексте будет величиной постоянной». Таким образом: f r=c, где f - частота встречаемости слова в тексте; r - ранг (порядковый номер) слова в списке; с - эмпирическая постоянная величина. Так, например, для английских текстов константа Ципфа равна приблизительно 0,1. Для русского и украинского языков коэффициенты Ципфа составляю приблизительно 0,06-0,07.

Информационные потоки сообщений из Интернет до последнего времени не ассоциировались с фракталами, что связано с проблемами идентификации информационных потоков как фрактальных множеств, а также с трудностью нахождения основ для построения кластеров - сообщений в политематических потоках, порождающих многократное цитирование.

Объемы сообщений в тематических информационных потоках образуют временные ряды. Временные ряды, порождаемые тематическими информационными потоками, также обладают фрактальными свойствами и могут рассматриваться как стохастические фракталы. Этот подход расширяет область применения теории фракталов на информационные потоки, динамика которых описывается средствами теории случайных процессов.

С другой стороны, теория фракталов рассматривается как подход к статистическому исследованию, который позволяет получать важные характеристики информационных потоков, не вдаваясь в детальный анализ их внутренней структуры и связей. Одним из основных свойств фракталов является самоподобие (скейлинг). Как показано в работах С.Иванова, для последовательности сообщений тематических информационных потоков в соответствии со скейлинговым принципом, количество сообщений, резонансов на события реального мира пропорционально некоторой степени количества источников информации (кластеров) и итерационно продолжается в течение определенного времени. Точно так же, как и в традиционных научных коммуникациях, растущее множество сообщений в Интернет по одной тематике во времени представляет собой динамическую кластерную систему, возникающую в результате итерационных процессов. Этот процесс объясняется републикациями, прямой или совместной цитируемостью, различными публикациями – отражениями одних и тех же событий реального мира, прямыми ссылками и т.д. Кроме того, для большинства тематических информационных потоков наблюдается увеличение их объемов, причем на коротких временных интервалах – линейный рост, а на длительных – экспоненциальный.

Фрактальная размерность в кластерной системе, соответствующей тематическим информационным потокам, показывает степень заполнения информационного пространства сообщений в течение определенного времени:

N_публ (t)=  ^ N_k (t) ^

где N_публ – размер кластерной системы (общее число электронных публикаций в информационном потоке); N_k – размер - число кластеров (тематик или источников),  - фрактальная размерность информационного массива;  - коэффициент масштабирования. В приведенном соотношении между количеством сообщений и кластеров проявляется свойство сохранения внутренней структуры множества при изменении масштабов его внешнего рассмотрения.

По мнению Иванова, все основные законы научной коммуникации, такие как законы Парето, Лотки, Бредфорда, Ципфа, могут быть обобщены именно в рамках теории стохастических фракталов.

Показатель Херста

Показатель Херста (H) - характеристика временных рядов, связанный с традиционной «клеточной» фрактальной размерностью (D) простым соотношением:

D + H = 2

Временные ряды, построенные на основании мощных тематических информационных потоков, удовлетворяют условию самоаффинности: самоподобие, возникающее в результате процессов их формирования. Поэтому при расчете показателя Херста, фактически определяется и такой показатель тематического информационного потока, как фрактальная размерность.

Показатель Херста представляет собой меру персистентности – склонности процесса к трендам (в отличие от обычного броуновского движения). Значение H > ½ означает, что направленная в определенную сторону динамика процесса в прошлом, вероятнее всего, повлечет продолжение движения в том же направлении. Если H < ½, то прогнозируется, что процесс изменит направленность. H= ½ означает неопределенность - броуновское движение.

Для изучения фрактальных характеристик тематических информационных потоков изучались значения показателя Херста за определенный период для временных рядов, составленных из количества относящихся к ним сообщений. Показатель Херста связывают с коэффициентом нормированного размаха (R/S), где R – вычисляемый определенным образом «размах» соответствующего временного ряда, а S – стандартное отклонение.

Показатель Херста вычисляется по следующему алгоритму. Сначала вычисляется среднее значение измеряемой переменной (в нашем случае количество сообщений в информационном потоке) за N дней: Затем рассчитывается накопившееся отклонение ряда измерений (t) от среднего : . После этого рассчитывается разность максимального и минимального накопившегося отклонения, которая и называется “размахом”: . Стандартное отклонение рассчитывается по известной формуле: . Херст экспериментально обнаружил, что для многих временных рядов справедливо: . Именно коэффициент H и получил название показателя Херста.

Описание вычислительного эксперимента

В качестве экспериментальной базы для исследования фрактальных свойств тематических информационных потоков использовалась система контент-мониторинга InfoStreamв ретроспективных базах данных системы накоплено свыше 25 млн. сообщений. Тематика исследуемого информационного потока определялась запросом к системе InfoStream, состоящим всего из одного слова «Microsoft». Ретроспективный период исследования составлял весь 2005 год и 2 месяца 2006 года, т.е. 424 дня (N = 424). В результате поиска было найдено 42357 релевантных документов.

Исходные данные были получены из интерфейса режима «Динамика появления понятий».

Фрагмент диаграммы динамики встречаемости понятия «Microsoft»

На основании обработки этих данных была получена полная картина экспериментальных данных – временной ряд за указанный период.

Временной ряд встречаемости понятия за весь период.

Пиковые значения: встречи в Давосе (конец января 2005 г.), признание журналом Forbes Б.Гейтса самым богатым человеком в мире (март 2005 г.), публикация журналом Time 100 самых влиятельных людей планеты (апрель 2005 г.), атака сетевого червя ZOTOB (август 2005 г.), 50-летний юбилей Б. Гейтса (конец октября 2005 г.)

Для этого временного ряда по формуле вычислено стандартное отклонение (S=43.71). Одновременно, с помощью механизма формирования основных сюжетов, входящего в состав системы InfoStream, были определены основные события, приведшие к возникновению пиковых значений на диаграмме.

Динамика накопления отклонения позволила определить «размах» этого параметра (R = 1207.64).

Динамика накопления отклонения

Для значения N=424 был вычислен показатель Херста, который оказался равным 0,62, что свидетельствует о положительной персистентности всего временного ряда.

Кроме того, были выполнены расчеты показателей Херста для всех значений N, начиная с 5.

Показатели Херста для различных временных интервалов

Изучение такой характеристики, как показатель Херста, позволяет прогнозировать динамику информационных потоков, сообщения которых отражают процессы, происходящие в реальном мире.

Приведенные в примере данные подтвердили лежащее в основе исследования предположение об итеративности процессов в информационном пространстве. Републикации, цитирование, прямые ссылки и т.п. порождают самоподобие, проявляющееся в устойчивых статистических распределениях и известных эмпирических законах. Скейлинговый принцип объясняется также сходством ментальности авторов, публикующих сообщения в Интернет. Вместе с тем различные маркетинговые, рекламные, PR-кампании ведут к скачкообразным изменениям в стабильных статистических закономерностях, резким скачкам и искажениям по сравнению со стандартными статистическими распределениями.

В результате эксперимента также подтверждено наличие статистической корреляции в информационных потоках на длительных временных интервалах.

В частности, на рассматриваемом примере, показана персистентность процесса, что говорит, об общем среднем увеличении публикации о компании Microsoft, периодическом появлении пиков, связанных, как правило, с двумя подтемами-кластерами - личностью Билла Гейтса (четыре из пяти топ-кластеров) и отражениями вирусных атак (пятый топ-кластер).

Естественно, описанные результаты исследований могут использоваться не только для приведенного тематического информационного канала. Своего исследования⁷ ждут кластеры, порождаемые в соответствии и с другими принципами, например, близкими по направлениям источниками информации (Web-сайтами, сетевыми СМИ, блогами и др.)