Приложение №1 Методы компьютерного анализа в проспективизме

Методы статистической обработки, интенсивно осуществляемые самой современной компьютерной технологией, получили существенное применение в проспективизме. Таковы различные методы кластерного анализа. Они обусловлены большим количеством новых данных в проспективизме, а их требуется упорядочить и описать, рассмотреть заключенные в них тенденции, которые можно выявить только методами прикладной статистики. Таким путем достигается возможность оценить достоверность сделанных выводов.

Применение методов прикладной статистики будет успешным, если последовательно выполнять все этапы статистического анализа данных, а именно:

1) первичную обработку исходных данных;

2) выбор основных методов и алгоритмов статистической переработки данных, составление плана вычислительного анализа материала;

3) реализацию плана вычислительного анализа исходных данных (т.е. эксплуатация ЭВМ);

4) подведение итогов исследования.

С учетом новой информации может потребоваться повторная прогонка всего процесса.

Математические модели и методы стали применять в проспективизме примерно в одно время с началом развития вычислительной техники. Современное состояние телекоммуникаций в мире практически позволит обеспечить доступ к любой базе данных. Ученые могут работать с полным объемом информации в той или иной области знания. При этом важна формализация знаний об объектах, в нашем случае проспективизма. Это нужно еще и потому, что математика применима лишь к хорошо формализованным объектам.

Для хранения информации о множестве объектов и для его статистической обработки требуется формальная модель представления объекта в виде набора признаков. В проспективизме нужно учитывать свою специфику.

Кластерный анализ. Кластерный анализ – это статистический метод группирования близких многомерных объектов (от английского claster – сгусток). Существует множество методик кластерного анализа. Выбор конкретной его разновидности остается за исследователем и зависит от его задачи.

Математические основы кластерного анализа. Пусть имеется {I = I1, I2 ... In} объектов, каждый из которых характеризуется набором из р признаков. Анализ ведем по пространственному признаку. Объект может быть представлен точкой р-мерного евклидова пространства Ep, а множество In – точками этого пространства. Задача кластерного анализа состоит в том, чтобы разбить I на n пересекающихся множеств (кластеров) так, чтобы объекты, принадлежащие одному кластеру, были сходными, а объекты разных кластеров – несходными. Так осуществляется разбиение по критерию оптимальности. Например, таким критерием может стать минимальность внутригрупповой суммы квадратов расстояний. При этом важно определить понятие сходства. Количественным выражением степени сходства объектов является метрика в пространстве Ер. В качестве метрики часто берутся евклидово расстояние, р норма. Процедура кластеризации совершается ступенчато: два наиболее близких объекта lg и Ir объединяются в один кластер. Так число объектов уменьшается и становится равным p-1, где один кластер будет содержать два объекта, а p-2 – по одному. Так до тех пор, пока все объекты не сгруппируются в один кластер. Постепенно, по мере объединения по два кластера, процесс представляется в виде бинарного дерева, где родителем двух вершин будет кластер, образованный слиянием двух кластеров-сыновей. Расстояние между двумя объединяющимися кластерами выражено высотой ветвей дерева.

В ходе первичной статистической обработки данных обычно решаются такие задачи: анализ резко выделяющихся наблюдений, восстановление пропущенных или утраченных данных, проверка однородности исходных данных, преобразование или унификация типов переменных.

Программа воспринимает подготовленные в соответствующем формате исходные данные и представляет конечные результаты в текстовом или графическом виде. Уровень понимания программы – численная информация, возможность делать выводы на базе выходной информации. На выходе получается удобный для анализа рисунок процесса объединения в виде бинарного дерева в различных вариантах его отрисовки. Программа работает в операционной среде MS-DOS на компьютерах типа IBM PC.

Процедура выявления структуры таблицы. Выявление структуры таблицы происходит в два этапа. Первый – упорядочение строк и столбцов так, чтобы мало отличающиеся между собой строки (столбцы) оказались рядом. Критерий такого упорядочения –сумма расстояний между соседними строками (столбцами) – эта сумма минимизируется.

Второй этап – разбиение элементов матрицы на связные области. Здесь дисперсионный критерий качества: минимизируется остаточная дисперсия, получаемая при замене элементов матрицы на средние для элементов в соответствующих областях.

Упорядочение строк и столбцов. Обозначим анализируемую матрицу А = //aij//(i=1, ... m; j=1, ... n); расстояние между строками – расстояние между столбцами –

В хорошо структурированной таблице не очень часто происходят скачки по величине значений соседних элементов, поэтому целесообразно переставить строки и столбцы матриц так, чтобы расстояния между соседними строками dr = (i,j + 1) и расстояния между соседними столбцами dc (i,j + 1) в сумме были наименьшими.

На основании этих соображений в виде критерия качества упорядочения строк следует взять сумму расстояний между строками –

m-1

Lr = S dr(i,j+1)

 j =1

Если отождествить строки матрицы с вершинами взвешенного графа, где вес ребра, соединяющего вершину i1 с i2, совпадает с расстоянием dr(i1, j1), то задача минимизации становится весьма похожей на задачу "коммивояжера" – поиска обхода вершин графа (гамильтонова контура) минимальной длины. Ее отличие лишь в том, что искомый путь не замкнут. Искусственное присоединение к графу "нулевой" вершины, равноудаленной от всех остальных вершин, превращает указанную задачу в точности в задачу "коммивояжера". В этом случае первая и последняя строки таблицы будут связаны фиктивной вершиной.

Неопределенные элементы таблицы. Когда часть данных в таблице отсутствует, то необходимо определить расстояния между столбцами (строками). Пусть vaе (i1, i2) – число пар (аi1i – ai2j), в которых определены оба элемента, ssg(i1,i2) – сумма квадратов разностей (ai1i- аi2j)2 этих элементов, вычисленная только по парам определенных элементов. Тогда расстояние между строками определяются следующим образом:

 SSg(i1,i2)

dr(i1,i2) = { V , при Val (i1,i2) > 0

 Val(i1,i2)

M, при Val (i1,i2) = 0

Значение М целесообразно взять достаточно большим. Оно будет больше расстояния между строками, между которыми есть возможность определить расстояние. В этом случае после упорядочения такие разрывы в таблице будут выноситься алгоритмом к ее краю – к фиктивной вершине.

Разбиение таблицы на связные области. Таблицу целесообразно разбить на однородные части, чтобы они объясняли по возможности большую часть дисперсии элементов.

Область называется связной, если для любой пары ее элементов aij и ake можно построить последовательность элементов, в которой каждая пара расположенных рядом элементов соприкасается и первым элементом которой является aij, а последним – ake.

Две связные области называются соприкасающимися, если существует пара соприкасающихся элементов, один из которых принадлежит одной области, другой принадлежит другой области. Объединение соприкасающихся связных областей дает связную область.

Критерий качества разбиения таблицы на связные области. Пусть R = {Re, ..., Rk} – разбиение таблицы на связные области, a-1 – средняя величина элементов области. Критерием качества разбиения в нашей работе является величина остаточного разброса при аппроксимации таблицы средними значениями элементов областей

QR = S S (aij-a)2-1

 e Re

Величина Q(R) при поиске разбиения должна, естественно, минимизироваться. Эквивалентной задачей является максимизация критерия:

S (S aij)2

S(R) = e Re = S (aij-1)2[Re]

 [R^e] e

Поиск разбиения. Производится последовательное объединение соприкасающих пар областей: вначале находится пара областей, сияние которых даст наименьший прирост Q(R), затем следующая пара, и т.д. Подобные отработанные алгоритмы используются в кластерном анализе, в частности при анализе изображений.

Быстрота кластерной структуры таблицы увеличивается за счет ограничения числа объединенных кластеров соприкасающимися областями таблицы; однако это реализуется более сложным алгоритмом: в ходе его работы необходимо вести и редактировать ссылки на соприкасающиеся области.

Алгоритм объединения может работать до тех пор, пока все элементы таблицы не объединятся в одну область; возможна ситуация, когда в какой-то момент объединения полученные области невозможно объединить из-за имеющихся в таблице неопределенных клеток. Однако такое окончание процесса бесполезно. Наиболее эффективным является задание исследователем определенного числа кластеров, отвечающего его способности анализировать и соответствующее его представление о сложности таблицы. В случае неудовлетворительных результатов имеется возможность найти новую структуру с другим числом кластеров.

Анализ матриц сопряженности. Таблицы сопряженности являются одним из наиболее распространенных средств статистического описания совокупности.

Содержание таблицы сопряженности пары признаков X и У представляется статистическими данными, основанными на частотах Nij и маргинальных частотах Ni и Nj. В качестве таких статистик могут использоваться непосредственно сами абсолютные частоты Nij, доли по столбцам NijNj, а также другие показатели.

Типологическое группирование. Переходя от кластеризации к типологическому анализу, мы можем идти дальше в нашем исследовании, давая классификацию нашим объектам. Построение типологии на основе анализа эмпирических данных обычно заключается в исследовании множества таблиц данных, в результате которого постепенно выявляется логическая структура совокупности. Процесс построения типологий трудоемок.

Цель группирования представляет множество "зависимых" переменных У = [У1, ...Уn]. Для формирования логики группирования используется множество X = {Х1, ...Хm} "независимых" переменных.

Типология здесь – разбиение R совокупности объектов на классы (типы), оптимальные с точки зрения прогноза цели группирования У, построенное с использованием логического группирования объектов по множеству "независимых" переменных X.

Критерий кластеризации, эвклидово расстояние и одномерный дисперсионный анализ. В ряде алгоритмов кластерного анализа критерием кластеризации является суммарный внутрикластерный разброс – аналог внутриклассового разброса в дисперсном анализе. В этих алгоритмах переменные рассматриваются независимо, критерий кластеризации имеет вид:

Q(R) = S S n (y,y-k)2

 k Y SRk

Здесь R{R R } – разбиение совокупности объектов {у} на кластеры, у-k – центр тяжести кластера R (вектор средних в этом кластере), г(х,у) – эвклидово расстояние между векторами х и у. Следует заметить, что Q(R) представляет собой сумму внутриклассовых квадратичных разбросов по отдельным переменным. Эвклидово расстояние между переменными, взятыми для анализа непосредственно, неприменимо из-за разных масштабов изменения переменных – чем больше разброс значений переменной, тем больше ее вклад в функцию (I).

Критерий качества кластеризации для неколичественной переменной. Традиционным, применимым еще с времен Лапласа способом количественного представления неколичественных данных является задание значений неколичественной переменной в виде индикаторных ноль-единичных переменных. Благодаря этому можно количественные методы приспособить к неколичественным данным.