Многомерный статистический анализ.

Это раздел мат статистики, посвященный методам, направленный на выявление характера и структуры взаимосвязи между компонентами исследуемого многомерного признака и предназначенная для получения научных и практических выводов и построения моделей.

Многомерный признак - это н-мерный вектор, составленный из признаков одномерных (фотка).

Если все одномерные первичны, то значение многомерного признака можно рассматривать как многомерное наблюдение. Совокупность значений многомерного признака обычно рассматривается как матрица данных. Часто используется геометрическая интерпретация объектов как точек признакового пространств, координатные оси которого соответствуют изучаемым одномерным признакам, а координаты каждого изучаемого объекта - это отвечающие ему значения признаков.

В процессе многомерного анализа происходит классификация данных, объяснение их структуры, поиск неизвестных значений с учетом выявленных закономерностей.

Исходным массивом данных для многомерного анализа обычно служат результаты измерения компонент многомерного признака для каждого из объектов изучаемой совокупности.

Под многомерным признаком чаще всего понимается многомерная случайная величина, а под последовательностью многомерных наблюдений выборка из генеральной совокупности. В этом случае выбор метода обработки данных производится на основе допущения относительно закона распределения изучаемого признака.

Многомерный стат анализ условно делится на три подраздела:

1. анализ многомерных распределений и их характеристик. Охватывает ситуации, когда обрабатываемые наблюдения имеют вероятностную природу. То есть интерпретируются как выборка из соответствующей генеральной совокупности. К основным задачам этого подраздела относят стат оценивание изучаемых многомерных распределений, изучение свойств использования стат оценок, исследования распределения вероятности для ряда статистик с помощью которых строятся стат критерии проверки различных гипотез о вероятностной природе изучаемых многомерных данных.

2. Анализ характера и структуры взаимосвязей компонентов исследуемого многомерного признака. Объединяет понятия и результаты, присущие таким моделям и методам, как регрессионный, дисперсионный, ковариационный, факторный, латентно-структурный, логлинейный анализы. Методы, принадлежащие к этой группе включают как алгоритмы, основанные на предположении о вероятностной природе данных, так и методы, не укладывающиеся в рамки любой из вероятностных моделей.

Ковариационный анализ - совокупность методов мат статистики, относящихся к анализу моделей зависимости среднего значения некоторой случайной величины У одновременного от набора качественных (основных) факторов F и количественных (сопутствующих) факторов Х. Факторы Ф задают сочетание условий, при кот были получены наблюдения Х и У и описываются с помощью индикатора переменной. Если случ величина У является вектором, то говорят о многомерном ковариационном анализе. Часто его применяют перед дисперсионным анализом, чтобы проверить гомогенность выборки.

Дисперсионный анализ - это метод мат статистики для проверки стат гипотез. Используется для выявления влияния отдельных независимых друг от друга переменных, традиционно называемых факторами (А, В, С...), на некоторую целевую переменную У.

Латентно-структурный анализ - это метод вероятно-стат моделирования, идея кот основана на предположении, что наблюдаемое поведение есть внешнее проявление некоторой скрытой характеристики, присущей индивидам. Задача метода в том, чтобы изучив наблюдаемое поведение индивида, вывести эту скрытую характеристику и классифицировать индивидов по сходству ее значений.

Логлинейный анализ - в его рамках нелинейные модели трансформируются в линейные с помощью логарифма. Применяется чаще всего Пири построении таблиц сопряженности, охватывающих многие переменные, частично или полностью являющимися номинальными или порядковыми мерами.

3. Анализ геометрической структуры исследуемой совокупности многомерных наблюдений. Объединяет понятия и результаты, свойственные дискриминантному и кластерному анализу. Центральным для этих моделей является понятие расстояния или меры близости между изучаемыми элементами, как точками некоторого пространства. При этом анализируются могут как объекты (как точки, задаваемые в признаковом пространстве), так и признаки (как точки, задаваемые в объектном пространстве).

Дискриминантный анализ используется для принятия решения о том, какие переменные различают или дискриминируют возникающие совокупности. Например, мы хотим выяснить какие переменные относят выпускника-бакалавра к одной из трех категорий: поступающий в магистратуру по своему направлению, поступающие в магистратуру другого профиля, отказывающиеся от дальнейшего образования. Для этой цели мы должны собрать данные о различных переменных, связанных с выпускниками и определить отличаются ли наши три совокупности по среднему показателю какой-либо переменной. После того как мы выявим эту переменную, можно будет предсказывать для выпускников-бакалавров след года из принадлежность к одной из выделенных трех групп. Прикладное значение многомерного стат анализа состоит в основном в обслуживании трех проблем:

1. стат исследований зависимостей между рассматриваемыми показателями

2. Классификации элементов или (объектов) признаков

3. Снижения размерности рассматриваемого признакового пространства и отбора наиболее информативных признаков

Отдельные показатели изучаемые в ходе одномерного анализа, описывают лишь частично какую-то проблемную ситуацию. Многомерный анализ позволяет выбрать ту объяснительную схему, которая наилучшим образом характеризует реальное поведение изучаемой совокупности объектов. При этом проведение многомерного анализа подразумевает и некоторую редукцию данных, то есть включает сокращение размерности множества данных с помощью выделения определенного числа основных факторов. Решение задач классификации, так как наличие множества исходных признаков заставляет выделять наиболее существенное и изучать меньший набор показателей.

Факторный анализ - позволяет уменьшить размерность пространства признаков и описать структурные взаимосвязи между переменными. В основе метода лежат след предположения:

1. не все явления можно наблюдать непосредственно, так как многие из них являются скрытыми

2. Не наблюдаемые явления могут быть так или иначе связаны с наблюдаемыми

3. Связи между большим числом наблюдаемых элементов могут определяться существованием меньшего числа гипотетических ненаблюдаемых факторов.

4. Можно получить факторную модель, кот содержит в себе определенную часть исходных переменных, объясняя их структуру. Таким образом, изучаемые эмпирические показатели считаются следствием других глубинных характеристик. Этот метод может использоваться доя переменных, уровень измерения которых метрический или дихотомический.

Техническое проведение факторного анализа сводится к вычислению дисперсии переменных, то есть мера разброса отклонения от мат ожидания, объясненных одними и теми же факторами. Затем вычисляется корреляция между каждой исходной переменной и сконструированными факторами. Интерпретация факторов непосредственно связана с корреляци ей. Те переменные, с которыми фактор коррелирует сильнее всего отражает его содержательный смысл. При анализе в один фактор объединяются сильно коррелирующие между собой переменные. В результате происходит перераспределение дисперсии между компонентами и получается максимально простая и наглядная структура факторов.

Широко применяется в исследованиях, где используются однородные шкалы для измерения тех или иных явлений.

Кластерный анализ - вид анализа данных на основе разбиения совокупности на отдельные группы или кластеры. Объекты, отнесенные к одной группе являются однотипными. В роли средств разбиения совокупности могут выступать различные методы многомерного анализа данных, но принято особо выделять методы многомерном классификации данных каждый из кот предполагает опр алгоритм разбиения. Его составными мерами являются задание меры близости между объектами и правила объединения их в кластеры. Существуют три контекста употребления понятия классификации:

1. процедуры алгоритма разбиения объекта

2. Совокупность кластеров или результат разбиения

3. Процедура объяснения объектов к заданному кластеру

Иногда кластерный анализ отождествляется с типологическим, предназначенным для обнаружения эмпирических закономерностей на основе кот выдвигается гипотеза о существовании соц типов, либо для проверки уже существующих гипотез существования соц типов в заданных исследователем смыслом.

Первые алгоритмы кластеризации возникли из геометрического представления объекта как точек в многомерном пространстве признаков, когда похожесть объектов, близость их расположения в данном пространстве, а кластер - это сгущение объектов опр конфигурации. В ряде случаев критерий похожести задается как мера близости между любыми двумя объектами. В социологических исследованиях классификационные признаки часто имеют низкий уровень измерения, поэтому их преобразуют в бинарные.

Мера близости может задаваться в явном виде как вход в алгоритме или в неявном виде в самом правиле разбиения. В первом случае варьирование мерами близости допустимо, так как не в любом алгоритме можно задавать требуемую исследователю меру. Многообразие постановок задач кластерного анализа породило существование различных алгоритмов разбиения, обладающих определенными свойствами:

1) устойчивость относительно переупорядочения объектов - на входе в алгоритм предполагается Некоторая упорядоченность объектов, меняя порядок следования объекта и применяя алгоритм повторно, получается новый результат, который может не совпадать с предыдущим. В случае совпадения считается, что алгоритм обладает свойством допустимости относительно переупорядоченности объектов.

2) устойчивость относительно дублирования кластеров - если объекты какого-то кластера добавить в исходную совокупность и повторить процедуру разбиения, границы кластеров не изменятся.

3) устойчивость относительное удаления кластеров - если объекты какого-то кластера удалить из исходной совокупности и повторить классификацию, границы кластеров не изменятся.

4) устойчивость относительно дублирования объектов - как в 2

5) возможность манипулирования разными мерами близости, если она задается в явном виде

Большинство алгоритмов разбиения реализуются пошагово, на каждом шаге разбиение получается путем преобразования предыдущего. Процесс останавливается заданием либо числа кластеров, либо порога различимости объектов или кластеров при устойчивости разбиения. при возрастании порога различимости само разбиение не меняется.

Алгоритмы классификации:

1. Иерархические агломеративные алгоритмы. На первом шаге каждый объект объявляется кластером. На каждом последующем шаге объединяются кластеры предыдущего разбиения. Правила объединения различаются в разных алгоритмах. Допустим, что мера близости двух кластеров вводится как среднее значение из расстояний, вычисленных для каждой пары объектов, один из которых принадлежит одному кластеру, другой - другому. Тогда на каждом шаге будут объединяться два кластера, для которых это среднее значение будет минимально. Такой алгоритм называют методом ближайшего соседа.

Еще один распространенный метод - это быстрый метод Уорда. Используется при большом числе объектов. Каждому кластеру ставится в соответствие гипотетически средний объект. Центр кластера и значение признаков для него определяется как среднее значение в классе. Вводится показатель однородности кластера в виде суммы квадратов расстояний между средним объектом и остальными. Кластеры объединяются, если это приводит к минимальному приросту данной суммы.

2. Иерархические дивизимные алгоритмы. На первом шаге все объекты относятся к одному кластеру, на следующем шаге отбирается объект, максимально отличающийся от других, который становится основой для создания нового кластера. К нему присоединяются наиболее близкие объекты и образуется второй кластер. На следующем шаге процедура повторяется.

3. Интеративные алгоритмы (параллельные или последовательные). В их основе введение некоторого критерия качества разбиения. Это некоторая функция, связывающая классификационные признаки. Отыскивается разбиение, на котором функционал качества разбиения принимает максимальное значение. Например, функционал это сумма по всем кластерам внутригрупповых дисперсий по всей совокупности признаков. Параллельные алгоритмы используют параллельно все классифицируемые объекты, последовательные - только часть при анализе данных большого объема. В обоих случаях число кластеров К либо задается, либо подлежит определению. Самый распространенный алгоритм - метод Кср. На первом шаге случайно отобранные К объекты (заданное число кластеров) формируют вокруг себя кластеры, затем в них вычисляются центры с координатами, равными средним по признаку. Если объект ближе к центру своего кластера, он остается в нем, если нет, переводится в тот кластер, к центру которого он ближе всего. На следующем шаге пересчитываются центры по такому же принципу. Если вместо средних вычисляются медианы, алгоритм называется алгоритмом К медиан.

4. Алгоритмы, оценивающие плотности. В этих алгоритмах кластеры формируются в пространстве признака в соответствии с местами наибольшей плотности. Они определяются по-разному. Например, сначала выделяется круглое сгущение одинакового радиуса, затем такие сгущения объединяют в кластеры различной конфигурации.

5. Двувходовые объединения (бикластеризация) - это алгоритмы, осуществляющие группировку одновременно и объектов, и признаков по данным матрицы вида объект-признак. Основная идея в формировании таких кластеров, когда один из них однороден по одной части признаков, а другой - по другой части.

6. Нечеткие классификации - данные алгоритмы позволяют получать размытые классификации пересекающихся кластеров. Они опираются на понятия функций принадлежности, которые принимают значения от 0 до 1. Объект одновременно может быть отнесен к разным кластерам с разным уровнем принадлежности или значениями этой функции. При этом сумма его принадлежности будет равна 1.

Регрессионный анализ.

Это один из видов многомерного анализа данных, позволяющих построить функциональную модель зависимости между переменными. Фактически он разворачивает идею точечной взаимосвязи признаков в непрерывную модель, которая может описываться математической функцией как линейной, так и не линейной. Эта модель подразумевает наличие одной зависимой переменной у и множество независимых переменных х, влияющих на у. Количество независимых переменных делят регрессионые модели на простые с одной х и множественные с двумя и более. На практике линия регрессии ваще всего ищется как линейная функция.

Фотка.

Ключевые задачи регрессионого анализа - это поиск моделей с наилучшей объяснительной силой и предсказание значения зависимой переменной с помощью независимых, критерием качества регрессионной модели в первую очередь является значение коэффициента множественной корреляции, кроме того рассматриваются доли дисперсии, объясняемые моделью, значимость коэффициента регрессионого уравнения и тд.