- •IV. Многомерные статистические методы
- •Тема 11. Кластерный анализ
- •11.1. Постановка задачи кластерного анализа и общая схема процедуры его применения в психологическом исследовании
- •11.2. Классификация методов кластерного анализа по измерительным шкалам, направлению кластеризации и используемой метрике
- •Примеры мер различия и сходства, используемых в кластерном анализе эмпирических данных
- •11.3. Классификация методов кластерного анализа по глобальным стратегиям кластеризации
- •11.4. Классификация иерархических агломеративных методов кластерного анализа по способам определения межкластерных расстояний
- •11.5. Применение методов кластерного анализа в психологических исследованиях
- •Определить: на какие группы можно разделить претендентов по признаку сходства показанных ими результатов.
- •Определить: Изменятся ли результаты решения задачи 11.5-4, если вместо меры Жаккара использовать обычную евклидову метрику (и, соответственно, не выполнять дихотомизацию исходных признаков)?
- •Вопросы для самопроверки по теме 11
- •Рекомендуемая литература по теме 11
Тема 11. Кластерный анализ
11.1. Постановка задачи кластерного анализа и общая схема процедуры его применения в психологическом исследовании
Кластерный анализ является математическим методом, предназначенным для решения задач классификации; его цель состоит в разделении эмпирической выборки на ряд подмножеств (обычно непересекающихся), которые называются кластерами, а иногда – группами, классами, таксонами. Термин «кластер» (от англ. cluster) означает «гроздь, пучок, скопление, группа элементов, характеризуемых каким-либо общим свойством»; а термин «таксон» (от англ. taxon - систематизированная группа любой категории; термин биологического происхождения [9. C.145]. Подразумевается, что элементы, объединенные в один кластер, являются в том или ином смысле более похожими друг на друга, более близкими по каким-либо характеристикам по сравнению с остальными. При этом кластерный анализ опирается, как правило, только на данные о самой эмпирической выборке и не использует никаких дополнительных априорных предположений: например, о характере распределения вероятностей в генеральной совокупности. Более того, после построения классификации ее результаты считаются окончательными и не пересматриваются (для данной эмпирической выборки данных и примененного конкретного метода кластерного анализа, хотя при получении дополнительных данных или при выборе другого метода классификация, естественно, может быть построена заново). В силу этого кластерный анализ часто называют классификацией без обучения (в отличие от дискриминантного анализа, который называют классификацией с обучением). Из других названий, часто применяемых как синонимы кластерного анализа (хотя синонимичность некоторых из них иногда вызывает дискуссии среди специалистов: см., например, [4; 5; 9; 17; 23]), можно отметить следующие: кластер-анализ, автоматическая классификация, таксономия, распознавание образов без обучения.
Кластерный анализ является сравнительно «молодым» методом анализа данных: его теоретические основы были развиты, в основном, лишь в середине XX века (и продолжают интенсивно развиваться до настоящего времени), а широкое распространение, в частности, в психологических исследованиях он получил, фактически, лишь после массового внедрения компьютеров и, особенно, после появления персональных компьютеров, т.е. примерно к 80-м годам прошлого века. В то же время, столь недавнее появление с лихвой компенсируется бурным (интенсивным и экстенсивным) развитием этого направления: за короткое время кластерный анализ стал одним из наиболее популярных методов анализа данных в самых различных областях познания и практической деятельности, включая и психологию; количество научных публикаций, посвященных кластерному анализу, в мире ежегодно исчисляется тысячами.
В общем виде процедура кластерного анализа вполне доступна для понимания исследователей и практиков, не имеющих специальной математической подготовки (например, психологов). Однако количество различных методов кластерного анализа и конкретных постановок задач кластеризации весьма велико, и этот факт, по-видимому, является одной из причин того, что в отечественной литературе работы, посвященные применению кластерного анализа в психологических исследованиях, встречаются крайне редко. Учитывая такую ситуацию и, фактически, пионерский характер нашего пособия в данном вопросе, мы считаем целесообразным предварительно познакомить читателя с общим обзором процедуры кластерного анализа и базовой (хотя и несколько упрощенной, но вполне достаточной для психолога) классификацией его методов. Знание этих вопросов позволит читателю уверенно ориентироваться при использовании конкретных методов кластерного анализа, реализованных в статистических пакетах программ.
Методы кластерного анализа разнообразны и могут быть классифицированы по различным основаниям. Чтобы выделить такие основания, сформулируем в обобщенном виде процедуру кластерного анализа, применяемую в психологическом исследовании, предусматривающую ряд этапов и представленную в табл. 11.1-1.
Таблица 11.1-1
Общая схема процедуры применения кластерного анализа в психологическом исследовании
Номер этапа |
Содержание этапа |
1 |
Получение с помощью определенных измерительных шкал набора количественных эмпирических данных и его представление в виде матрицы «объект – признак». |
2 |
Принятие исследователем решения о направлении кластеризации, то есть о том, что именно будет подвергаться классификации: обследованные объекты (респонденты, случаи), измеренные признаки (психологические переменные), или и то, и другое одновременно. |
3 |
Представление эмпирических данных в виде точек многомерного метрического пространства, определяемых своими координатами; одновременный выбор метрики (или псевдометрики) этого пространства, то есть меры сходства или различия между его точками. |
4 |
Выбор глобальной стратегии кластеризации, то есть основного принципа разделения выборки на кластеры. |
5 |
Выбор конкретного алгоритма кластеризации, предусматривающего выбор мер сходства или различия между кластерами (способа определения межкластерных расстояний), а также определенного способа оценки качества кластеризации. |
6 |
Выполнение собственно кластеризации (разбиения исходной выборки на кластеры). |
7 |
Психологическая интерпретация полученных результатов кластеризации. |
Рассмотрим эти этапы подробнее, одновременно выделяя основания классификации методов кластеризации и рассматривая классы методов, выделенные по соответствующему основанию.
