Задание 5

В этом задании мы рассмотрим, как отдельный образец может повлиять на кластеризацию больших объемов информации.

Вы должны подготовить массив из 2500 образцов.

А	B
0,234	1,277
1,912	0,012
…	…

Образцы должны размещаться случайным образом в пяти квадратных секторах координатной плоскости, по 500 образцов в каждом – так, как это показано на диаграмме.

Таким образом, на плоскости явно видно пять кластеров. Размещение образцов таково, что плоская двухмерная сеть, теоретически, способна хорошо развернуться на этом пространстве, поэтому кластеры могут быть явно на ней отражены.

Проверим это предположение. Создайте и обучите сеть Кохонена. Количество кластеров установите как фиксированное, равное пяти. Результат проконтролируйте при помощи карт Кохонена, отображения «Матрица расстояний» и «Кластеры», а также диаграммы размещения, на которой по осям Х и Y разместите, соответственно, факторы А и В, а в поле «Цвет объекта» выберите «Номер кластера».

Видны ли на матрице расстояний характерные полосы больших расстояний, разделяющие карту на несколько частей? Действительно ли таких частей пять? Попали ли все образцы каждого из пяти квадратов в один и тот же кластер, судя по диаграмме размещения?

Скорее всего, деление по кластерам совпадет с предполагаемым делением, обусловленным размещением исходных образцов.

Теперь слегка измените исходное множество. Выберите любой образец и замените ему значение В на 30. В результате один образец сместится за пределы первоначальной области. Однако подавляющее количество образцов останется на своих местах, причем общая структура размещения сохранится.

Повлияет ли перемещение одного из 2 500 образцов на обучение сети. Проверьте это, построив и обучив сеть Кохонена с точно такими же параметрами, как и в предыдущем случае. Установите фиксированное количество кластеров равным 5. Проконтролируйте результат по тем же отображениям, что были описаны выше.

Видны ли на матрице расстояний характерные полосы больших расстояний, разделяющие карту на несколько частей? Действительно ли таких частей пять? Попали ли все образцы каждого из пяти квадратов в один и тот же кластер, судя по диаграмме размещения? В какой кластер попал образец с измененной координатой?

Вероятно, матрица расстояний продемонстрирует вам картину, похожую на предыдущий случай: выделенные цветом полосы, соответствующие большим расстояниям между нейронами, делят область на пять частей. Однако вам, скорее всего, не удастся повторить равномерную кластеризацию, подобную той, что вы видели в предыдущем примере. Образец с экстремальной координатой попал в ближайший к нему кластер, но новые кластеры не полностью совпадают с границами квадратных зон плоскости исходных образцов. Вероятнее всего, две области попадут в один кластер, а одна, скорее всего центральная, будет разбита надвое. Неадекватность такого деления очевидно: два кластера разделенной надвое области намного ближе друг к другу, нежели две разных области.

Возможно, картина улучшится, если увеличить число кластеров до 6. Можно предположить, что «экстремальный» образец образует собственный кластер, а пять остальных будут представлять пять квадратных областей исходного пространства.

Увеличьте число кластеров до шести. Оправдалось ли предположение?

Вряд ли вам удастся добиться разделения в соответствии с областями пространства исходных образцов. Иногда элемент с экстремальной координатой выделяется в отдельный кластер, иногда нет. Но оставшиеся пять групп образцов не выделяются в пять соответствующих кластеров.

Во многом это происходит из-за нормализации значений А и В. Они нормализуются на одинаковых отрезках, однако разброс значений у В в три раза больше. А это значит, что значения В умножаются на меньший коэффициент; основная масса образцов оказывается «сжатой» по оси В.

Можно попробовать избежать этой ошибки, изменив нормализацию. Постройте сеть, при настройке нормализации укажите значимость фактора А равной 33%. Обучите сеть и проанализируйте результаты для пяти кластеров

Удалось ли вам вернуться к «регулярной» кластеризации?

Скорее всего, вы сможете вернуться к соответствию между кластерами и областями размещения образцов исходного множества.

Это задание демонстрирует нам, как сильно может повлиять одно-единственное значение на кластеризацию больших массивов образцов. Составляя ничтожную долю всех образцов (общее количество их можно было сделать еще большим), один «экстремальный» образец совершенно меняет картину кластеризации.

Иногда можно поправить результат за счет установки параметров нормализации. Однако в данном случае А и В были некоторыми абстрактными равнозначными величинами, и нам был хорошо понятен характер распределения. В реальных задачах исходные факторы могут иметь совершенно разную размерность и единицу измерения, а образцы размещаются далеко не таким регулярным образом. Поэтому первоочередное значение нужно уделить предварительной обработке данных, при которой есть смысл устранить или сгладить экстремальные «выбросы» величин. Это представляется вполне оправданным: при кластеризации нам важнее получить обобщающую картину, нежели точно отразить все без исключения образцы.