Добавил:
Upload Опубликованный материал нарушает ваши авторские права? Сообщите нам.
Вуз: Предмет: Файл:
НИР..docx
Скачиваний:
3
Добавлен:
01.07.2025
Размер:
144 Кб
Скачать
☆
  1. Методы снижения размерности

Процесс уменьшения анализируемого множества данных до размера, оптимального с точки зрения решаемой задачи и используемой аналитической модели.

Сокращение размерности может потребоваться когда данные избыточны в информационном плане, т.е. задачу можно решить с тем же уровнем эффективности и точности, но используя меньший объем данных. Это позволяет урезать время и вычислительные затраты на решение задачи. Другой случай связан со слишком большими вычислительными затратами, требуемыми для обработки множества данного размера. Эта ситуация типична для алгоритмов, вычислительная сложность которых экспоненциально растет с увеличением числа наблюдений (т.е. немасштабируемых). Если в первом случае достаточно просто отобрать из всего множества столько признаков(атрибутов) и записей, сколько надо, то во втором, нужно сократить исходное множество до такого объема, который обеспечил бы реализуемость его обработки невзирая на потерю полезной информации.

Поэтому во втором случае предъявляются очень жесткие требования по отбору данных: сокращение объема должно происходить за счет наименее ценных данных, например, сначала за счет наименее значимых признаков, затем - похожих записей и т.д., пока размерность не окажется приемлемой с точки зрения требуемого объема вычислений.

Существует несколько направлений сокращения размерности множеств данных: сокращение числа признаков (атрибутов), сокращение числа записей и сокращение числа разнообразных значений определенного признака. Наиболее эффективным является сокращение признаков, поскольку в этом случае уменьшается не только объем данных, но и размерность всей задачи. В большинстве случаев решающим фактором за или против исключения признака является его значимость. На практике, определяют значимость всех признаков, исключают все признаки, значимость которых ниже заданного порога. Также следует исключать коррелирующие признаки.

Подмножество данных, полученное в результате сокращения размерности, должно унаследовать от исходного множества столько информации, сколько необходимо для решения задачи с заданной точностью, а вычислительные и временные затраты на сокращение данных не должны обесценивать , полученные от него преимущества. Аналитическая модель, построенная на основе сокращенного множества данных, должна стать проще для обработки, реализации и понимания, чем модель, построенная на исходном множестве.

Решение о выборе метода сокращения размерности основывается на априорном знании об особенностях решаемой задачи и ожидаемых результатах, а также ограниченности временных и вычислительных ресурсов.

  1. Дискриминантный анализ

Дискриминантный анализ необходим для:

  • Поиска наиболее сильных различий между сегментами.

  • Оценки устойчивости сегментации.

  • Воспроизведения сегментации с помощью обучения новой выборки по данным прошлых волн.

  • Восстановления пропущенных значений.

На входе анализа – категориальная переменная, содержащая принадлежность к классам  (например, сегментация, или потребление продуктов или брендов), и набор независимых переменных, измеренных по интервальным или дихотомическим шкалам. При этом категориальная переменная может иметь пропуски, т.е. не для всех респондентов будет заполнена: алгоритм самостоятельно предскажет эти значения.

С помощью статистического критерия (чаще всего используют критерий Фишера) алгоритм ищет такую комбинацию линейных уравнений (дискриминантных функций), которая наилучшим образом опишет различия между группами.

Первая дискриминантная функция отделяет первую группу от групп 2, 3, … N, вторая – вторую группу от групп 3, 4, … N и т.д. В итоге все N групп получаются отделёнными друг от друга дискриминантными функциями. Это даёт возможность определить вероятность принадлежности респондента к тому или иному классу.

Дискриминантный анализ дает возможность понять, по каким именно переменным имеющиеся классы (сегменты, продукты, бренды, и т.д.) различаются сильнее всего.

Каждому респонденту приписывается вероятность попадания в тот или иной класс; таким образом, при сегментации можно определить основной (по наибольшей вероятности попадания) и дополнительный (второе по величине значение вероятности) сегмент респондента.

Метод позволяет воспроизвести уже имеющуюся сегментацию, распространив ее на новые волны исследования. Кроме того, с его помощью можно оценить устойчивость сегментов.

Наконец, с помощью дискриминантного анализа можно строить различные карты, существенно облегчающие интерпретацию результатов кластерного анализа.