14. Анализ данных с пропусками

С проблемой обработки пропусков в массивах данных приходится сталкиваться при проведении разнообразных социологических, экономических и статистических исследований. Традиционными причинами, приводящими к появлению пропусков, являются невозможность получения или обработки, искажение или сокрытие информации. В результате на вход программ анализа собранных данных поступают неполные сведения.

Самым простым решением обработки данных является исключение некомплектных наблюдений, содержащих пропуски, и дальнейший анализ полученных таким образом "полных" данных. Понятно, что такой подход приводит к сильному различию статистических выводов, сделанных при наличии в данных пропусков и при их отсутствии.

Поэтому более перспективным является иной путь – заполнение пропусков перед анализом фактических данных. Можно выделить следующие преимущества данного подхода: ясное представление структуры данных; вычисление необходимых итоговых значений; уверенная интерпретация результатов анализа, так как можно опираться на традиционные характеристики и суммарные значения.

Сегодня создано множество методов восстановления пропусков, однако единая методология обработки подобных данных отсутствует, несмотря на ее необходимость.

Предложенные методы можно грубо разделить на четыре (пересекающиеся) группы.

1. Метод исключения некомплектных объектов. При отсутствии у некоторых объектов значений каких-либо переменных простым приемом, упомянутым в разделе 1.1, является удаление таких некомплектных объектов из анализа и обработка данных без пропусков [см., например, Nie, Hill, Jenkins, Steinbrenner and Bent (1975)]. Этот подход обсуждается в гл. 3. Он легко реализуется и может быть удовлетворительным при малом числе пропусков. Однако иногда он приводит к серьезным смещениям и обычно не очень эффективен.

2. Методы с заполнением. Пропуски заполняются и полученные «полные» данные обрабатываются обычными методами. Как правило, используются следующие процедуры: заполнение с (пристрастным) подбором, когда подставляются значения переменных других объектов выборки, заполнение средними, когда подставляются средние присутствующих значений, и заполнение с помощью регрессии, когда пропущенные значения оцениваются с помощью регрессии на присутствующие для анализируемого объекта переменные. Чтобы получить корректные выводы, в стандартные методы анализа следует ввести модификации, позволяющие отличать заполненные пропуски от реальных данных. Эти модификации относительно просты в обобщении с многократным заполнением каждого пропуска.

3. Методы взвешивания. Рандомизированные выводы по данным выборочных обследований с пропусками обычно построены на весах плана, обратно пропорциональных вероятности выбора. Путь у. — значение переменной Y /-го объекта популяции. Тогда среднее популяции часто оценивают величиной

Ет/^/Ет;1, (1)

где суммы берутся по извлеченным объектам, тг, — вероятность извлечения /-го объекта, ж]1 — вес плана /-го элемента. Методы взвешивания изменяют веса, чтобы учесть отсутствие значений. Оценка (1) заменяется оценкой

EKArV^'Af1, (2)

где суммы берутся по извлеченным объектам, в которых нет пропусков, а р, — оценка вероятности присутствия значения для /-го объекта (обычно доля объектов выборки с присутствующим значением). Взвешивание связано с заполнением средними. Например, если веса плана постоянны в подгруппах выборки, то заполнение пропусков в каждой подгруппе средними подгруппы и взвешивание присутствующих значений с помощью их доли в каждой подгруппе ведут к одинаковым оценкам среднего популяции, хотя оценки выборочной дисперсии различны, если только не используются поправки на заполнение средними.

4. Методы, основанные на моделировании. Широкий класс методов основывается на построении модели порождения пропусков. Выводы получают с помощью функции правдоподобия, построенной при условии справедливости этой модели, с оцениванием параметров методами типа максимального правдоподобия. Преимущества такого подхода состоят в том, что он гибок, позволяет отказаться от методов, разработанных для частных случаев (предпо­ложения модели, на которых основаны наши методы, можно рассмотреть и оценить), и оценивать в приближении большой выборки дисперсии оценок с помощью матрицы вторых производных функций правдоподобия для неполных данных. Описание методов, основанных на моделировании, — основная цель этой книги.