54. Отбор исследований для включения в мета-анализ. Валидность мета-аналитического исследования.

Классическим или консервативным подходом к такой систематизации является нарративный (дискурсивный) литературный обзор – неотъемлемая часть любого исследования и публикации его результатов. Однако эта традиция анализа проблемного поля исследований имеет ряд ограничений, основными из которых можно назвать отсутствие формализованного подхода к сопоставлению результатов, полученных в различных работах, и высокий уровень субъективности выполняемого обзора, ведущий к систематическим искажениям в обобщениях и заключениях. Важным шагом на пути к преодолению указанных недостатков и большей объективности в генерализации выводов, учитывающих результаты всех (или почти всех) проведенных к определенному моменту исследований на ту или иную тему, стало появление метода мета-анализа данных, получившего особо широкое распространение в последние два десятилетия.

В 1977 г. Дж. Гласс и М. Смит опубликовали в журнале “American Psychologist” (“Американский психолог”) результаты анализа уже 375 исследований, в которых исследовалась эффективность различных видов психотерапии в отношении ряда показателей психологического благополучия (тревожность, самооценка, адаптированность и т.д.) на материале общей выборки в более чем 25 000 испытуемых. Ирония заключается в том, что полученные авторами результаты вернули исследователей к цифре 75%, указанной ранее Айзенком, но в прямо противоположном смысле: было показано, что в среднем клиент, прошедший психотерапию, чувствует себя лучше, чем 75% людей из контрольной группы.

Поиск исследований – это поиск в научных журналах, сборниках тезисов конференций, сборниках статей, книгах, диссертациях и списках литературы в рассматриваемых источниках. В настоящее время наибольшую ценность представляют электронные базы данных (PSYCInfo,

ProQuest, PubMed, ERIC и др.), а также электронные системы поиска литературы (т.н. аггрегаторы – OVID, SCOPUS, Web of Science, Google Scholar и др). Полезную информацию могут дать и специалисты в той области, в которой проводится мета-анализ: например, предоставив материалы неопубликованных исследований. Включение таких исследований необходимо из-за эффекта “архивного ящика” (publication bias или fi le drawer problem), согласно которому в научных журналах чаще публикуются значимые результаты (размер эффекта в этих исследованиях больше, чем в неопубликованных), а неопубликованные исследования “уходят в стол”, что потенциально ведет к сильным искажениям результатов.

Существуют эксплораторные техники анализа вероятности наличия неопубликованных исследований: т.н. воронковый график (funnel plot) отражает степень асимметрии распределения размеров эффектов, собранных мета-аналитиком. Асимметричное распределение говорит о том, что мета-анализ не учел определенное количество неопубликованных исследований, в которых были получены размеры эффектов, вносящие вклад в общую симметрию распределения. Проблема архивного ящика частично решается с помощью таких техник, как вычисление количества исследований с незначимым результатом, которые снизили бы общий уровень значимости мета-аналитического результата до незначимого уровня.

Обоснование критериев поиска и включения тех или иных исследований в мета-аналитическую базу данных остается “на совести” исследователя, как остается “на совести” других исследователей предоставляемая ими в научных публикациях информация, которой иногда бывает недостаточно для включения исследования в мета-анализ. Поэтому как для первых, так и для вторых были разработаны специальные правила отбора и представления исследований [9]. Указанная проблема недостаточности представляемых в некоторых исследованиях результатов для их включения в мета-анализ связана с более общей проблемой вариативности качества исследований и их описаний. Смешивание методически и методологически качественных и некачественных исследований (т.н. проблема garbage in and out) может приводить к серьезным искажениям. Для преодоления этого недостатка Р. Розенталем [37] были разработаны техники взвешивания результатов исследования на основе численной оценки методологической “чистоты” исследования (по 4- или 9-балльной шкале). Возможен как анализ изменения результатов мета-анализа на основе временного блокирования определенных исследований, так и исключения из мета-анализа исследований на основе особых критериев, связанных с методологией: например, исключение исследований без контрольных групп, по типу операционализации ЗП и НП.

Соответственно проблема смешивания “яблок с апельсинами” в ходе мета-анализа (т.н. проблема apples and oranges) связана с трудностью интерпретации результатов, полученных при комбинировании сведений, полученных в исследованиях, которые сильно отличаются друг от друга по операционализации переменных, по методам и т.д.