Апробация и доработка инструментария

После подготовки первого варианта, собственно, и начинается работа, необходимая для разработки инструментария, пригодного для получения качественной информации. В методической литературе этот этап принято называть апробацией анкеты или пилотажным исследованием. Речь идет о микромодели крупномасштабного исследования, по которой опрашивается несколько десятков респондентов, и на основании анализа их ответов вносятся коррективы в анкету или в инструкцию к опросу.

Поскольку эта работа требует дополнительных сил, времени, средств и ресурсов, то исследователи очень часто вообще отказываются от проведения этого этапа (правда, чаще всего об этом скромно умалчивают).

Однако между повышенными академическими требованиями, не учитывающими жизненных реалий, и широко распространяющейся, ничем не обоснованной и не выдерживающей никакой профессиональной критики практикой существует компромиссный путь завершения работы над инструментарием. Он заключается в соблюдении следующих правил.

1. Анкета должна «отлежаться». Первый вариант анкеты, даже если он не вызывает никаких сомнений у разработчиков, не следует сразу же тиражировать. Необходимо время, чтобы проявились латентные (не всегда осознаваемые) творческие возможности участников исследования, которые были инициированы первым форсированным этапом работы. Психологический механизм творческой работы таков, что исследователь, даже завершив какой-либо этап работы, осознанно или неосознанно возвращается к анализу поставленной проблемы. Во-первых, в голову приходят новые дополнительные варианты редакции вопросов или возможных показателей, неучтенные факторы и т.п. Во-вторых, перечитывая еще и еще раз анкету, исследователь может сам обнаружить ошибки, которые не были замечены в процессе подготовки первоначального варианта, когда внимание распределяется и на содержательную часть, и на возможности верификации, и на особенности формулировок, и на порядок вопросов и т.п. элементы работы над инструментарием.

2. Исследователь должен своими глазами увидеть «живую реакцию» потенциальных респондентов на разработанный инструментарий. Другими словами, он должен сам по подготовленной анкете опросить несколько человек, чтобы увидеть, как «работают вопросы». В качестве таких респондентов могут выступать родственники или знакомые. В определенном отношении хорошо знакомых людей даже лучше опрашивать на этом этапе работы, так как они в меньшей степени реагируют на самого «интервьюера», не стесняются переспросить в том случае, если не понимают смысл вопроса, высказать критические замечания и т.п.

В последующей доработке анкеты исследователь, естественно, будет учитывать не каждое замечание «человека с улицы», тем не менее, кроме отдельных полезных для себя наблюдений, он может установить некоторые типичные реакции, которые необходимо учесть или в самой анкете, или в инструкции интервьюерам.

Такие пробные интервью позволяют также убрать из анкеты «неработающие» вопросы и дополнить полузакрытые вопросы, если в вариативном вопросе вариант «другой ответ» выбирают более 5% опрошенных всеми соисполнителями. «Неработающими» считаются вопросы, не позволяющие дифференцировать респондентов, например, если на какой-либо вопрос более 80% опрошенных дают один и тот же ответ.«Неработающими» также считаются вопросы, на которые более половины людей затрудняются ответить.

Кроме того, апробацию проходят формулировки, которые при обсуждении анкеты ряду соисполнителей казались сомнительными с точки зрения возможности их восприятия «простыми людьми». Нередко предварительно проведенные опросы показывают: то, что кажется слишком трудным для понимания самим социологам, не вызывает трудностей и негативных реакций у опрашиваемых людей.

3. Анкета должна пройти неформальную экспертизу. Неформальная экспертиза инструментария коллегами-социологами часто бывает полезнее официальных обсуждений. Во время формального обсуждения эксперт может, во-первых, из соображений гуманного характера не высказать все критические замечания, а во-вторых, не выносить на всеобщее обсуждения вещи, которые вызывают у него сомнения, но он не полностью уверен в своей позиции, в-третьих, высказав свою точку зрения публично и вполне официально, эксперт в определенной степени чувствует необходимость ее отстаивать даже тогда, когда под влиянием аргументов автора в глубине души уже не полностью уверен в своей правоте. Неформальная же просьба к коллеге посмотреть инструментарий и высказать свои замечания позволяет эксперту в полном объеме высказать все замечания и указать на обнаруженные им ошибки. Естественно, не все замечания и предложения коллег будут полностью приняты. Но, по крайней мере, у авторов анкеты возникнет необходимость либо более аргументированно остановиться на первоначальном варианте, либо с благодарностью за затраченные усилия исправить незамеченную в первоначальном хаосе работы ошибку. Поэтому мы настоятельно рекомендуем подготовленную анкету «подсовывать» коллегам, имеющим опыт подобной работы.

Именно на этот второй этап работы над анкетой не следует жалеть времени: 1-2 недели должны быть потрачены на то, чтобы избавиться от всех возможных ошибок и погрешностей, которые неизбежно возникают на первом этапе в силу специфики этой работы, отличающейся многоуровневым распределением внимания.

На заключительном этапе — перепечатке окончательного варианта особое внимание необходимо уделить вычитыванию (корректуре) тех частей анкеты, где были сделаны содержательные исправления.

Даже анкеты, подготовленные в оперативном порядке для экспресс-опросов, при проведении которых нет времени выдерживать необходимую технологию, следует задним числом (в период сбора информации) подвергнуть прохождению той же процедуры, чтобы по крайней мере при анализе результатов была возможность учесть погрешности в качестве инструментария.

Лекция 3.

Выборка: определение выборочной совокупности

1. Понятие и проблемы формирования выборки

Основные проблемы

Выборочный подход возник в качестве альтернативы сплошному опросу, наиболее типичными примерами которого являются перепись населения и референдум.

В практике эмпирических социологических исследований сплошные опросы проводятся крайне редко: в основном в локальных исследованиях, когда объект исследования представлен небольшой группой людей (одно предприятие и т.п.).

Основной особенностью опросов общественного мнения является то, что обычно опрашивается небольшая часть какой-то группы населения, а выводы делаются обо всей группе. Какое соотношение должно быть между этой группой в целом и той частью группы, от которой фактически и была получена информация, — основная проблема выборки.

Когда специалист и неподготовленный читатель смотрят на одни и те же цифры, отражающие результаты опроса населения, они «видят» их во многом по-разному.

Если человек, не обладающий достаточными социологическими знаниями, знакомясь с результатами опроса общественного мнения, видит, что, допустим, на вопрос «Одобряете ли Вы политику президента в области проведения экономических реформ?» 31% ответили «Да», 43% «Нет», а 26% — «Затрудняюсь ответить», то он каждую цифру переносит на все население буквально. Специалист эти данные «читает» примерно следующим образом: «Да» ответили 31% (плюс-минус 3% или плюс-минус 5%, или плюс-минус 10% и т.д.). Под этим подразумевается, что если бы на данный вопрос отвечала не часть населения, которая была опрошена, а все население, то полученный результат с определенной вероятностью находился бы в указанных пределах.

Величина, которая определяет в данном случае разброс возможного значения данных, полученных в результате опроса, называется допустимой ошибкой выборки, которую всегда необходимо учитывать, когда данные опроса части населения переносятся на население в целом.

Величина ошибки выборки зависит от ряда условий, и при строгом соблюдении процедуры формирования выборки эту величину можно вычислить. Без учета ошибки выборки полученные результаты можно относить только к тем людям, которые непосредственно были опрошены. Понятно, что проектируя выборку, исследователь стремится снизить величину ошибки. Для этого ему необходимо ясно представлять себе те проблемы, которые возникают на пути отбора респондентов, и знать различные способы, позволяющие снизить величину ошибки, а также избежать погрешностей, которые приводят к возникновению неучтенных ошибок.

Неучтенные ошибки и погрешности в ее решении обычно приводят к искажению информации в целом. Ярким примером влияния особенностей выборки на полученную в результате опроса информацию может служить публикация в газете «Советская Россия» (3 октября, 1992) — «Мы тоже провели опрос».