3. Надежность измерения

От валидности нужно отличать надежность измерения. Надежность измерения означает устойчивость во времени результатов измерения.

То есть надежность означает, что измерения свойств одного и того же объекта в разное время дают одни и те же значения. Если получаются различные значения, это означает, что измерение ненадежно.

Можно провести следующую аналогию: линейка ненадежна, если в разное время показывает, например, в зависимости от температуры воздуха, различные размеры одного и того же объекта, который на самом деле все время оставался тем же самым.

Между надежностью и валидностью имеется следующее отношение. Если измерение ненадежно, то оно и невалидно, потому что несовершенный инструмент не может показывать то, что есть на самом деле.

Измерение может быть надежным, но не валидным. Допустим, мы раз в месяц интересуемся у работников при помощи открытого голосования, как они оценивают работу своего начальника. И каждый раз все 100% опрашиваемых голосуют за оценку «отлично». Таким образом, получаются одни и те же результаты, и измерение вроде бы надежно. Но невалидно, потому что используемый способ измерения не позволяет определить, что люди реально думают о работе начальника.

В советском обществе, в 30-е годы, в конце партийного собрания скромный человек в президиуме вставал и говорил «Да здравствует товарищ Сталин!», и все хлопали в ладоши 20 минут, пока тот же человек и не говорил, достаточно, товарищи коммунисты. Через эти 20 минут измерялась любовь к товарищу Сталину. Измерение получалось вполне надежным, потому что каждый раз повторялись эти же 20 минут. А тот, кто переставал хлопать в ладоши раньше, оказывался, как очень быстро устанавливали соответствующие органы, японским шпионом, который много лет ловко притворялся честным человеком.

Но если измерение валидно, то оно и надежно. А вот если надежно, то необязательно валидно. Это как в высказывании «Если идет дождь, то асфальт мокрый». Но необязательно будет истинно наоборот: «Если асфальт мокрый, то шел дождь». Потому что могла пройти поливальная машина.

В надежности измерения часто бывает очень сложно убедиться. Дело в том, что сами люди могут изменять свое мнение под влиянием опыта или обстоятельств. Трудно отделить воздействие ошибок измерения от действительных колебаний измеряемых объектов.

Имеются два способа установления надежности измерений. Первый – это метод неоднократного тестирования. В этом случае одно и то же измерение применяется несколько раз к одним и тем же объектам. Если получаются одни и те же данные, измерение надежно. Однако сложность состоит в том, что люди могут помнить свои прежние ответы и будут стараться их повторять, независимо от того, что они на самом деле в данный момент думают. Эта зависимость от прежних ответов называется тест-эффект. Чтобы избежать тест-эффекта, необходимо приступать к повторному опросу лишь после значительного промежутка времени. Однако тогда мнения людей могут измениться из-за изменений реальности, и мы не сможем отличить изменения из-за ненадежности измерения от изменений того, что измеряется.

Поэтому практикуется второй способ, который можно подразделить на два приема. Первый прием состоит в том, что в одно и то время к одной и той же группе людей применяются разные, но сходные способы измерения. Это делается так: в разных местах анкеты ставятся близкие по смыслу, но отличающиеся по форме вопросы, и если ответы на эти вопросы однотипны, то измерение надежно.

Второй прием: одно и то же измерение применяется к разным подгруппам людей одной группы. И если ответы подгрупп на один и тот же вопрос однотипны, то измерение надежно.

Таким образом, исключается тест-эффект. Однако все зависит от того, насколько близки по смыслу различные вопросы и действительно ли подгруппы достаточно однотипны. Чтобы добиться такой однотипности, необходимо подбирать подгруппы из достаточно большой исходной совокупности респондентов, а это не всегда возможно¹.

При использовании первого приема тоже могут возникнуть проблемы. В одном исследовании психологического климата на заводе в анкете повторялся два раза в несколько измененном виде вопрос об отношении к руководству. И получилось, что на первый вопрос ответы были в основном положительными, а на второй вопрос − в основном отрицательными. Пришлось побеседовать с людьми и признаться в своем недоумении. Работники пояснили, что в первом случае они истолковали вопрос как отношение к начальнику цеха, к которому они относятся в целом положительно, а во втором случае − как отношение к директору завода, к которому они относились за его грубость не очень хорошо. Эта двойственность ответов говорила все же о ненадежности анкеты.

В том, что измерение надежно, нужно убедиться до начала сбора основного массива данных. Это требует пробного тестирования данного способа измерения в ходе пилотажного исследования.

Пилотажное исследование является необходимым в том случае, когда используются способы измерения, еще не обкатанные в ранее проведенных исследованиях. Но чаще всего исследования проводятся на основе готовых, ранее разработанных и опробованных методик. Тогда остается только провести опрос и обработать полученные данные.