§7.2. Наблюдения и эксперименты над исследуемой системой

Довольно часто при системном исследовании возникает необходимость в постановке и проведении экспериментов. Отношение между экспериментом и теоретической моделью двоякое. С одной стороны, эксперимент позволяет проверить и при необходимости уточнить модель, т.е. является источником информации для моделирования. С другой стороны, модель диктует, какой именно эксперимент следует проводить, т.е. модель является источником информации для организации эксперимента. Поэтому место данного этапа системного анализа в общем алгоритме исследований может варьироваться, и также же, как и предыдущий этап, данный этап отнесен к заключительным несколько условно, хотя очень часто он действительно является одним из завершающих.

При проведении экспериментов системному аналитику важно помнить несколько моментов. Во-первых, любые эксперименты должны проводиться с обязательным участием прямых специалистов в данной исследуемой области, поскольку сам аналитик очень часто оказывается не прямым специалистом. При этом он не должен ограничиваться лишь ролью заказчика на выполнение эксперимента. Одной из его задач, наряду с верной постановкой целей опытов, контролем их качества, становится правильное извлечение информации из результатов наблюдений и измерений.

Современное понимание измерений стало шире классического, предусматривающего лишь количественные и однозначные измерения. Они могут носить и качественный характер, причем сами измерения обычно сопровождаются неизбежными погрешностями, а интересующая нас величина часто не наблюдаема и поддается лишь косвенным измерениям. Сами протоколы наблюдений представляют собой род статистических данных. Их же обработка и анализ сопряжены с рядом «ям» и «ловушек». Существует даже мнение, что с помощью статистики можно доказать все, что угодно («Есть три вида лжи - просто ложь, наглая ложь и статистика»). Поскольку со статистическими данными системному аналитику приходится иметь дело довольно часто, то рассмотрим основные правила «статистической техники безопасности».

1. Статистический вывод по своей природе случаен, он может иметь высокую надежность и точность, но никогда не может быть абсолютно достоверным. Это связано с тем, что исходные статистические данные уже сами по себе содержат ошибку и отклонение о точного значения (разброс в результатах любого эксперимента), поскольку получены в совокупности с другими, неконтролируемыми факторами. Часто неверные методы обработки еще увеличивают эту ошибку. А сколько случаев намеренной фальсификации данных! В практике же мы сплошь и рядом слышим, как статистическому выводу придается статус безошибочного практического руководства.

2. Следующий, более сложный случай - добросовестное заблуждение относительно статистичности серии наблюдений. Например, при проведении экспериментов часто полагаются на паспортные характеристики аппаратуры, ввиду невозможности их проверки. Реальные же характеристики могут быть и иными. Данные же, полученные на такой аппаратуре, обрабатываются в дальнейшем без всяких оговорок.

3. Утрата ожидаемого качества статистических решений может быть следствием использования процедуры, не соответствующей действительному уровню исходной информации. Так, бессмысленно проводить математические операции, скажем, с порядковыми номерами опытов. Известен показательный пример из практики руководства. На доменную печь, дававшую 100 000 т стали и обслуживаемую бригадой из 10 чел., установили новое оборудование. Печь начала давать 120 000 т стали, а обслуживающая бригада сократилась до 8 чел. Налицо увеличение выпуска продукции на 20%. Однако, руководство для получения дополнительных премий выдало начальству следующее: ранее производительность печи составляла 100 000/10=10 000 т/чел, а после установки оборудования - 120 000/8=15 000 т/чел, т.е. выпуск продукции возрос на целых 50%!

4. Довольно часто наблюдается и неверная содержательная интерпретация верных статистических выводов. Так, одно из английских статистических исследований прошлого века установило, что главным фактором, влияющим на различие в урожайности клевера в соседних деревнях, было ... число старых дев. Авторы были обвинены в бесполезной растрате отпущенных на исследование средств, Потом же выяснилось, что английские старые девы держат по несколько кошек, а мыши любят разорять гнезда шмелей - основных опылителей клевера.

Таким образом, мы видим необходимость осторожного и умелого обращения со статистическими данными.