1.2 Вербальная постановка задачи выбора студенческого педагогического отряда г. Оренбурга

Среди всех студенческих отрядов давно прогладывается конкуренция и поэтому в сентябре состоялся конкурс на звание «Лучший Педагогический Отряд»,

На этом мероприятии были предложены следующие факторы:

• Тематичекская смена (Год истории России)

• Игра с залом

• Заочный этап (документация)

• Визитка

• Творческий номер

• Буффонадо

• Оригинальный жанр

• Костюмы

• Танец

• Видеоконкурс

• Эмблема

• Гимн отряда

Которые помогли выявить лучший отряд из таких как СПО «Выше крыши», СПО «Ориентир», СПО «Крылья».

Целью конкурс является повышение профессионального уровня вожатых, выявления новых способов работы с подростками, обмен опытом и, конечно же, выявление лучшего педагогического отряда.

В течение всего конкурса 6 судей оценивали студенческие отряды по вышеперечисленным критериям.

Им было предложено оценить факторы, в присваивая им ранги от 1 до 12. Задача выявления факторов, влияющих на выбор лучшего педагогического отряда, представляет собой трудноформализуемую задачу, для решения которой можно применять методы экспертных оценок.

В жюри были приглашены одни из самых лучших социальных деятелей

1. Белянина Анастасия (экс-командир СПО «Молния»)

2. Марина Молчанова (комиссар штаба «Созвездие»)

3. Денис Кривцов (командир областного штаба)

4. Сергей Молчанов (председатель областного штаба)

5. Ирина Останина (директор департамента молодёжной политики Оренбургской области)

6. Алексей Кривошапкин (старик отряда)

3 Краткие сведения о методах экспертных оценок

3.1 Сущность метода экспертных оценок

Метод экспертных оценок представляет собой метод прогнозирования, основанный на достижении согласия группой экспертов. Эксперты (от латинского "expertus" - опытный) – это лица, обладающие знаниями и способные высказать аргументированное мнение по изучаемому явлению. Процедура получения оценок от экспертов называется экспертизой. Характерными особенностями метода экспертных оце­нок как научного инструмента решения сложных нефор­мализуемых проблем являются, во-первых, научно обо­снованная организация проведения всех этапов экспер­тизы, обеспечивающая наибольшую эффективность работы на каждом из этапов, и, во-вторых, применение ко­личественных методов, как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов. Для получения конечного результата (экспертных оценок) используют анкетные методы и методы групповой экспертизы.

Методы опроса и обработки основываются на использовании принципа «хорошего» измерителя. Данный принцип означает, что выполняются следующие гипотезы:

• эксперт является хранилищем большого объема ра­ционально обработанной информации, и мо­жет рассматриваться как качественный источник инфор­мации;

• групповое мнение экспертов близко к истинному ре­шению проблемы.

Если эти гипотезы верны, то для построения проце­дур опроса и алгоритмов обработки можно использовать результаты теории измерений и математической стати­стики.

Метод экспертных оценок включает в себя три составляющие.

Во-первых, интуитивно-логический анализ задачи, который строится на логическом мышлении и интуиции экспертов, основан на их знании и опыте. Этим объясняется высокий уровень требований, предъявляемых к экспертам.

Во-вторых, решение и выдача количественных или качественных оценок. Эта процедура представляет собой завершающую часть работы эксперта. Им формируется решение по рассматриваемой проблеме и дается оценка ожидаемых результатов.

В-третьих, обработка результатов решения. Полученные от экспертов оценки должны быть обработаны с целью получения итоговой оценки проблемы. В зависимости от поставленной задачи изменяется количество выполняемых на этом этапе расчетных и логических процедур. Для обеспечения оперативности и минимизации ошибок на данном этапе целесообразно использование вычислительной техники.

В условиях недостаточно полной и недостоверной информации методы экспертных оценок дают вполне приемлемые результаты. В настоящее время, характеризующееся ускорением научно-технического прогресса, появлением новых проблем организационного, технического, экономического, социально-психологического плана, сфера применения метода расширяется.

Достоинствами этого метода являются:

• простота организации;

• использование статистической обработки;

• возможность охвата больших групп.

Также имеют место следующие недостатки:

• неполнота ответов;

• субъективный фактор опрашиваемых;

• возможность неправильного понимания вопросов.

Область применения метода экспертных оценок весь­ма широка. Данный метод применим:

• в социально-политическом прогнозировании;

• в научно-техническом прогнозировании;

• в планировании народного хозяйства;

• в разработке крупных экономических, политических и социальных программ.

3.2 Сущность экспертного ранжирования

Ранжирование предполагает расстановку объектов измерений или показателей качества в порядке их предпочтения или важности [18]. Для этого экспертам предлагают проранжировать (упорядочить) параметры в порядке возрастания важности, то есть минимальный ранг а_ij = 1 получает наименее важный показатель, следующий, наименее важный из оставшихся, получает ранг а_ij = 2 и так далее. Наиболее важному показателю присваивается ранг n. Часто в процессе экспертного опроса возникает ситуация, когда эксперт не может провести чёткого разграничения между двумя или несколькими членами ряда. В таком случае вводятся «связанные ранги». Степень согласованности экспертов (коэффициент конкордации W) определяется по результатам ранжирования.

Исследуемые объекты, проблемы или явления можно опознать или разли­чать на основе присущих им факторов.

Фактор — это свойство элемента объекта, которое позволяет на мно­жестве, состоящем, по крайней мере, из двух элементов, отражать различ­ные уровни некоторых подлежащих рассмотрению величин. Каждый фактор, выражая определенное свойство элемента объекта, одновременно является оценкой отношения к данному свойству со сторо­ны принимающего решение.

Уровень одних факторов может быть выражен количественно (в руб­лях, процентах, тоннах и т.д.). Такие факторы называются количественны­ми. Уровень же других нельзя выразить с помощью числа и их обычно называют качественными.

При решении многих практических задач часто оказывается, что фак­торы, определяющие конечные результаты, не поддаются непосредствен­ному измерению. В этих случаях применяется процедура ранжирования.

Ранжирование может применяться в следующих ситуациях:

• при необходимости упорядочить какие-либо явления (объекты) во времени или пространстве. Это ситуация, когда интересуются не сравнени­ем степени выраженности какого-либо их качества, а лишь взаимным про­странственным или временным расположением этих объектов (явлений);

• при необходимости упорядочить объекты в соответствии с каким-либо ка­чеством, но при этом не требуется производить его точное измерение;

• когда какое-либо качество в принципе измеримо, однако в настоя­щий момент не может быть измерено по причинам практического или теоретического характера.

Под ранжированием понимают процедуру расположения факто­ров x_i (i = 1, …, n) в порядке их существенности: на первом месте стоит наиболее существенный, следом за ним менее существенный, но самый важ­ный из оставшихся и т.д.

Ниже рассмотрена сущность экспертного ранжирования на примере ранжи­рования входов и выходов объекта управления.

Но прежде, чем производить селекцию входов, необходимо их проранжировать по степени их влияния на реализацию цели управления объектом. Это означает, что каждому входу x_i (i = 1, …, n) следует поставить в соответствие некоторое целое число k_i - его ранг:

x_i  k_i (i = 1, …, n),

где единичный ранг (k_i = 1) имеет вход, влияющий наибольшим образом на реализацию цели управления. Второй ранг (k_i = 2) и другие имеют входы, влияющие не столь существенно, как единичный. Здесь индексы при рангах определяют номер ранжированного входа от первого до n-го. Можно расположить теперь входы в порядке возрастания их рангов:

x_i1, x_i2, …, x_in , (3.1)

где индекс i_j равен номеру фактора с рангом j.

Этот ряд называют ранжированным рядом. Здесь на первом месте стоит самый существенный вход (его порядок i₁,), а далее следуют остальные, в порядке уменьшения их влияния на цели управле­ния. Теперь, если в модели следует по каким-то соображениям оставить лишь q входов, ими будут факторы с номерами от i₁, до i_q, т.е. имеющие q рангов.

Составить ранжированную последовательность можно с помощью спе­циалистов-экспертов, имеющих представление о будущем алгоритме уп­равления этим объектом. С помощью экспертов составляется последова­тельность

k₁, k₂, …, k_n, (3.2)

где k_i - ранг i-го входа х_i. Построить из нее ранжированный ряд (3.1) не представляет труда.

Процедура ранжирования управляющих воздействий U = (u₁, ..., u_q) и выходов объекта Y = (у₁, ..., у_q) аналогична рассмотренной выше.

При ранжировании эксперт должен расположить объекты (альтерна­тивы) в порядке, который представляется ему наиболее рациональным, и приписать каждому из них числа натурального ряда - ранги. При этом ранг 1 получает наиболее предпочтительная альтернатива, а ранг N — наименее предпочтительная.

Следовательно, порядковая шкала, получаемая в результате ранжиро­вания, должна удовлетворять условию равенства числа рангов N числу ран­жируемых объектов n.

Бывает так, что эксперт не в состоянии указать порядок следовании для двух или нескольких объектов либо он присваивает разным объектам один и тот же ранг, и в результате число рангов N оказывается не равным числу ранжируемых объектов n. В таких случаях объектам приписывают гак называемые стандартизированные ранги. С этой целью общее число стан­дартизированных рангов полагают равным n, а объектам, имеющим оди­наковые ранги, присваивают стандартизированный ранг, значение которого представляет среднее от суммы мест объектов с одинаковыми рангами, деленной на натуральное число, которым выражен ранг.

Пусть, например, шести объектам (альтернативам, факторам) присвоены следующие ранги:

i	1	2	3	4	5	6
xi	1	2	3	3	2	3

Тогда объектам 2 и 5, поделившим между собой второе и третье места, приписывается стандартизированный ранг S = (2 + 3) / 2 = 2,5, а объектам 3, 4 и 6, поделившим 4, 5, 6-е места, приписывается стандартизированный ранг S=(4 + 5 + 6) / 3 = 5. В итоге получают следующую ранжировку:

i	1	2	3	4	5	6
xi	1	2,5	5	5	2,5	5

Таким образом, сумма рангов S_N, полученная в результате ранжирова­ния n объектов, будет равна сумме чисел натурального ряда, т.е.

. (3.3)

Когда ранжирование производится несколькими (m) экспертами, то сначала для каждого объекта подсчитывают сумму рангов , полученную от всех экспертов, а затем исходя из этой величины устанавли­вают результирующий ранг для каждого объекта. Наивысший (первый) ранг присваивают объекту, получившему наименьшую сумму рангов, и наоборот, объекту, получившему наибольшую сумму рангов, присваива­ют самый низкий ранг N. Остальные объекты упорядочивают в соответ­ствии со значением суммы рангов относительно объекта, которому при­сваивается первый ранг.

Точность и надежность процедуры ранжирования в значительной сте­пени зависят от количества объектов. В принципе, чем таких объектов мень­ше, тем выше их "различимость", с точки зрения эксперта, а следователь­но, тем более надежно можно установить ранг объекта. Однако количество ранжируемых объектов n не должно быть больше 20, а наиболее надежна эта процедура, когда n < 10.

Одним из методов, обеспечивающих более четкое разли­чие между факторами, является метод непосредственной оценки и некоторые его модификации.

3.3 Метод непосредственной оценки

Метод непосредственной оценки состоит в том, что диапазон изменения какой-либо качественной переменной разбивается на несколько интерва­лов, каждому из которых присваивается определенная оценка, на­пример от 0 до 10.

Шкала оценок может быть не только положительной, а, например, включать в себя диапазон с интервалом оценок от -3 до +3. Задача эксперта заключается в помещении каждого из рассматриваемых объектов (факторов) в определенный оценочный интервал либо в соот­ветствии со степенью обладания тем или иным свойством, либо в соответ­ствии с предположениями эксперта об их значимости. Надо заметить, что число интервалов, на которые разбивается весь диапазон изменения качества, не обязательно должно быть одинаково для каждого эксперта. Кроме того, каждому эксперту разрешается давать одну и ту же оценку двум (или не­скольким) качественно различным факторам.

В некоторых случаях оказывается удобно для выбора наиболее предпочтительного фактора сначала произвести оценку, а затем - ранжирование. Пусть, например, m экспертов оценили (по шкале от 0 до 100) k направлений исследований с точки зрения важности их для достижения определенной цели.

Для того, чтобы проранжировать эти оценки, приписывают каждому из направлений число натурального ряда таким образом, чтобы ранг 1 был приписан максимальной оценке, а ранг k – минимальной, как отображено в таблице 3.1.

Таблица 3.1 – Перевод оценок в ранги

Направление Исследований	а	B	c	d	е	f	G	h	K
Оценка	40	30	80	90	20	100	60	70	50
Ранг	7	8	3	2	9	1	5	4	6

В ряде случаев суммарные оценки рангов нормируются. Нормирование любой меры означает, что представляющее ее число для всего множества и целом принимается равным единице. Нормирование позволяет установить более тесную связь между оценками, приписанными экспертами отдель­ным объектам. С этой целью оценки по всем объектам суммируются, и затем каждая из них делится на полученную сумму. Рассчитанные таким образом нормированные оценки могут быть вновь проранжированы.

Когда в экспертизе участвуют несколько экспертов, обычно стремятся получить усредненную оценку (вес) для каждого объекта. Для этого норми­рованные оценки каждого объекта суммируются, а затем полученная сумма делится на число экспертов.

При наличии нескольких факторов, по которым следует оценить каж­дый из объектов, средняя оценка (вес) каждого объекта может быть рас­считана по формуле:

, (3.4)

где w_ij - вес i-го объекта, подсчитанный по оценкам всех экспертов;

n - число факторов;

m - число экспертов.

, (3.5)

где х_ij - оценка фактора i, данная экспертом j.

Другой способ установления зависимости между оценками факторов (объектов, характеристик) состоит в том, что важнейшему (с точки зре­ния экспертов) фактору назначается оценка (вес), равная наперед задан­ному числу (обычно 1 или 10), а оценка следующих друг за другом по важности факторов определяется последовательно, как доля более важного. Полученные таким образом значения нормируются.

Основное достоинство такого способа в облегчении процесса выбора оце­нок, поскольку эксперту не нужно каждый раз сопоставлять весь их ряд, а лишь учитывать значение первой и предыдущей по важности оценок. Оцен­ки, полученные от группы экспертов, могут быть усреднены для каждого фактора путем расчета средней арифметической.

В случаях, когда группа, состоящая из нескольких экспертов, оценива­ет ряд факторов, причем у каждого из экспертов имеется своя шкала пред­почтений, для нахождения усредненной оценки каждого фактора может быть рекомендована следующая методика.

Шаг 1. Составляется матрица «эксперты — факторы», в которой проставля­ются полученные от каждого эксперта оценки факторов по шкале от 0 до 10 (для примера представлено, что два эксперта оценили шесть факторов так, как показано в таблице 3.2).

Таблица 3.2 - Оценка факторов

Эксперт	Фактор
	i1	i2	i3	i4	i5	i6
1 2	10 8	7 6	9 10	3 4	4 2	5 7

Шаг 2. Рассчитывается относительная значимость (W_ij) всех факторов, в отдельности для каждого эксперта. С этой целью оценки, полученные от каждого эксперта, суммируются (по горизонтали), а затем нормируются:

W₁₂ = 8/37

W₂₂ = 6/37

W₃₂ = 10/37

W₄₂ = 4/37

W₅₂ = 2/37

W₆₂ = 7/37

W₁₁ = 10/38

W₂₁ = 7/38

W₃₁ = 9/38

W₄₁ = 3/38

W₅₁ = 4/38

W₆₁ = 5/38

Шаг 3. Вычисляется усредненная оценка, данная всеми экспертами каждому фактору. Для этого нормированные оценки, полученные в предыдущем шаге, суммируются (по вертикали).

Затем рассчитывается средняя ариф­метическая для каждого фактора:

3.3.4 Использование методов ранговой корреляции для обобщения экспертных оценок

Начало применения математико-статистических приемов для изучения корреляционных зависимостей относится к 70 годам 19-го столетия. Многие историки - статистики историю развития теории корреляции ведут от сороковых годов 19-го столетия - от того времени, когда французский математик О.Браве предложил формулу для распределения двух случайных величин, удовлетворяющих требованиям закона нормального распределения.

Однако истинным основателем корреляционной теории считается английский математик - статистик К.Пирсон, создавший в конце девятнадцатого начале двадцатого веков данную теорию. В ней корреляция выступает как форма диалектической связи, при которой действует множество различных причин, как необходимых, так и случайных, как общих для обеих корреляционных величин, так и частных, влияющих только на одну из них. Причем, не все закономерные связи - причинные.

Развитие теории осуществлялось с помощью других исследователей, когда основные положения теории корреляции были уже созданы. Одними из таких исследователей были российские математики Б.И. Срезненский и А.А. Чупров.

Основой формирования способов изучения корреляций и регрессий были данные, характеризующие какие – либо количественно выраженные признаки.

Изучение корреляции качественных признаков породило в общем учении о корреляции так называемую теорию рангов и основанную на ней теорию ранговой корреляции. Английский статистик М.Кендалл, автор монографии, посвященной проблемам ранговой корреляции, указывал, что теория рангов впервые возникла как ответвление теории случайных процессов. На начальной стадии в рангах чаще всего видели просто удобный аппарат, благодаря которому удается обойтись без измерения абсолютной величины переменных и тем самым сэкономить время и усилия.

Позднее статистика рангов смогла завоевать признание благодаря своим собственным достоинствам. Начало исследованию вопроса об измерении тесноты корреляции рангов было положено английским статистиком и психологом Ч. Спирменом. Затем М. Кендалл сконструировал показатель, который применим и для изучения частной корреляции между рангами. Современную теорию ранговой корреляции невозможно представить без наиболее полно ее освещающих исследований М.Кендалла.

Таким образом, уже к началу двадцатого столетия математико - статистические методы измерения корреляций и регрессий сложились, в общем, в достаточно стройную целостную систему, включающую в себя методы непараметрической статистики и непараметрические ранговые методы.

Методы непараметрической статистики уже доказали свою широкую применяемость, важность и актуальность.

Непараметрическими называются такие методы, которые не предназначены специально для какого-нибудь параметрического свойства распределений и не использует его свойства. Благодаря этому непараметрические методы имеют более широкую область применения.

Классические статистические методы, предназначенные для результатов измерений, хотя и основаны на предположении о нормальности, часто относительно не чувствительны к отклонениям от нее.

Непараметрические методы были построены специально для того, чтобы обходиться вовсе без этого предположения, причем они широко применимы и просты в работе]. Более того, непараметрические методы обладают высокой степенью эффективности по сравнению с классическими при наличии нормальности, а также и в других ситуациях.

Важной задачей статистики является разработка методики статистической оценки разных явлений, которые не имеют качественной оценки. В этом случае говорят о качественной оценке явлений.

Для определения тесноты связи качественных признаков применяют коэффициенты ассоциации Д. Юла, контингенции К. Пирсона, коэффициенты взаимной сопряженности Пирсона и Чупрова.

Непараметрические ранговые методы – это бурно развивающаяся область математической статистики. История современных непараметрических методов, основанных на рангах, довольно коротка – всего лишь около 40 лет. Ранговые методы выделились в особое направление непараметрической статистики не только вследствие природы исходного материала, но и по идеям его дальнейшего использования.

Сегодня этими методами решаются многочисленные задачи анализа экономических, статистических, инженерных, естественнонаучных, социологических, медицинских данных. В последнее время в прогнозировании и при решении ряда других задач стали широко применяться экспертные оценки. Методы ранговой корреляции в этой области являются едва ли не единственным путем обобщения экспертных оценок. В анализе различных, в том числе социально - экономических явлений часто приходится прибегать к различным, условным оценкам с помо­щью рангов, а взаимосвязь между отдельными признаками изме­рять с помощью непараметрических коэффициентов связи.

Среди непараметрических методов оценки тесноты связи наибольшее значение имеют ранговые коэффициенты Спирмена и Кендалла.

Таким образом, коэффициенты ранговой корреляции применяются для оценки тесноты связи между количественными признаками, качественными признаками, значения которых могут быть упорядочены. Достоинство коэффициентов заключается в том, что нахождение этих коэффициентов не требует нормального распределения переменных, линейной связи между ними.

В практике статистических исследований встречаются случаи, когда совокупность объектов характеризуется несколькими последовательностями рангов и необходимо установить статистическую связь между несколькими переменными. Такие задачи возникают, например, при анализе экспертных оценок, когда необходимо установить меру их согласованности. В качестве такого измерителя используют коэффициент конкордации (согласованности) рангов Кендалла, определяемый по формуле:

, (3.6)

где S – рассчитывается по формуле (3.7);

m – число анализируемых порядковых переменных;

k – число объектов.

, (3.7)

где r_ij – расставленные ранги.

В некотором смысле W служит мерой общности суждений группы экспертов. Значения коэффициента конкордации заключены на отрезке [0;1]. Увеличение коэффициента от 0 к 1 означает проявление большей согласованности суждений. Если все эти суждения совпадают, то W = 1.

Проверка значимости коэффициента основана на том, что в случае справедливости нулевой гипотезы об отсутствии корреляционной связи статистика m×(k - 1) ×W имеет приближенно  ² – распределение с f = k – 1 степенями свободы. Поэтому коэффициент конкордации значим на уровне , если m ×(k – 1)×W > ²_{, f}.