1.5.1 Использование статистического анализа при обработке массивов данных

Хорошая оснащенность металлургии средствами измерения и сбора информации по всей технологической цепочке позволяет собирать огромное количество данных. В некоторых случаях число управляющих параметров технологии в рамках только одного передела может достигать сотен и даже тысяч штук. Полученные данные легко формируются в базы, которые в дальнейшем можно подвергнуть анализу.

На данный момент использование статистических методов обработки данных стали привычным и широко распространенным аппаратом для инженеров и ученых металлургического производства при оценке результатов механических испытаний, химического состава стали, температурно-деформационных параметров и др. Работа в металлургии связана с исследованиями производственных процессов и технологий, поэтому инженеру важно видеть технические проблемы; выявлении их причин; формулировке гипотез, их проверке с помощью инженерного эксперимента, наблюдения или на основе анализа технических данных и фактов; в выборе из ряда гипотез наиболее рациональной, отвечающей нуждам производства и последующего внедрения их в производственный процесс [20].

1.5.2 Использование непараметрической статистики, приемов когнитивной графики и различных нетривиальных методов

Непараметрическая статистика – это статистические технические приемы, которые не дозволяют специальных функциональных конфигураций для взаимоотношений между переменными. Ранговая корреляция двух переменных является тому примером. Эксплуатация сродных технических приемов подходит лишь тогда, когда наличествует причина ожидать, что отношение имеет монотонный характер, и их трудно использовать к взаимоотношениям между несколькими переменными. Фактически для каждого параметрического метода существует непараметрический аналог. Помимо аналогов в непараметрической статистике наличествует большое количество уникальных сочетаемых методов [24].

Помимо непараметрических методов, иногда целесообразно использовать нетривиальные методы и методы когнитивной графики.

1.5.2.1 Непараметрические критерии согласия

Задача об обоснованности использования того или иного статистического критерия представляется весьма значимым с точки зрения методологии исследования, метод функционалов содействует прояснению этой сложной задачи. Полиморфия статистик, подходящих для решения каждой отдельной задачи, обусловлено не только тем, что заданное различие может быть сформулировано не единственным функционалом, но и тем, что одно и то же концепция распределения может быть оценена несколькими способами. Например, плотность в непараметрическом случае может быть оценена гистограммой, оценкой Розенблатта—Парзена, матричным методом, полиграммой и т.д. Использование каждой из таких оценок для функционала будет давать новую статистику, со своими особенностями в свойствах. Поэтому дальнейший анализ и интерпретация полученной статистики могут подсказать новую, не предполагаемую ранее экспериментатором оценку исследуемого явления, свойства или процесса [25].

Существует большой ряд достаточно строгих аналитических критериев согласия результатов эксперимента выбранному виду гипотетического распределения. Однако при решении задач, сопряженных с исследованием характеристик механических свойств, многие из них теряют свою универсальность в связи с тем, что параметры гипотетического распределения предварительно неизвестны, а могут лишь оцениваться по результатам механических испытаний.

Если выбранный критерий согласия не дает возможность сделать уверенный, конкретный вывод касательно соотношения опытных данных гипотетическому распределению, то необходимо произвести проверку нулевой гипотезы по другому критерию. Даже при больших объемах выборок (n = 500 и более) в ряде случаев нельзя отдать предпочтение какому-то одному закону распределения характеристик механических свойств. В этом случае выбор распределения решается удобством его применения в конкретной задаче [26].

Охарактеризуем теперь конкретные виды непараметрических критериев и принципы их выбора для проверки гипотез. Остановимся на нескольких, выбор которых обусловлен, с одной стороны, представлениями прикладного характера, с другой – условной простотой вычислений и наглядностью получаемых результатов.

Критерий согласия Пирсона

Критерий согласия Пирсона, или критерий согласия   (Хи-квадрат) – наиболее часто употребляемый критерий для проверки гипотезы о принадлежности наблюдаемой выборки   объёмом   некоторому теоретическому закону распределения  .

Критерий применим для любых видов функции F(x), даже при неизвестных значениях их параметров, что обычно имеет место при анализе результатов механических испытаний. В этом заключается его универсальность.

Использование критерия χ² предусматривает разбиение размаха варьирования выборки на интервалы и определения числа наблюдений. Для удобства оценок параметров распределения интервалы выбирают одинаковой длины.

Критерий может использоваться при проверке простых гипотез вида

, (1)

где    известный вектор параметров теоретического закона, и при проверке сложных гипотез вида

, (2)

когда оценка   скалярного или векторного параметра распределения   вычисляется по той же самой выборке.

Процедура проверки гипотез с использованием критериев типа χ² предусматривает группирование наблюдений. Область определения случайной величины разбивают на  непересекающихся интервалов граничными точками

, (3)

где   – нижняя грань области определения случайной величины;   – верхняя грань.

В соответствии с заданным разбиением подсчитывают число   выборочных значений, попавших в   -й интервал, и вероятности попадания в интервал

, (4)

соответствующие теоретическому закону с функцией распределения  .

При этом:

и  (5)

При проверке простой гипотезы известны как вид закона  , так и все его параметры (известен скалярный или векторный параметр  ).

В основе статистик, используемых в критериях согласия типа χ², лежит измерение отклонений   от  .

Статистика критерия согласия   Пирсона определяется соотношением:

(6)

В случае проверки простой гипотезы в пределе при   эта статистика подчиняется χ² -распределению с   степенями свободы, если верна проверяемая гипотеза  . Плотность   -распределения, которое является частным случаем гамма-распределения, описывается формулой

(7)

Проверяемая гипотеза   отклоняется при больших значениях статистики, когда вычисленное по выборке значение статистики   больше критического значения   , или достигнутый уровень значимости (p-value)

(8)

меньше заданного уровня значимости (заданной вероятности ошибки 1-го рода)  .

При проверке сложных гипотез, если параметры закона   по этой же выборке оцениваются в результате минимизации статистики   или по сгруппированной выборке методом максимального правдоподобия, то статистика   при справедливости проверяемой гипотезы подчиняется   -распределению с   степенями свободы, где    количество оцененных по выборке параметров.

Приведем схему применения критерия для сопоставления двух эмпирических распределений:

Рисунок 3 – Схема использования критерия согласия Пирсона

При проверке простых гипотез и использовании асимптотически оптимального группирования критерий согласия   Пирсона имеет преимущество в мощности по сравнению с непараметрическими критериями согласия. При проверке сложных гипотез мощность непараметрических критериев возрастает и такого преимущества нет [27,28,29].

Критерий Колмогорова-Смирнова

Критерий Колмогорова-Смирнова это очень эффективный тест, если есть причины предполагать, что частоты любого из порядковых значений (рангов) будут размещаться не беспорядочным образом, а в согласовании с некоторой предсказуемой схемой. Математическая процедура требует накопления частот по всем порядковым значениям. Затем сравниваются два распределения: имеющее место при справедливой Н₀ и наблюдаемое в действительности распределение.

При работе с выборками большого объема с целью подсчета частот составляется таблица, в которой значения регистрируются в форме интервального ряда. Число интервалов при этом должно быть не менее восьми (иначе достоверность выводов понижается). Если же оно больше 15, то использовать критерий Колмогорова-Смирнова нецелесообразно, так как объем вычислений будет очень велик. Нельзя в свою очередь забывать о том, что распределения случайных переменных в обязательном порядке должны быть непрерывными. В противном случае законы распределения статистик критерия будут находиться в зависимости от законов распределения самих случайных величин, что это делает невозможным использование любого непараметрического критерия вообще [30].

Критерий Колмогорова-Смирнова позволяет проверить гипотезу о принадлежности двух выборок х₁, х₂, …, х_n и у₁, у₂, …, у_m одному распределению. Критерий Смирнова о проверке гипотезы об однородности двух эмпирических законов распределения является одним из наиболее часто применяемых непараметрических критериев [27]. Мощность данного критерия высокая [31].

Алгоритм выполнения критерия приведен ниже.

1) Расчет квантиля Колмогорова

Пусть эмпирическая функция распределения (ЭФР)   случайной величины , построенная по выборке    , имеет вид:

(9)

Статистика критерия для эмпирической функции распределения F_n(X) определяется следующим образом:

(10)

Если   достаточно близко к 1, то   можно приблизительно рассчитать по формуле:

(11)

Причем асимптотическая мощность критерия равна 1.

2) Принятие решения по критерию Смирнова Если статистика   превышает квантиль распределения Колмогорова   для заданного уровня значимости  , то нулевая гипотеза   (об однородности выборок) отвергается. Иначе гипотеза принимается на уровне  .

Необходимо отметить, что при размере выборки менее 25 наблюдений, необходимо для расчета статистики использовать поправку вида предложенную Большевым.

Схематично алгоритм применения критерия Колмогорова-Смирнова можно представить следующим образом:

Рисунок 4 – Схема использования критерия Колмогорова-Смирнова

Q-критерий Розенбаума 

Q-критерий Розенбаума  – это простой непараметрический  статистический критерий, используемый для оценки различий между двумя выборками по уровню какого-либо признака, измеренного количественно.

Мощность критерия не очень велика. В том случае, если он не выявляет различий, рекомендуется обратиться к другим статистическим критериям, например, к U-критерию Манна-Уитни [32].

Данные для применения Q-критерия Розенбаума должны быть представлены хотя бы в порядковой шкале. Признак должен измеряться в значительном диапазоне значений (чем более значительном – тем лучше).

Ограничения применимости критерия:

- в каждой из выборок должно быть не менее 11 значений признака;

- объемы выборок должны примерно совпадать;

- если объемы выборок меньше 50, то абсолютная величина разности n_1 (количество единиц в первой выборке) и n_2 (количество единиц во второй выборке) не должна быть больше 10;

- если объемы выборок между 50 и 100, то абсолютная величина разности n_1 и n_2 не должна быть больше 20;

- если объемы выборок больше 100, то допускается, чтобы одна из выборок превышала другую не более чем в 1,5 – 2 раза;

- диапазоны значений признака в двух выборках не должны совпадать между собой.

Алгоритм выполнения критерия представлен ниже [29].

1. Упорядочить значения отдельно в каждой выборке по степени возрастания признака; принять за первую выборку ту, значения признака в которой предположительно выше, а за вторую – ту, где значения признака предположительно ниже.

2. Определить максимальное значение признака во второй выборке и подсчитать количество значений признака в первой выборке, которые больше его ( ).

3. Определить минимальное значение признака в первой выборке и подсчитать количество значений признака во второй выборке, которые меньше его ( ).

4. Рассчитать значение критерия по формуле:

(12)

5. По таблице определить критические значения критерия для данных   и  . Если полученное значение Q превышает табличное или равно ему, то признается наличие существенного различия между уровнем признака в рассматриваемых выборках (принимается альтернативная гипотеза). Если же полученное значение Q меньше табличного, принимается нулевая гипотеза.

Критерий Манна-Уитни

Критерий Манна-Уитни это простой непараметрический критерий. Этот метод определяет, достаточно ли мала зона перекрещивающихся значений между двумя рядами (ранжированным рядом значений параметра в первой выборке и таким же во второй выборке). Чем меньше значение критерия, тем вероятнее, что различия между значениями параметра в выборках достоверны.

Его  применяют в случае независимых выборок, например при сравнении результатов экспериментальной и контрольной серий по одному или нескольким показателям. Мощность критерия выше, чем у Q-критерия Розенбаума [29,33].

Ограничения применимости критерия:

- в каждой из выборок должно быть не менее 3 значений признака. Допускается, чтобы в одной выборке было два значения, но во второй тогда не менее пяти;

- в выборочных данных не должно быть совпадающих значений (все числа – разные) или таких совпадений должно быть очень мало.

Алгоритм выполнения критерия представлен ниже.

1. Составить единый ранжированный ряд из обеих сопоставляемых выборок, расставив их элементы по степени нарастания признака и приписав меньшему значению меньший ранг. Общее количество рангов получится равным:

(13)

где   – количество элементов в первой выборке, а   – количество элементов во второй выборке.

2. Разделить единый ранжированный ряд на два, состоящие соответственно из единиц первой и второй выборок. Подсчитать отдельно сумму рангов, пришедшихся на долю элементов первой выборки, и отдельно — на долю элементов второй выборки. Определить большую из двух ранговых сумм ( ), соответствующую выборке с   элементами.

3. Определить значение U-критерия Манна-Уитни по формуле:

(14)

4. По таблице для избранного уровня статистической значимости определить критическое значение критерия для данных   и  . Если полученное значение   меньше табличного или равно ему, то признается наличие существенного различия между уровнем признака в рассматриваемых выборках (принимается альтернативная гипотеза). Если же полученное значение   больше табличного, принимается нулевая гипотеза. Достоверность различий тем выше, чем меньше значение  [33,29,34].

5. При справедливости нулевой гипотезы критерий имеет математическое ожидание:

   (15)

и дисперсию:

  (16)

 и при достаточно большом объёме выборочных данных  распределён практически нормально.

Схематично алгоритм применения критерия Манна-Уитни  можно представить следующим образом:

Рисунок 5 – Схема использования критерия Манна-Уитни

Т-критерий Вилкоксона 

Т-критерий Вилкоксона – непараметрический статистический критерий, используемый для проверки различий между двумя выборками парных измерений. Впервые предложен Фрэнком Уилкоксоном [35]. Например, план эксперимента предусматривает разбиение выборки на однородные пары, каждая из которых затем подвергается экспериментальному воздействию в различных для членов пары условиях. Тогда разности между отметками внутри пар являются непрерывной переменной и могут быть проранжированы (с учетом знаков получаемых разностей). Т-критерий определяет, насколько справедлива нулевая гипотеза о том, что в генеральной совокупности доля лиц из экспериментальной группы, получающих более высокие отметки по сравнению с подобными для них контрольными напарниками, равна доле лиц из экспериментальной группы, получающих отметки ниже, чем их контрольные напарники.

Критерий позволяет установить не только направленность изменений, но и их выраженность, то есть способен определить, является ли сдвиг показателей в одном направлении более интенсивным, чем в другом.

Критерий применим в тех случаях, когда признаки измерены, по крайней мере, в порядковой шкале. Целесообразно применять данный критерий, когда величина самих сдвигов варьирует в некотором диапазоне (10–15 % от их величины). Это объясняется тем, что разброс значений сдвигов должен быть таким, чтобы появлялась возможность их ранжирования. В случае если сдвиги незначительно различаются между собой и принимают какие-то конечные значения (например. +1, -1 и 0), формальных препятствий к применению критерия нет, но, ввиду большого числа одинаковых рангов, ранжирование утрачивает смысл, и те же результаты проще было бы получить с помощью критерия знаков [36].

Ограничения применимости критерия:

- объем выборки – от пяти до 50 элементов;

- нулевые сдвиги исключаются из рассмотрения. (Это требование можно обойти, переформулировав вид гипотезы. Например: сдвиг в сторону увеличения значений превышает сдвиг в сторону их уменьшения и тенденцию к сохранению на прежнем уровне.);

- сдвиг в более часто встречающемся направлении принято считать «типичным», и наоборот.

Есть также урезанный вариант для сравнения одной выборки с известным значением медианы.

Суть метода состоит в том, что сопоставляются абсолютные величины выраженности сдвигов в том или ином направлении. Для этого сначала все абсолютные величины сдвигов ранжируются, а потом суммируются ранги. Если сдвиги в ту или иную сторону происходят случайно, то и суммы их рангов окажутся примерно равны. Если же интенсивность сдвигов в одну сторону больше, то сумма рангов абсолютных значений сдвигов в противоположную сторону будет значительно ниже, чем это могло бы быть при случайных изменениях.

Минимальное значение величины:

  (17)

где n – объём второй выборки.

Максимальное значение величины: 

(18)

где n – объём второй выборки,

m – объём первой выборки.

Алгоритм выполнения критерия:

1) Вычислим разности между индивидуальными значениями показателя после проведения эксперимента и до него.

2) Для полученных разностей найдём их модули и произведём их ранжирование в порядке возрастания.

3) Отметим ранги, соответствующие сдвигам в нетипичном направлении. Например, если в большинстве случаев после проведения эксперимента наблюдалось увеличение измеряемого параметра, то его уменьшение следует считать нетипичным сдвигом.

Эмпирическое значение критерия определяется как сумма рангов, соответствующих нетипичным сдвигам.

Схематично алгоритм применения Т-критерия Вилкоксона  можно представить следующим образом:

Рисунок 6 – Схема использования критерия Т-критерия Вилкоксона

При описании различных непараметрических критериев мы постоянно обращались к проверке статистических гипотез непараметрическими методами. Однако проверка гипотезы, в частности нулевой, обычно лишь начало статистического исследования. После того как нулевая гипотеза отвергнута, необходимо делать более содержательные выводы из статистического материала: проводить точечное и интервальное оценивание дисперсионный анализ и т.д.