- •3.2 Состоятельные и несмещенные оценки
- •3.3 Кластеризация
- •3.4. Сглаживание экспериментальных данных.
- •4.1 Методы отбора экспериментальных данных .
- •4.2 Методы оценки объема данных с целью обеспечения заданных показателей качества
- •4.3 Последовательный анализ Вальда
- •5.1 . Критерии Стьюдента, Фишера
- •Критерий Фостера – Стюарта
- •6.1 Определение доверительных интервалов для генерального среднего
- •6.2 Доверительный интервал для генеральной дисперсии
- •6.3. Критерии проверки гипотез о выборочных дисперсиях
- •7.1 Оценка вероятности события
- •8.1 Критерий согласования
- •9.1 Интерполяция по Лагранжу
- •9.2. Интерполяция по методу Ньютона-Грегори – метод разделенных разностей
- •9.3 Сплайн-интерполяция
- •10.1 Стохастическая зависимость
- •10.2 Корреляционный анализ, коэффициент корреляции
- •11.1 Регрессионный анализ. Регрессионные модели. Метод наименьших квадратов
- •11.2. Полиномы Чебышева
- •12.1 Линейная регрессия
- •12.2 Нелинейная регрессия
- •13. 1 Однофакторный дисперсионный анализ
- •13.2. Двухфакторный дисперсионный анализ
- •13.3 Факторный анализ
- •14.1 Метрики в n-мерном Евклидовом пространстве
- •14.2 Алгоритмы кластеризации
- •15.1 Понятие автоматизированной системы научных исследований
- •15.2 Концепция развития асни
- •15.3 Архитектура асни
4.1 Методы отбора экспериментальных данных .
Необходимость проверки однородности элементов выборки обусловлена необходимостью получения несмещенных статистических оценок. Подобная задача возникает, как правило, в том случае, если отсутствуют объективные условия анализа стабильности проведения эксперимента.
Предположим, что случайные величины, характеризующие наблюдаемый процесс являются нормальным образом распределенными (НОР).
Случай 1.
x
НОР
(а,δ2),
а – мат.ожидание, δ2
– дисперсия.
Нужно проверить принадлежность одиночного измерения данному процессу x0 X
Нулевая гипотеза
проверки принадлежности одиночного
измерения данному процессу принимается
с уровнем значимости
,
если |x0-a|<=
Случай 2. Предположим, что имеется вектор измерения размерности n: x={x1,x2,…xn}. При тех же условиях нам известны генеральные параметры.
Берем
,
дающее максимальное отклонение. Если
,
то элемент не принадлежит выборке с
заданными параметрами.
Случай 3. x НОР, а-математическое ожидание неизвестно,δ2-дисперсия известна .
В этом случае, в качестве
оценки берется выборочное среднее
.
Нулевая гипотеза проверки принадлежности
одиночного измерения данному процессу
отвергается, если
Случай 4. x НОР , а-математическое ожидание неизвестно,δ2-дисперсия неизвестна .
Берется выборочное среднее и выборочная дисперсия S2.
Вводится новая
статистика:
.
Нулевая гипотеза проверки принадлежности
одиночного измерения данному процессу
отвергается, если
.
Статистика
позволяет также проверить гипотезу о
непринадлежности группы элементов
вектора к наблюдаемому процессу. В
векторе измерения выбираются группы
«подозрительных» (на предмет принадлежности)
элементов, рассчитываются модули
отклонений от выборочного среднего
(рассчитанного на оставшихся элементах
выборки); и далее, среди них, выбирается
элемент с максимальным отклонением и
строится статистика
.
Если принимается нулевая гипотеза о
непринадлежности данного элемента
наблюдаемому процессу, то, естественно,
эта гипотеза автоматически переносится
на остальные элементы группы.
4.2 Методы оценки объема данных с целью обеспечения заданных показателей качества
Методики формирования вектора измерений в общем плане делятся на две группы : пристрастные и репрезентативные.
Пристрастными называются такие способы отбора, при которых отбираются элементы по какому-либо заранее намеченному признаку; из которых делается отбор. Пристрастный отбор является важной стадией эксперимента; его задача при этом состоит обычно в том, чтобы устранить все заметные нарушения условий испытания. С помощью пристрастного отбора нередко удается ликвидировать те или иные доминирующие (несимметричные) факторы, нарушающие нормальность распределения.
Способы отбора называются репрезентативными, если отобранная группа элементов достаточно полно характеризует всю совокупность, из которой был сделан отбор. Если объем N этой совокупности очень велик, то его практически можно считать бесконечным. Если же N не очень велик по сравнению с количеством n отобранных элементов ( скажем, N<10n), то с числом N нужно считаться при интерпретации результатов отбора.
Количество отбираемых
элементов можно определить, если известна
дисперсия
изучаемой характеристики ( по
каким-либо предыдущим данным). Это
количество будет зависеть от точности,
с которой мы хотим получить значение
характеристики. Если эта точность задана
допустимой дисперсией
,
то n
определяется из формулы
,
которая при очень большом N перейдет в известную нам формулу
Увеличение числа
параллельных наблюдений n
является основным способом повышения
точности статистического анализа.
Действительно, средняя выборка объема
n
имеет дисперсию в n
раз меньше, чем одиночные наблюдения.
Поэтому для определения необходимого
числа наблюдений достаточно знать
генеральную дисперсию наблюдений
и допустимую дисперсию результата
; при этом
Именно этим приемом пользуются, чтобы
уменьшить доверительный интервал при
неизменной доверительной вероятности.
Сложнее обстоит дело
с выбором числа наблюдений при проверке
гипотез. Это число должно одновременно
служить двум целям: уменьшать вероятность
ошибки первого рода (отклонение правильной
гипотезы) и вероятность β ошибки второго
рода (принятие неверной гипотезы). Первая
вероятность совпадает с принятым уровнем
значимости
.
Вторая вероятность зависит от многих
факторов и в первую очередь от того,
насколько неверна принимаемая гипотеза.
Поэтому под β понимают обычно наибольшую
возможную вероятность ошибки второго
рода при любых отклонениях от правильной
гипотезы.
Допустим изучается
нормальное распределение случайной
величины ξ с дисперсией
.
Высказывается гипотеза, что генеральное
среднее этой величины
<=0
(односторонняя гипотеза). Требуется
проверить эту гипотезу по одному
наблюдению χ . Если
мы хотим, чтобы вероятность ошибки
первого рода была не больше
,
мы должны считать гипотезу неверной
только, если x>
, где
квантиль стандартного нормального
распределения. Действительно, с
доверительной вероятность 1-
справедлива односторонняя оценка
,
Которая позволяет
утверждать, что
,
лишь при x>
.
Если окажется, что x<= , то мы вынуждены рассматриваемую гипотезу признать справедливой, хотя, возможно, допустим при этом ошибку второго рода. Вероятность неравенства x<= зависит от того, каким на самом деле является . Если обозначить через F(x) функцию нормального распределения со средним a и дисперсией , то
P{ x<= }=F( )
Используя функцию Лапласа, получим, что
P{
x<=
}=
½ +
½ +
Если a>0, то принимаемая гипотеза неверна. Однако при этом a может сколь угодно близким к нулю, а это значит, что будет сколь угодно близко к ½- . Иными словами, максимальная вероятность ошибки второго рода равна
=1-
Например, при обычном уровне значимости =0,05 будет β=0,95, т.е. мы почти всегда ошибемся и примем неверную гипотезу.
Соотношение вероятностей наглядно выражаются площадями участков нормальной кривой. Площадь, расположенная вправо от критического значения, равна , расположенная влево равна β. Стараясь уменьшит , мы сдвигаем это критическое значение вправо, стараясь уменьшить β – влево. Ясно. Что с помощью единого критического значения невозможно даже сделать, чтобы эти вероятности были меньше 1/2.
На практике обычно вероятности ошибок обеих родов задаются заранее и являются малыми величинами ( не больше 0,1). В этом случае при проверке гипотезы приходится пользоваться одновременно двумя критическими значениями: считать гипотезу верной, если
x<
, и неверной, если x>
. Такой подход обеспечивает заданный
уровень вероятностей ошибок первого и
второго рода, однако при этом появляется
участок неопределенности
Величина
называется неопределенностью критерия.
Вопрос о том, какой вывод делать в случае,
если χ попадает на участок неопределенности,
решается применительно к условиям
задачи; чаще всего в этом случае гипотеза
объявляется сомнительной и подвергается
повторному анализу.
Неопределенность критерия сильно ухудшает эффект статистического анализа гипотез.
Если вместо одиночного
провести n
параллельных наблюдений и рассмотреть
их среднее
,
то мы должны будем принять гипотезу,
если
<-
, и отвергнуть , если
>
. Неопределенность станет теперь
равной
,
т.е. уменьшится в
раз.
В практических задачах допустимая неопределенность критерия задается обычно заранее, наряду с вероятностями и β. Это позволяет сразу определить необходимое число параллельных наблюдений :
