- •1. Характеристика учебной дисциплины
- •Назначение учебной дисциплины
- •Цель изучения дисциплины
- •Задачи изучения дисциплины
- •1.4. Методология
- •Календарно-тематический план курса
- •Темы (вопросы) для срс
- •4. Содержание программы
- •4.1. Планы лекций
- •4.2. Планы лабораторных занятий
- •4.3. Порядок изучения материала и выполнения заданий (срс)
- •5. Система оценки знаний студентов
- •Глоссарий
- •Базовые термины математической статистики и анализа данных
- •1.2 Краткая историческая справка[2]
- •1.4 Типы данных психолого-педагогического исследования
- •1.5 Описательная статистика
- •Случайная величина и вероятность события Математическая статистика тесно связана с другой математической наукой – теорией вероятности и базируется на ее математическом аппарате.
- •Математическое ожидание – числовая характеристика св, приближенно равная среднему значению св:
- •Закон распределения св
- •Биномиальное распределение (распределение Бернулли)
- •Распределение Пуассона
- •Нормальное (гауссовское) распределение
- •Распределение вероятностей непрерывной cв х, принимающие все свои значения из отрезка [а;b] называется равномерным, если ее плотность вероятности на этом отрезке постоянна, а вне его равна нулю:
- •Общие принципы проверки статистических гипотез
- •4.3 Понятие гипотезы в педагогике
- •Анализ одной и двух нормальных выборок
- •6.1 Параметрические критерии
- •6.1.1 Методы проверки выборки на нормальность
- •Случай независимых выборок
- •1. Что если полученное в опыте значение t окажется меньше табличного? Тогда надо принять нулевую гипотезу.
- •3. Что если в контрольной группе результаты окажутся выше, чем в экспериментальной? Поменяем, например, местами, сделав средней арифметической экспериментальной группы, a — контрольной:
- •Б) случай связанных (парных) выборок
- •Лекция_5 Однофакторный дисперсионный анализ для несвязанных выборок
- •Лекция_6 Дисперсионный анализ для связанных выборок
- •Двухфакторный анализ
- •Связь задач двухфакторного и однофакторного анализа
- •Аддитивная модель данных двухфакторного эксперимента при независимом действии факторов
- •Непараметрические критерии проверки гипотезы об отсутствии эффектов обработки
- •Лекция_8 Регрессионный анализ
- •1. Парная линейная регрессия
- •1.1. Взаимосвязи экономических переменных
- •Суть регрессионного анализа
- •1.3. Парная линейная регрессия.
- •8.1 Требования к статистическим пакетам общего назначения
- •8.2 Российские пакеты обработки данных
- •8.4 Пакет stadia
- •Лекция_10 Корреляционный анализ Понятие корреляционной связи
- •7.2.2 Коэффициент корреляции Пирсона
- •Параметрические критерии
- •6.1.1 Методы проверки выборки на нормальность
- •Анализ временных рядов на компьютере
- •Многомерный анализ и другие статистические методы
- •Многомерное шкалирование
- •1.1 Характеристика пакета Excel
- •1.2 Использование специальных функций
- •Задания для самостоятельной работы
- •1.2 Использование инструмента Пакет анализа
- •Задание для самостоятельной работы
- •2.1 Биномиальное распределение
- •Задания для самостоятельной работы
- •2.2 Нормальное распределение
- •Задания для самостоятельной работы
- •2.3 Генерация случайных величин
- •Задание для самостоятельной работы
Параметрические критерии
В группу параметрических критериев методов математической статистики входят методы для вычисления описательных статистик, построения графиков на нормальность распределения, проверка гипотез о принадлежности двух выборок одной совокупности. Эти методы основываются на предположении о том, что распределение выборок подчиняется нормальному (гауссовому) закону распределения. Среди параметрических критериев статистики нами будут рассмотрены критерий Стьюдента и Фишера.
6.1.1 Методы проверки выборки на нормальность
Чтобы определить, имеем ли мы дело с нормальным распределением, можно применять следующие методы:
1) в пределах осей можно нарисовать полигон частоты (эмпирическую функцию распределения) и кривую нормального распределения на основе данных исследования. Исследуя формы кривой нормального распределения и графика эмпирической функции распределения, можно выяснить те параметры, которыми последняя кривая отличается от первой;
2) вычисляется среднее, медиана и мода и на основе этого определяется отклонение от нормального распределения. Если мода, медиана и среднее арифметическое друг от друга значительно не отличаются, мы имеем дело с нормальным распределением. Если медиана значительно отличается от среднего, то мы имеем дело с асимметричной выборкой.
3) эксцесс кривой распределения должен быть равен 0. Кривые с положительным эксцессом значительно вертикальнее кривой нормального распределения. Кривые с отрицательным эксцессом являются более покатистыми по сравнению с кривой нормального распределения;
4) после определения среднего значения распределения частоты и стандартного oтклонения находят следующие четыре интервала распределения сравнивают их с действительными данными ряда:
а)
—
к интервалу должно относиться около
25% частоты совокупности,
б)
— к интервалу должно относиться около
50% частоты совокупности,
в)
— к интервалу должно относиться около
75% частоты совокупности,
г)
—
к интервалу должно относиться около
100% частоты совокупнос
Непараметрические критерии
Сравнивая на глазок (по процентным соотношениям) результаты до и после какого-либо воздействия, исследователь приходит к заключению, что если наблюдаются различия, то имеет место различие в сравниваемых выборках. Подобный подход категорически неприемлем, так как для процентов нельзя определить уровень достоверности в различиях. Проценты, взятые сами по себе, не дают возможности делать статистически достоверные выводы. Чтобы доказать эффективность какого-либо воздействия, необходимо выявить статистически значимую тенденцию в смещении (сдвиге) показателей. Для решения подобных задач исследователь может использовать ряд критериев различия. Ниже будет рассмотрены непараметрические критерии: критерий знаков и критерий хи-квадрат.
.2.2 Критерий χ2 (хи-квадрат)
Критерий χ2 (хи-квадрат) применяется для сравнения распределений объектов двух совокупностей на основе измерений по шкале наименований в двух независимых выборках.
Предположим, что состояние изучаемого свойства (например, выполнение определенного задания) измеряется у каждого объекта по шкале наименований, имеющей только две взаимоисключающие категории (например: выполнено верно — выполнено неверно). По результатам измерения состояния изучаемого свойства у объектов двух выборок составляется четырехклеточная таблица 2X2. (см. табл. 6).
Таблица 6.
В этой таблице Оij — число объектов в i-ой выборке, попавших в j-ую категорию по состоянию изучаемого свойства; i=1,2 – число выборок; j=1,2 – число категорий;; N — общее число наблюдений, равное О11 + О12 + О21 + О22 или n1+n2.
Тогда на основе данных таблицы 2X2 (см. табл. 6) можно проверить нулевую гипотезу о равенстве вероятностей попадания объектов первой и второй совокупностей в первою (вторую) категорию шкалы измерения проверяемого свойства, например гипотезу о равенстве вероятностей верного выполнения некоторого задания учащимися контрольных и экспериментальных классов.
При проверке нулевых гипотез не обязательно, чтобы значения вероятностей р1 и р2 были известны, так как гипотезы только устанавливают между ними некоторые соотношения (равенство, больше или меньше).
Для проверки рассмотренных выше нулевых гипотез по данным таблицы 2X2 (см. табл. 6) подсчитывается значение статистики критерия Т по следующей общей формуле:
(9)
где n1, n2 — объемы выборок, N = n1 + n2 — общее число наблюдений.
Проводится проверка гипотезы H0: p1£p2 — при альтернативе Н1: р1>р2. Пусть a — принятый уровень значимости. Тогда значение статистики Т, полученное на основе экспериментальных данных, сравнивается с критическим значением статистики х1-2a,, которое определяется по таблице c2 c одной степенью свободы (см. Приложение 2) с учетом выбранного значения a. Если верно неравенство T<x1-2a, то нулевая гипотеза принимается на уровне a. Если данное неравенство не выполняется, то у нас нет достаточных оснований для отклонения нулевой гипотезы.
В связи с тем что замена точного распределения статистики Т распределением c2 c одной степенью свободы дает достаточно хорошее приближение только для больших выборок, применение критерия ограничено некоторыми условиями.
Критерий не рекомендуется использовать, если:
1) сумма объемов двух выборок меньше 20;
2) хотя бы одна из абсолютных частот в таблице 2X2, составленной на основе экспериментальных данных, меньше 5.
Пример 6. Проводился эксперимент, направленный на выявление лучшего из учебников, написанных двумя авторскими коллективами в соответствии с целями обучения геометрии и содержанием программы IX класса. Для проведения эксперимента методом случайного отбора были выбраны два района, большинство школ которых относились по расположению к сельским. Учащиеся первого района (20 классов) обучались по учебнику № 1, учащиеся второго района (15 классов) обучались по учебнику №2.
Рассмотрим методику сравнения ответов учителей экспериментальных школ двух районов па один из вопросов анкеты: «Доступен ли учебник в целом для самостоятельного чтения и помогает ли он усвоить материал, который учитель не объяснял в классе (Ответ: да — нет.)
Отношение учителей к изучаемому свойству учебников измерено по шкале наименований, имеющей две категории: да, нет. Обе выборки учителей случайные и независимые.
Ответы 20 учителей первого района и 15 учителей второго района распределим на две категории и запишем в форме таблицы 2Х2 (табл. 5).
Таблица 7.
Все значения в табл. 7 не меньше 5, поэтому в соответствии с условиями использования критерия c2 подсчет статистики критерия производится по формуле (9).
По таблице из приложения 2 для одной степени свободы (v=l) и уровня значимости a=0,05 найдем х1-aа =Ткритич = 3,84. Отсюда верно неравенство Тнаблюд<Ткритич (1,86<3,84). Согласно правилу принятия решений для критерия c2, полученный результат не дает достаточных оснований для отклонения нулевой гипотезы, т. е. результаты проведенного опроса учителей двух экспериментальных районов не дают достаточных оснований для отклонения предположения об одинаковой доступности учебников №1 и 2 для самостоятельного чтения учащимися.
Применение критерия хи-квадрат возможно и в том случае, когда объекты двух выборок из двух совокупностей по состоянию изучаемого свойства распределяются более чем на две категории. Например, учащиеся экспериментальных и контрольных классов распределяются на четыре категории в соответствии с отметками (в баллах: 2, 3, 4, 5), полученными учащимися за выполнение некоторой контрольной работы.
Результаты измерения состояния изучаемого свойства у объектов каждой выборки распределяются на С категорий. На основе этих данных составляется таблица 2ХС, в которой два ряда (по числу рассматриваемых совокупностей) и С колонок (по числу различных категорий состояния изучаемого свойства, принятых в исследовании).
Таблица 8.
На основе данных таблицы 8 можно проверить нулевую гипотезу о равенстве вероятностей попадания объектов первой и второй совокупностей в каждую из i (i=l, 2, ..., С) категорий, т. е. проверить выполнение всех следующих равенств: р11= р21, p12 = p22, …, p1c = p2c. Возможна, например, проверка гипотезы о равенстве вероятностей получения отметок «5», «4», «3» и «2» за выполнение учащимися контрольных и экспериментальных классов некоторого задания.
Для проверки нулевой гипотезы с помощью критерия c2 на основе данных таблицы 2ХС подсчитывается значение статистики критерия Т по следующей формуле:
(10)
где п1 и п2 — объемы выборок.
Значение Т, полученное на основе экспериментальных данных, сравнивается с критическим значением х1-a, которое определяется по таблице c2 с k=С—1 степенью свободы с учетом выбранного уровня значимости a. При выполнении неравенства Т> х1-aа нулевая гипотеза отклоняется на уровне а и принимается альтернативная гипотеза. Это означает, что распределение объектов на С категорий по состоянию изучаемого свойства различно в двух рассматриваемых совокупностях.
Пример 7. Рассмотрим методику сравнения результатов письменной работы, проверявшей усвоение одного из разделов курса учащимися первого и второго районов.
Методом случайного отбора из учащихся первого района, писавших работу, была составлена выборка объемом 50 человек, из учащихся второго района — выборка объемом 50 человек. В соответствии со специально разработанными критериями оценки выполнения работы каждый ученик мог попасть в одну из четырех категорий: плохо, посредственно, хорошо, отлично. Результаты выполнения работы двумя выборками учащихся используем для проверки гипотезы о том, что учебник № 1 способствует лучшему усвоению проверяемого раздела курса, т. е. учащиеся первого экспериментального района в средне будут получать более высокие оценки, чем учащиеся второго района.
Результаты выполнения работы учащимися обеих выборок запишем в виде таблицы 2X4 (табл. 9).
Таблица 9.
В соответствии с условиями использования критерия c2 подсчет статистики критерия производится по корректированной формуле (10).
=
В соответствии с условиями применения двустороннего критерия хи-квадрат по таблице из приложения 2 для одной степени свободы (k=4-l=3) и уровня значимости a=0,05 найдем х1-aа =Ткритич = 7,815. Отсюда верно неравенство Тнаблюд<Ткритич (6,45<7,815). Согласно правилу принятия решений для критерия c2, полученный результат не дает достаточных оснований для отклонения нулевой гипотезы.
Лекция_12
Временные ряды: практический анализ
Порядок анализа временных рядов
Кратко опишем общий порядок прикладного статистического анализа временных рядов. Обычно целью такого анализа является построение математической модели ряда, с помощью которой можно объяснить поведение ряда и осуществить прогноз его дальнейшего поведения.
Построение и изучение графика. Анализ временного ряда обычно начинается с построения и изучения его графика. Если нестационарность временного ряда очевидна, то первым делом надо выделить и удалить нестационарную составляющую ряда. Методы, используемые для этого, описаны в п. 12.3. Процесс удаления тренда и других компонент ряда, приводящих к нарушению стационарности, может проходить в несколько этапов. На каждом из них рассматривается ряд остатков, полученный в результате вычитания из исходного ряда подобранной модели тренда, или результат разностных и других преобразований ряда. Кроме графиков, признаками нестационарности временного ряда могут служить не стремящаяся к нулю автокорреляционная функция (за исключением очень больших значений лагов) и наличие ярко выраженных пиков на низких частотах в периодограмме.
Подбор модели для временного ряда. После того, как исходный процесс максимально приближен к стационарному, можно приступить к подбору различных моделей полученного процесса. Цель этого этапа — описание и учет в дальнейшем анализе корреляционной структуры рассматриваемого процесса. При этом на практике чаще
оценка
дисперсии остатков, которая в дальнейшем
может быть
использована
для построения доверительных интервалов
про
гноза;анализ остатков с целью проверки адекватности модели.
Прогнозирование или интерполяция. Последним этапом анализа временного ряда может быть прогнозирование его будущих (экстраполяция) или восстановление пропущенных (интерполяция) значений и указания точности этого прогноза на базе подобранной модели. Обратим внимание, что хорошо подобрать математическую модель удается не для всякого временного ряда. Нередко бывает и так, что для описания подходят сразу несколько моделей. Неоднозначность подбора модели может наблюдаться как на этапе выделения детерминированной компоненты ряда, так и при выборе структуры ряда остатков. Поэтому исследователи довольно часто прибегают к методу нескольких прогнозов, сделанных с помощью разных моделей.
Методы анализа. Перечислим основные группы статистических приемов, используемых для анализа временных рядов:
графические методы представления временных рядов и их со путствующих числовых характеристик;
методы сведения к стационарным процессам;
методы исследования внутренних связей между элементами вре менных рядов.
Ниже будет подробно рассказано о каждой из этих групп методов.
Графические методы анализа временных рядов
Зачем нужны графические методы. В выборочных исследованиях простейшие числовые характеристики описательной статистики (среднее, медиана, дисперсия, стандартное отклонение, коэффициенты асимметрии и эксцесса) обычно дают достаточно информативное представление о выборке. Графические методы представления и анализа выборок при этом играют лишь вспомогательную роль, позволяя лучше понять локализацию и концентрацию данных, их закон распределения.
Роль графических методов при анализе временных рядов совершенно иная. Дело в том, что табличное представление временного ряда и описательные статистики чаще всего не позволяют понять характер процесса, в то время как по графику временного ряда можно сделать довольно много выводов. В дальнейшем они могут быть проверены и уточнены с помощью расчетов.
Человеческий глаз довольно уверенно определяет по графику временного ряда:
наличие тренда и его характер;
наличие сезонных и циклических компонент;
степень плавности или прерывистости изменений последова тельных значений ряда после устранения тренда. По этому показателю можно судить о характере и величине корреляции между соседними элементами ряда.
Так графический анализ ряда обычно задает направление его дальнейшего анализа.
Построение и изучение графика. Построение графика временного ряда — совсем не такая простая задача, как это кажется на первый взгляд. Современный уровень анализа временных рядов предполагает использование той или иной компьютерной программы для построения их графиков и всего последующего анализа. Ряд полезных рекомендаций при построении графика вручную даны в [98]. Большинство статистических пакетов и электронных таблиц снабжено теми или иными методами настройки на оптимальное представление временного ряда, но даже при их использовании могут возникать различные проблемы, например:
из-за ограниченности разрешающей способности экранов ком пьютеров размеры выводимых графиков могут быть также огра ничены;
при больших объемах анализируемых рядов точки на экране, изображающие наблюдения временного ряда, могут превратить ся в сплошную черную полосу.
Для борьбы с этими затруднениями используются различные способы. Наличие в графической процедуре режима «лупы» или «увеличения» позволяет изобразить более крупно выбранную часть ряда, однако при этом становится трудно судить о характере поведения ряда на всем анализируемом интервале. Приходится распечатывать графики для отдельных частей ряда и состыковывать их вместе, чтобы увидеть картину поведения ряда в целом. Иногда для улучшения воспроизведения длинных рядов используется прореживание, то есть выбор и отображение на графике каждой второй, пятой, десятой и т.д. точки временного ряда. Эта процедура позволяет сохранить целостное представление ряда и полезна для обнаружения трендов. На практике полезно сочетание
обеих
процедур: разбиения ряда на части и
прореживания, так как они позволяют
подметить разные черты в поведении
временного ряда.
Еще одну проблему при воспроизведении графиков создают выбросы — наблюдения, в несколько раз превышающие по величине большинство остальных значений ряда. Их присутствие тоже приводит к неразличимости колебаний временного ряда, так как масштаб изображения программа автоматически подбирает так, чтобы все наблюдения поместились на экране. Выбор другого масштаба на оси ординат устраняет эту проблему, но резко отличающиеся наблюдения при этом остаются за границами экрана.
Методы сведения к стационарности
После изучения графика временного ряда обычно пробуют выделить во временном ряде тренд, сезонные и периодические компоненты. После их исключения временной ряд должен стать стационарным. Кроме того, для облегчения дальнейшего анализа иногда используются преобразования значений временного ряда (точнее, той шкалы, в которой они измерены) — это позволяет приблизить распределение значений временного ряда к нормальному или сделать дисперсию этих значений более постоянной (иначе говоря, стабилизировать дисперсию).
Выделение тренда
Метод наименьших квадратов. Для оценки и удаления трендов из временных рядов чаще всего используется метод наименьших квадратов. Этот метод подробно обсуждался в гл. 8 при рассмотрении задач линейного регрессионного анализа.
Говоря языком регрессионного анализа, значения временного ряда xt рассматривают как отклик (зависимую переменную), а время t — как фактор, влияющий на отклик (независимую переменную):
где / — функция тренда (она обычно предполагается гладкой), в — неизвестные нам параметры (параметры модели временного ряда), a Si —
преобразование Бокса-Кокса, ко всем членам ряда прибавляют постоянную с. Члены преобразованного ряда получают по формуле
если выбранное Л > 0. Для Л = 0 преобразование Бокса-Кокса действует как уже упомянутое логарифмическое: yt — log(a;t + с).
Методы исследования структуры стационарного временного ряда
Цели и методы анализа
Цели анализа. В предыдущих параграфах этой главы мы рассматривали методы выделения из временного ряда детерминированной компоненты — тренда, сезонной и циклической компонент. После удаления детерминированной компоненты временной ряд должен свестись к стационарному процессу. Так что следующим шагом после выделения детерминированной компоненты должен быть анализ остатков, то есть изучение ряда, полученного из исходного временного ряда после исключения детерминированной компоненты. При этом могут ставиться следующие цели.
Описание ряда с помощью той или иной модели, которая отражает зависимость между его соседними элементами. На базе построенной модели можно осуществлять прогноз будущего поведения ряда.
Уточнение оценки дисперсии временного ряда. Эта оценка важна для прогнозирования, так как исходя из нее вычисляется ширина доверительной трубки прогноза. Привычные оценки дисперсии, которые мы использовали в регрессионном анализе.
Проверка стационарности остатков (при нестационарности подбор детерминированной компоненты нуждается в уточнении).
Методы анализа. В качестве модели стационарных временных рядов чаще всего используются процессы авторегрессии, скользящего среднего и их комбинации. Этим моделям посвящена глава.
А для проверки стационарности ряда остатков и оценки его дисперсии на практике чаще всего используются выборочная автокорреляционная (коррелограмма, см. п. 11.10) и частная автокорреляционная функция. В пп. 12.4.2 и 12.4.3 мы рассмотрим методы интерпретации графиков этих функций.
Интерпретация графика коррелограммы
Анализ коррелограммы — это порой довольно непростая задача. О причинах возникающих при этом трудностей мы уже говорили. Здесь мы кратко остановимся на типичном поведении коррелограммы для некоторых классов временных рядов.
Для начала рассмотрим поведение коррелограммы для некоторых нестационарных рядов. В этом случае следует помнить, что коррелограмма практически не несет никакой информации о статистической зависимости или независимости членов временного ряда, однако она может отражать причины нарушения стационарности. Именно с этой точки зрения мы и рассматриваем два следующих примера.
Наличие тренда. Для временного ряда, содержащего тренд, коррелограмма не стремится к нулю с ростом значения лага к. Ее характерное поведение изображено на рис. 12.14, где коррелограмма построена для ряда урожайности зерновых (рис. 11.1а).
Наличие сезонных колебаний. Для ряда с сезонными колебаниями коррелограмма также будет содержать периодические всплески, соответствующие периоду сезонных колебаний. Это позволяет устанавливать предполагаемый период сезонности. Однако, как было сказано в п. 11.10, отдельные редкие выхода графика коррелограммы за границы доверительной трубки могут наблюдаться и у белого шума. Типичное поведение коррелограммы для ряда с сезонными колебаниями приведено на рис. 12.15, где она построена для данных месячных продаж шампанского в логарифмической шкале (рис. 12.12) после удаления из них линейного тренда.
Лекция_13
