1. Основные определения и формулы

Экономические явления, как правило, определяются большим числом одновременно и совокупно действующих факторов. В связи с этим часто возникает задача исследования зависимости одной зависимой переменной от нескольких объясняющих переменных . Эта задача решается с помощью множественного регрессионного анализа.

Множественная регрессия – регрессия между переменными и т.е. модель вида:

где – зависимая переменная (объясняемая переменная, результативный признак);

– независимые объясняющие переменные;

– возмущение или стохастическая переменная, включающая влияние неучтенных в модели факторов;

– число параметров при переменных

Модель, в которой зависимая переменная , возмущения u, и объясняющие переменные удовлетворяют условиям теоремы Гауса-Маркова (см. кейс 2) и, кроме того, предпосылке о невырожденности матрицы (независимости столбцов) значений объясняющих переменных, называется классической нормальной линейной моделью множественной регрессии (Classic Normal Linear Multiple Regression model).

Уравнение множественной линейной регрессии в случае независимых переменных имеет вид . Поэтому одна из основных целей при построении множественной регрессии состоит в определении влияния каждой в отдельности переменной, входящей в уравнение, и их совокупности на моделируемый показатель.

Для оценки параметров уравнения множественной регрессии применяют метод наименьших квадратов. Строится система нормальных уравнений:

Решение данной системы уравнений позволяет получить оценки параметров регрессии с помощью метода определителей

…,

где – определитель системы;

– частные определители, получаемые путем замены соответствующего столбца матрицы определителя системы данными правой части системы.

Частные уравнения регрессии характеризуют изолированное влияние каждой входящей в уравнение переменной на результат, когда другие переменные неизменны. Это позволяет на основе частных уравнений регрессии рассчитывать частные коэффициенты эластичности:

(1.1)

и средний коэффициент эластичности, который показывает на сколько процентов в среднем изменится результат при изменении соответствующий переменной на 1%:

(1.2)

Сравнивая между собой полученные средние коэффициенты эластичности, можно тем самым ранжировать влияние объясняющих переменных на результат.

Вариация и ее свойства

Отклонения часто называют вариациями, отсюда общее название, описывающее эту ситуацию – вариабельность. Понятие вариабельность имеет также синонимы: вариативность, изменчивость, неустойчивость.

Вариа́ция — различие значений какого-либо признака у разных единиц изучаемой совокупности за один и тот же промежуток времени. Причиной возникновения вариации являются различные условия существования разных единиц совокупности. Определение вариации необходимо при организации выборочного наблюдения, статистическом моделировании, планировании экспертных опросов и др. По степени вариации можно судить об однородности совокупности, устойчивости значений признака, типичности средней, о взаимосвязи между какими-либо признаками¹.

Исследование вариации имеет большое практическое значение и является одним из необходимых разделов в эконометрическом исследовании. Необходимость изучения вариации связана с тем, что средняя, являясь равнодействующей, выполняет свою основную задачу с разной степенью точности: чем меньше различия индивидуальных значений фактора, подлежащих осреднению, тем однороднее совокупность, а, следовательно, точнее и надежнее средняя, и наоборот. Таким образом, по степени вариации можно судить о границах фактора, однородности совокупности по данному фактору, типичности средней, взаимосвязи факторов, определяющих вариацию.

Изменение признака в совокупности осуществляется с помощью абсолютных и относительных показателей вариации.

Абсолютные показатели вариации включают:

• размах вариации R;

• среднее линейное отклонение ā;

• дисперсию σ²;

• среднее квадратическое отклонение σ.

Размах вариации — это разность между максимальным и минимальным значениями рассматриваемого признака, т.е. показывает пределы, в которых изменяется величина признака в изучаемой совокупности:

R = x_min – x_max. (1.3)

Для обобщенной характеристики различий в значениях признака вычисляют средние показатели вариации, основанные на учете отклонений от средней арифметической. За отклонение от средней принимается разность

При этом для того, чтобы избежать нулевой суммы отклонений вариантов признака от средней (нулевое свойство средней), приходится либо не учитывать знаки отклонения, то есть брать эту сумму по модулю , либо возводить значения отклонений в квадрат

Среднее линейное отклонение (ā) – это среднее арифметическое из абсолютных отклонений отдельных значений признака от среднего. Различают простое среднее линейное отклонение, которое рассчитывается по формуле:

(1.4)

где — выборочное среднее,

Дисперсия (σ²) - представляет собой средний квадрат отклонений индивидуальных значений признака от их средней величины. Простая дисперсия рассчитывается по формуле:

(1.6)

Более удобно вычислять дисперсию по формуле:

(1.7)

которое получается из основной путем несложных преобразований. В этом случае средний квадрат отклонений равен средней из квадратов значений признака минус квадрат средней.

Для не сгруппированных данных:

(1.8)

Для сгруппированных данных:

(1.9)

Среднее квадратическое отклонение (σ) – является наиболее совершенной характеристикой (основной абсолютной мерой) вариации. Еще его называют стандартом или стандартным отклонением. Среднее квадратическое отклонение равно квадратному корню из среднего квадрата отклонений отдельных значений признака от средней арифметической.

Простое среднее квадратическое отклонение:

(1.10)

Среднее квадратическое отклонение σ заметно больше, чем аналогичный ему по смыслу среднее линейное отклонение. Между средним квадратическим и средним линейным отклонениями в условиях нормального распределения имеет место соотношение: σ ~ 1,25 ā.

Относительные показатели

Кроме показателей вариации, выраженных в абсолютных величинах, в статистическом исследовании используются показатели вариации (V), выраженные в относительных величинах, особенно для целей сравнения колеблемости различных признаков одной и той же совокупности или для сравнения колеблемости одного и того же признака в нескольких совокупностях.

Данные показатели рассчитываются как отношение размаха вариации к средней величине признака (коэффициент осцилляции), отношение среднего линейного отклонения к средней величине признака (линейный коэффициент вариации), отношение среднего квадратического отклонения к средней величине признака (коэффициент вариации) и, как правило, выражаются в процентах:

ρ -коэффициент осцилляции (относительный размах вариации):

(1.11)

m - линейный коэффициент вариации (относительное отклонение по модулю):

(1.12)

Сравнение вариации нескольких совокупностей по одному и тому же признаку, а тем более по различным признакам с помощью абсолютных показателей не представляется возможным. В этих случаях для сравнительной оценки степени различия строят относительные показатели вариации. Они вычисляются как отношения абсолютных показателей вариации к средней:

Наиболее часто применяется коэффициент вариации (относительное отклонение). Он используется не только для сравнительной оценки вариации, но и для характеристики однородности совокупности. Совокупность считается однородной, если коэффициент вариации не превышает 33% (для распределений, близких к нормальному).

V - коэффициент вариации рассчитывается по формуле:

(1.13)

Коэффициент вариации случайной величины — мера относительного разброса случайной величины. Он показывает, какую долю среднего значения этой величины составляет её средний разброс. Исчисляется в процентах. Вычисляется только для количественных данных. В отличие от среднего квадратического или стандартного отклонения измеряет не абсолютную, а относительную меру разброса значений признака в статистической совокупности. Считается, что коэффициент вариации эффективнее абсолютного показателя вариации.²

Чем больше коэффициент V приближен к нулю, тем меньше вариация значений признака.

Корреляция, вектор и матрица коэффициентов корреляции

Корреля́ция — статистическая взаимосвязь двух или нескольких случайных величин, либо величин, которые можно с некоторой допустимой степенью точности считать таковыми. При этом изменения одной или нескольких из этих величин приводят к систематическому изменению другой или других величин. Математической мерой корреляции двух случайных величин служит коэффициент корреляции.

Корреляция может быть положительной и отрицательной (возможна также ситуация отсутствия статистической взаимосвязи — например, для независимых случайных величин). Отрицательная корреляция — корреляция, при которой увеличение одной переменной связано с уменьшением другой переменной, при этом коэффициент корреляции отрицателен. Положительная корреляция — корреляция, при которой увеличение одной переменной связано с увеличением другой переменной, при этом коэффициент корреляции положителен.

Автокорреляция — статистическая взаимосвязь между случайными величинами из одного ряда, но взятых со сдвигом, например, для случайного процесса — со сдвигом по времени.

Метод обработки статистических данных, заключающийся в изучении коэффициентов (корреляции) между переменными, называется корреляционным анализом.

Для оценивания силы линейной зависимости объясняемой переменной Y от потенциальных объясняющих переменных x₁, x₂, .., x_m рассчитываются коэффициенты корреляции по формуле 1.14 и записываются в виде вектора корреляции R₀:

(1.14)

(1.15)

К оэффициенты корреляции между потенциальными объясняющими переменными x₁, x₂, .., x_m рассчитываются по формуле (1.16) и записываются в виде матрицы корреляции R:

(1.16)

(1.17)

Матрица R симметрична относительно единичной диагонали, т.е.

r_ij = r_ji

Тесноту влияния всех объясняющих переменных на результат позволяет определять коэффициент (индекс) множественной корреляции:

(1.18)

Величина индекса множественной корреляции лежит в пределах от 0 до 1 и должна быть больше или равна максимальному парному индексу корреляции:

Чем ближе значение индекса множественной корреляции к 1, тем теснее связь результативного признака с набором исследуемых переменных.

Сравнивая индексы множественной и парной корреляции, можно сделать вывод о целесообразности (величина индекса множественной корреляции существенно отличается от индекса парной корреляции) включения в уравнение регрессии того или иного фактора.

При линейной зависимости совокупный коэффициент множественной корреляции определяется через матрицу парных коэффициентов корреляции:

(1.19)

где – определитель матрицы парных коэффициентов корреляции;

– определитель матрицы межфакторной корреляции.

В [9, стр. 33] коэффициент множественной корреляции рассчитывается по формуле

(1.20)

где ∆R – определитель матрицы R коэффициентов корреляции попарно объединенных объясняющих переменных x₁, x₂, …, x_n;

∆W – определитель матрицы W, представленной в виде

(1.21)

R₀ – вектор коэффициентов корреляции между переменной y и объясняющими переменными x₁, x₂, …, x_n.

Частные коэффициенты корреляции характеризуют тесноту линейной зависимости между результатом и соответствующим фактором при устранении влияния других факторов. Если вычисляется, например, (частный коэффициент корреляции между и при фиксированном влиянии ), это означает, что определяется количественная мера линейной зависимости между и которая будет иметь место, если устранить влияние на эти признаки фактора

Частные коэффициенты корреляции, измеряющие влияние на фактора при неизменном уровне других факторов, можно определить как:

(1.22)

или по рекуррентной формуле:

Для двухфакторного уравнения:

или

Частные коэффициенты корреляции изменяются в пределах от -1 до +1.

Сравнение значений парного и частного коэффициентов корреляции показывает направление воздействия фиксируемого фактора. Если частный коэффициент корреляции получится меньше, чем соответствующий парный коэффициент значит взаимосвязь признаков и в некоторой степени обусловлена воздействием на них фиксируемой переменной И наоборот, большее значение частного коэффициента по сравнению с парным свидетельствует о том, что фиксируемая переменная ослабляет своим воздействием связь и

Порядок частного коэффициента корреляции определяется количеством факторов, влияние которых исключается. Например, – коэффициент частной корреляции первого порядка.

Зная частные коэффициенты корреляции (последовательно первого, второго и более высокого порядка), можно определить совокупный коэффициент множественной корреляции:

(1.23)

Качество построенной модели в целом оценивает коэффициент (индекс) множественной детерминации, который рассчитывается как квадрат индекса множественной корреляции: Коэффициент множественной детерминации фиксирует долю объясненной вариации результативного признака за счет рассматриваемых в регрессии факторов. Влияние других, не учтенных в модели факторов, оценивается как

Если число параметров при близко к объему наблюдений, то коэффициент множественной корреляции приблизится к единице даже при слабой связи факторов с результатом. Для того чтобы не допустить возможного преувеличения тесноты связи, используется скорректированный индекс множественной корреляции, который содержит поправку на число степеней свободы:

(1.24)

где k – число объясняющих переменных.

Чем больше k, тем сильнее различия и

Значимость частных коэффициентов корреляции проверяется аналогично случаю парных коэффициентов корреляции. Единственным отличием является число степеней свободы, которое следует брать равным

ѵ=n-k-2.

Значимость уравнения множественной регрессии в целом, так же как и в парной регрессии, оценивается с помощью -критерия Фишера:

(1.25)

Мерой для оценки включения фактора в модель служит частный -критерий. В общем виде для фактора частный -критерий определяется как

(1.26)

Для двухфакторного уравнения частные -критерии имеют вид:

Если фактическое значение превышает табличное, то дополнительное включение фактора в модель статистически оправданно и коэффициент чистой регрессии при факторе статистически значим. Если же фактическое значение меньше табличного, то фактор нецелесообразно включать в модель, а коэффициент регрессии при данном факторе в этом случае статистически незначим.

Для оценки значимости коэффициентов чистой регрессии по -критерию Стьюдента используется формула:

(1.27)

где – коэффициент чистой регрессии при факторе

– средняя квадратическая (стандартная) ошибка коэффициента регрессии которая может быть определена по формуле:

(1.28)

При дополнительном включении в регрессию нового фактора коэффициент детерминации должен возрастать, а остаточная дисперсия уменьшаться. Если это не так, то включаемый в анализ новый фактор не улучшает модель и практически является лишним фактором. Насыщение модели лишними факторами не только не снижает величину остаточной дисперсии и не увеличивает показатель детерминации, но и приводит к статистической незначимости параметров регрессии по -критерию Стьюдента.

При построении уравнения множественной регрессии может возникнуть проблема мультиколлинеарности факторов. Считается, что две переменные явно коллинеарны, т.е. находятся между собой в линейной зависимости, если Если факторы явно коллинеарны, то они дублируют друг друга и один из них рекомендуется исключить из регрессии. Предпочтение при этом отдается не фактору, более тесно связанному с результатом, а тому фактору, который при достаточно тесной связи с результатом имеет наименьшую тесноту связи с другими факторами.

Для оценки мультиколлинеарности факторов может использоваться определитель матрицы парных коэффициентов корреляции между факторами. Чем ближе к 0 определитель матрицы межфакторной корреляции, тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И наоборот, чем ближе к 1 определитель, тем меньше мультиколлинеарность факторов.

Для применения МНК требуется, чтобы дисперсия остатков была гомоскедастичной. Это означает, что для каждого значения фактора остатки имеют одинаковую дисперсию. Если это условие применения МНК не соблюдается, то имеет место гетероскедастичность. При нарушении гомоскедастичности выполняются неравенства

Наличие гетероскедастичности можно наглядно видеть из поля корреляции (рис. 2.1).

а) б)

в)

Рисунок 2.1 Примеры гетероскедастичности:

а) дисперсия остатков растет по мере увеличения

б) дисперсия остатков достигает максимальной величины при средних значениях переменной и уменьшается при минимальных и максимальных значениях

в) максимальная дисперсия остатков при малых значениях и дисперсия остатков однородна по мере увеличения значений