Регрессия теңдеуінің коэффициенттерін есептеу үшін кіші квадраттар әдісі.

мұндағы ухі = а + bх, регрессия теңдеуі бойынша есептелген мәндер; хі,уі - бақылау деректері; а,b - белгісіз параметрлер. S(а,b) функциясы үздіксіз, дөңес және төменгі жағынан нөлмен шектелген, яғни минимумы бар функция. Осы әдісті ең кіші квадраттар әдісі (ЕКӘ) деп атайды. Ең кіші квадраттар әдісі бойынша табылған а және b бағалаулары керекті қасиеттерге ие болуы үшін, мынадай шарттар орындалады дейік:

1. і шамалары - кездейсоқ айнымалылар;

2. і қателіктерінің математикалық күтімі нөлге тең, яғни М і = 0;

3. і қателіктерінің дисперсиясы тұрақты шама, яғни Dі = Dі = 2;

4) і қателіктері өзара тәуелсіз, яғни

5) і қателіктері қалыпты үлестірімге ие болады, яғни і ϵ N(0;2). Егер алдындағы шарттары орындалса, онда ең кіші квадраттар әдісі бойынша табылған бағалар мынадай қасиеттерге ие болатыны теориядан белгілі:

а) Бағалар ауытқымаған, яғни Ма =α,Мb =β.

Бұл қасиет Мі = 0 шартынан шығады, яғни бағалау барысында жүйелік қателіктер болмайды.

б) Бағалар тиянақты, яғни бақылау саны өскен сайын бағалар дисперсиясы 0-ге ұмтылады:

Басқаша айтқанда, n өскен сайын бағалар шындылығы өседі.

в) Бағалар тиімді, яғни бұл параметрлердің кез келген у бойынша сызықты бағаларының ішінде ең кіші дисперсияға ие болады.

Гаусс-Марковтың шарттары

1. Кез келген байқау үшін кездейсоқ мүшенің математикалық күтімі нөлге тең:

2. Барлық байқау үшін кездейсоқ мүшенің теоретикалық дисперсиясының үлестірілуі бірдей

3. Кез келген екі байқаудың кездейсоқ мүшелерінің арасында байланыс жоқ, теоретикалық коварациясы нөлге тең

4. Кездейсоқ мүшенің үлестірілуі кез келген түсіндіруші айнымалы үлестіруіне тәуелсіз

Көптік сызықтық регрессияның классикалық моделі

Кез келген кездейсоқ вектор үшін оның математикалық үмітін

Және коварациялық матрицасын

Анықтаймыз.

Вектор сияқты матрицаның матеметикалық үміті де элементтнрі бастапқы матрицалық үміттері болатын матрица болып табылыды. Сондықтан ковариациялық матрица

V(z) Ковариациялық матрицаның диагоналында (i,j) -ші позицияда дисперсиялыр, ал (i,j) -ші позицияларда коварияциялар жазылған.

Ковариациялық матрицаның келесі қасиетіне тоқтала кетсем. Егер c-n өлшемді тұрақты вектор, A-n ретті анықталған квадраттық матрица болса, онда V(z+c)=V(z), V(Az)=AV(z)A’

Z Кездейсоқ вектор үшін z～(μ,V) жазуы, z-тің математикалық үміті μ , ал оның ковариациялық матрицасы V дегенді білдіреді.

Диагональдары 1, ал басқа элементтері 0 болатын квадраттық матрицаны, яғни n ретті бірлік матрицаны арқылы белгілейміз.

Көптік сызықтық регрессияның классикалық моделінің тұжырымдарын қарастырсам.

1. түсіндіруші айнымалылар кездейсоқ емес, ал X матрицасының рангі k, k ≤ n, яғни X матрицаның толық рангі бар болады. Бұл X матрицасының элементтері анықталған шамалар, ал оның тік жолдары сызықты тәуелсіз екенін көрсетеді.

   

2. Кездейсоқ мүшелер векторы ～. Демек, әрбір компаненті нөлдік математикалық үміт дисперсияға ие болады, ал түрлі және ковариациясы нөлге тең деп түсіндіріледі.

2’. Егер қасымша вектор компоненттері қалыпты үлестірілген деп саналса, онда 2 шарт ～ шартымен алмастырылады.

Регрессия коэффициенттерiнiң бағасының мәнділігін талдау.

Сызықтық регрессия моделін құру барысында нақты бір таңдама бойынша есептелген коэффиценттердің мәнділігі жайлы мәселе маңызды болып табылады. Берілген саны үшін екі гипотеза құрамыз:

Нөлдік

Альтернативті

Коэффицентінің бағасы, ал бағасының стандарттық қатесі болсын. Онда келесі шама ～ яғни n-k еркіндік дәрежесі бар t-Стьюдент үлестіруімен таралады, мұндағы n - байқау саны,ал к - бос мүшесі қоса алғандағы теңдеудің бағаланатын коэффиценттер саны.

β коэффиценттер векторының бағасының ковариациялық матрицасын табамыз:

Белгісіз дисперсия ығыспаған бағасымен алмастырылады. бағаланған коэффиценттің стандарттық қатесі келесі формуламен анықталады: мұндағы s - регрессияның стандарттық қатесі,

Таңдап алынған δ саны үшін t- үлестіру кестесінен критикалық мән анықталады, ол үшін t～ болу ықтималдығы болған, 1-δ мәніне тең. Содан соң келесі шарт тексеріледі Егер ол орындалмаса, гипотезасы жоққа шығарылады, ал ол орындаоған кезде қабылданады.

Әдетте коэффиценті гипотезасымен салыстырылады. Егер, δ=0.05 болған жағдайда гипотеза қабылданбаса, онда 5 пайыздық деңгейде коэффиценті мәнді деп айтады.

коэффицентінің стандарттық қатесінің мәні мен сәйкес t- статистикасы, яғни эконометрикалық пакеттер көмегімен есептелінеді.