3 Көптік сызықтық регрессия

Ең кіші квадраттар әдісінің алғы шарттары (Гаусс-Марков шарттары)

1) барлық бақылаулар үшін кездейсоқ ауытқу дің математикалық үміті нөлге тең ;

2) кез келген және бақылаулары үшін кездейсоқ ауытқулар дисперсиясы тұрақты ;

3) кездейсоқ ауытқулар және , үшін бір-біріне тәуелсіз;

4) кездейсоқ ауытқулар түсіндіруші айнымалылардан тәуелсіз ;

5) модель параметрлер арқылы сызықтық тәуелсіз.

Гаусс-Марков теоремасы

Егер 1-5) алғы шарттар орындалса, онда ең кіші квадраттар әдісі бойынша табылған бағалар келесі қасиеттерге ие болады:

- бағалар жылжымаған болады, яғни

Бұл шартынан шығады және регрессия түзуін анықтауда ұдайы қате жоқ екенін көрсетеді;

- бағалар орнықты, себебі бақылаулар саны өскенде бағалардың дисперсиясы нөлге ұмтылады

Басқаша айтқанда таңдаманың көлемі өсуіне байланысты бағалау дәлдігі өседі.

- баға тиімді, яғни параметрлердің басқа бағаларына қарағанда дисперсиясы ең кіші баға болып табылады.

Егер 2 және 3 алғышарттар орындалмаса, яғни ауытқулар дисперсиясы тұрақты емес және бір –бірімен байланысты болса, онда бағалар жылжымаған және орнықты болу қасиеттері сақталады, бірақ баға тиімді болмайды. Классикалық сызықтық регрессиялық модель құруда көрсетілген алғы шарттардан басқа бірнеше ұйғарым жасалады. Мысалы

– түсіндіруші айнымалылар кездейсоқ шама болмайды;

– кездейсоқ ауытқулар қалыпты үлестірілген;

– бақылаулар саны түсіндіруші айнымалылар санына қарағанда едәуір үлкен;

– спецификациялау қатесі жоқ;

– жетілген мультиколлинеарлық жоқ.

Сызықтық регрессия теңдеуінің коэффициенттерінің интервалдық бағасы. Ең кіші квадраттар әдісінің негізгі алғы шарттары математикалық үміті нөлге тең, дисперсиясы тұрақты ауытқуларының қалыпты үлестіруі туралы болжам болып табылады, яғни ~ . Бұл болжамның нақтылығы ықтималдықтар теориясындағы белгілі орта шектік теоремаға негізделген. Егер кездейсоқ шама көптеген (бірнеше) тәуелсіз кездейсоқ шаманың қосындысына тең және әрбір қосылғыштың қосындыға әсері шамалы болса, онда қарастырып отырған кездейсоқ шама қалыпты үлестіруге жатады. Бірақ кездейсоқ ауытқулары моделге кіргізілмеген тәуелсіз айнымалылардың шамаларына әсерін көрсетеді. Әдетте осындай айнымалылар саны өте көп, бірақ олардың жеке әсері өте аз. Сондықтан кездейсоқ ауытқуларды қарастыруда орта шектік теореманың шарттары толық орындалады деп айтуға болады. кездейсоқ шамалары қалыпты үлестірілген деп тұжырым жасауға болады, яғни Онда ол тұжырым тек қана және сызықтық регрессия теңдеуінің және коэффициенттерінің сызықтық жылжымаған нүктелік бағалары ғана емес, сонымен қатар дәлдік кепілдігін беретін олардың интервалдық бағаларын табуға мүмкіндік береді. Жоғарыда көрсетілген болжамдар, және кездейсоқ шамалары қалыпты үлестірілген деп айтуға мүмкіндік береді. Шынында да, бізге белгілі болғандай, қалыпты үлестірілген кездейсоқ шамалардың сызықтық комбинациясы қалыпты үлестірілген кездейсоқ шама деп айтуға болады. және мына түрде жазылуы мүмкін:

мұндағы - тұрақты сандар. Басқаша айтқанда, және , арқылы -дің сызықтық функциялары болып табылады. Осыған сәйкес, және -де қалыпты үлестірілген. Алдында айтылғандай .

(16)

мұнда . Ендеше,

Жоғарыда көрсетілгендей статистика

(17)

еркіндік дәрежесі , Стьюдент үлестіруі болады. Әрі қарай - тік сенімділік интервалын табу үшін Стьюдент үлестіруінің кризистік нүктелер кестесінен сенімділік ықтималдығы және еркіндік дәрежесі болатын, мәні табылады.

(18)

(19)

(20)

Жақшадағы өрнекті түрлендіріп

(21)

(22)

(23)

. (24)

Қатынастар ( ), сенімділікпен және параметрлерін жабатын сенімділік интервалдары:

(25)

. (26)

Сенімділік интервалы регресияның және теориялық коэфициенттерінің табылған және бағаларының сенімділігіне сәйкес болатын интервалды анықтайды.