2.6. Кореляційний та регресійний аналіз в r

Статистика:

Для обчислення дисперсії, кореляції використовуємо:

var (x) – вибіркова дисперсія для елементів вектора x;

cor (x, y) – коефіцієнт кореляції між елементами векторів x і y;

cor (z) – матриця кореляції між стовпцями матриці z;

cor (z [, 1:2]) – коефіцієнт кореляції між елементами стовпців 1 і 2 матриці z.

Для перевірки значимості коефіцієнт кореляції використовують:

z <- cor.test (x, y) – z $ estimate – коефіцієнт кореляції між елементами векторів x і y; z $ conf.int – 95% довірчий інтервал для оцінки коефіцієнта кореляції; z $ p.value – p-value, досягнуте при перевірці гіпотези про нульовому значенні коефіцієнта кореляції.

Графічний спосіб зображення матриці Кореляції:

symnum (cor (X)).

Побудова лінійного регресійної моделі:

a1 = lm (y ~ x, data = XXX) – будує регресійну модель виду y = a + b × x. По набору даних (data.frame), який містить змінні x і y;

a2 = lm (y ~ x1 + x2, data = XXX) – будує регресійну модель виду y = a + b × x1 + c × x2. По набору даних (data.frame), який містить змінні x1, x2 і y.

Додати на графік регресійну лінію:

abline (a1) – об'єкт a1 створений командою lm.

Розглянемо таблицю оптових та роздрібних цін на лікарські препарати компанії ”Фармак” [23].

Визначимо, наскільки сильний кореляційний зв’язок між оптовою ціною на лікарський засіб та його середньою націнкою. Так, якщо націнка на лікарські препарати формується як певний відсоток від оптової ціни, то очікується сильний кореляційний зв’язок, причому у лінійній кореляційній функції зсув a₀ буде близький до нуля (гіпотетична границя “0 грн ціна – 0 грн націнка”), а коефіцієнт b – близький за значенням до цього відсотка (у формі частки від цілого). Завантажимо дані, після чого створимо окрему зміну з оптовою ціною(optcina <- as.numeric(dani$optcina)). Далі обчисляємо націнку (nacinka <- as.numeric (dani$optcina)-optcina) і після цього обчислюємо кореляцію Пірсона (рис.2.1).

Рис.2.1. Обчислення коефіцієнт кореляції Пірсона

Тобто кореляційний коефіцієнт Пірсона r ≈ -0,33, що означає наявність слабкого зв’язку. Крім того, p-величина для гіпотези про рівність коефіцієнта кореляції нулю достатньо мала, тобто можна стверджувати про невипадковий характер зв’язку. Однак варто пам’ятати, що коректне визначення цієї p-величини та обчислення довірчих інтервалів для коефіцієнта кореляції Пірсона можливе лише при нормальному розподілі даних (рис.2.2).

Рис.2.2. Перевірка нормального розподілу даних

Сукупність оптових цін не підкоряється закону нормального розподілу. Проводити аналіз розподілу націнки вже немає сенсу, а також слід обережно ставитись до визначених попередньо параметрів. Тим не менше, саме значення коефіцієнта кореляції Пірсона від нормальності не залежить.

Обчислимо також кореляційний коефіцієнт Спірмена ранговий (рис.2.3).

Рис.2.3. Коефіцієнт кореляції Спірмана

Тобто кореляційний коефіцієнт Спірмена ρ ≈ -0,16. Бачимо, що коефіцієнт кореляції Спірмена більший, ніж Пірсона. Це є індикатором нелінійної залежності націнки від оптової ціни. Побудуємо лінійну регресійну модель (рис.2.4).

Рис.2.4. Лінійна регресійна модель

Residuals – відхилення, або залишки. Досить серйозна відмінність медіани залишків від нуля та значна диспропорція між абсолютними значеннями максимуму та мінімуму свідчать про те, що препарат, якого стосується цей максимум, для даної моделі є викидом.

Coefficients – таблиця коефіцієнтів. Перший рядок стосується зсуву (а₀), другий – коефіцієнт пропорційності регресора optcina (b). Перший стовпчик – встановлені значення коефіцієнтів. Із значень коефіцієнтів випливає, що найбільш ближчий метод формування націнки полягає у додаванні фіксованої додаткової вартості (5.97 грн). Другий стовпчик – стандартні відхилення коефіцієнтів – дозволяють оцінити наскільки сильно може відхилятись істинне значення коефіцієнту від обчисленого (досить сильно може відхилятися зсув). Третій стовпчик – значення t-статистики для нульової гіпотези про рівність коефіцієнта нулю. Четвертий стовпчик – p-величина для цієї гіпотези. Оскільки розподіл отриманої t-статистики описується розподілом Стьюдента тільки при нормально розподілених відгуці та регресорі (а попередньо нами було встановлено невідповідність регресора умовам нормальності), то отримана p-величина є не зовсім коректною. Тобто стверджувати статистично значиму відмінність а₀ від нуля не можна. Однак, оскільки p-величина для коефіцієнта регресора є достатньо малою, то можна стверджувати, що наявність кореляційного зв’язку між націнкою та оптовою ціною є статистично значимою.

Нижче також подано значення стандартної похибки відхилень (Residual standard error) – 9.68 досить велике, множинний коефіцієнт кореляції (коефіцієнт детермінації, Multiple R-squared) – 0.11 та скоректований коефіцієнт детермінації (Adjusted R-squared) – 0.09. Скоректований коефіцієнт детермінації враховує поправку на кількість регресорів і є придатним для порівняння регресійних моделей із різною кількістю регресорів. Також подано значення F-критерію (критерію Фішера для порівняння дисперсій) та його p-величина (при цьому порівнюється дисперсія відгуку із дисперсією залишків, якщо гіпотеза про рівність дисперсій не відхиляється, то отримана модель не відрізняється статистично значимо від "нульової" моделі – середнього арифметичного). Але так як ні розподіл відгуку, ні залишків не відповідає нормальному (це можна перевірити за допомогою відповідного критерію), а критерій Фішера належить до параметричних методів аналізу, то отримані значення також є не зовсім коректними.

Побудуємо графік залежності націнки від оптової ціни та зобразимо на ньому отриману лінійну модель[23] (рис.2.5).

Визначимо регресійну функцію наступною формулою: . Видно, що після добування кореня формула ідентична лінійній функції (рис.2.6).

Рис.2.5. Графік залежності націнки від оптової ціни та лінійна модель

Рис.2.6. Лінійна регресійна модель

Бачимо, що коефіцієнт детермінації зріс. Однак значення його все одно є невисоким. Вилучення викиду значно покращить ситуацію.

Основна частина цього розділу не містить посилань на джерела і містить багато непотрібної інформації. Натомість немає інформації про те, деякі функції і команди, що використовуються в практичній частині.