Лінійна регресія

Приклад простої лінійної регресії з однією незалежною змінною

У статистиці лінійна регресія — це метод моделювання залежності між скалярною змінною y та векторною (у загальному випадку) змінною X. У разі, якщо змінна X також є скаляром, регресію називають простою.

При використанні лінійної регресії взаємозв'язок між даними моделюється за допомогою лінійних функцій, а невідомі параметри моделі оцінюються за вхідними даними. Подібно до інших методів регресійного аналізу лінійна регресія повертає розподіл умовної імовірності y в залежності від X, а не розподіл спільної імовірності y та X, що стосується області мультиваріативного аналізу.

При розрахунках параметрів моделі лінійної регресії зазвичай застосовується метод найменших квадратів (МНК), але також можуть бути використані інші методи. Але метод найменших квадратів може бути використаний і для нелінійних моделей, тому МНК та лінійна регресія, хоч і є тісно пов'язаними, але не є синонімами.

Означення

Загальна лінійна регресійна модель має вигляд:

$y={\beta }_0+{\beta }_1{x}_1+\dots +{\beta }_K{x}_K+u,$

де $y$ — залежна пояснювана змінна, $(x_1,x_2,\dots ,x_K)$ — незалежні пояснювальні змінні, $u$ — випадкова похибка, розподіл якої в загальному випадку залежить від незалежних змінних, але математичне сподівання якої дорівнює нулеві.

Згідно з цією моделлю, математичне сподівання залежної змінної є лінійною функцією незалежних змінних:

$𝔼(y)={\beta }_0+{\beta }_1{x}_1+\dots +{\beta }_K{x}_K+u.$

Вектор параметрів $({\beta }_0,{\beta }_1,\dots ,{\beta }_K)$ є невідомим і задача лінійної регресії полягає у пошуку цих параметрів на основі деяких експериментальних значень $y$ і $(x_1,x_2,\dots ,x_K).$ Тобто для деяких n експериментів мають бути відомими значення $\{x_{i1},\dots ,x_{iK}{\}}_{i=1}^n$ незалежних змінних і відповідні їм значення $y_i$залежної змінної.

Згідно з означенням моделі для кожного експериментального випадку залежність між змінними визначається формулою

$y_i={\beta }_0+{\beta }_1{x}_{1,i}+\dots +{\beta }_K{x}_{K,i}+u_i,$

або, у матричних позначеннях, $y=X\beta +u,$

де:

$y=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right),X=\left(\begin{array}{c}x{\text{'}}_1\\ x{\text{'}}_2\\ ⋮\\ x{\text{'}}_n\end{array}\right)=\left(\begin{array}{cccc}1& x_{11}& \cdots & x_{1K}\\ 1& x_{21}& \cdots & x_{2K}\\ ⋮& \ddots & ⋮\\ 1& x_{n1}& \cdots & x_{nK}\end{array}\right),\beta =\left(\begin{array}{c}{\beta }_0\\ {\beta }_1\\ ⋮\\ {\beta }_K\end{array}\right),u=\left(\begin{array}{c}{u}_1\\ u_2\\ ⋮\\ u_n\end{array}\right).$

На основі цих даних потрібно оцінити значення параметрів $({\beta }_0,{\beta }_1,\dots ,{\beta }_K),$ а також розподіл випадкової величини $u.$ Зважаючи на характеристики досліджуваних змінних, можуть додаватися різні додаткові специфікації моделі і застосовуватися різні методи оцінки параметрів. Серед найпоширеніших специфікацій лінійних моделей є класична модель лінійної регресії і узагальнена модель лінійної регресії.

Класична модель лінійної регресії

Згідно з класичною моделлю додатково вводяться такі вимоги щодо специфікації моделі і відомих експериментальних даних:

• $\mathrm{\forall }i\ne j𝔼(u_i{u}_j|x_i)=0$ (відсутність кореляції залишків)
• $\mathrm{\forall }i𝔼(u_i^2|x_i)={\sigma }^2$ (гомоскедастичність)

попередні дві властивості можна також записати в матричних позначеннях $𝕍(u|X)={\sigma }^2{I}_n,$ де $I_n$ — одинична матриця розмірності n.

• Ранг матриці X дорівнює K+1.
• Усі елементи матриці X є невипадковими.

Часто додається також умова нормальності випадкових відхилень, яка дозволяє провести значно ширший аналіз оцінок параметрів та їх значимості, хоча і не є обов'язковою для можливості використання наприклад методу найменших квадратів:

• $u_i|x_i\sim 𝒩(0,{\sigma }^2).$

Для асимптотичних властивостей оцінок додатково вимагається виконання деяких додаткових умов на матрицю X коли її розмірність прямує до безмежності. Однією з таких умов може бути існування границі при прямуванні розмірності до нескінченності:

• $\underset{n\to \mathrm{\infty }}{\lim }{\lambda }_{-}(X^{\prime }X)=\mathrm{\infty },$ де ${\lambda }_{-}$ позначає найменше власне значення матриці.

Узагальнена модель лінійної регресії

Умови гомоскедастичності та відсутності кореляції між випадковими залишками у моделі не часто виконуються на практиці. Якщо замість цих двох умов у визначенні моделі взяти загальнішу умову $𝕍(u|X)={\sigma }^{2}W,$ де $W$ — відома додатноозначена матриця, то одержана модель називається узагальненою моделлю лінійної регресії.

Оскільки для кожної додатноозначеної матриці $W$ існує матриця $N,$ така що $W^{-1}=NN,$ то модель

$Ny=NX\beta +Nu,$

вже буде класичною моделлю лінійної регресії.

Методи оцінювання

Залежно від об'єктів, що досліджуються за допомогою лінійної регресії, та конкретних цілей дослідження можуть використовуватися різні методи оцінки невідомих параметрів. Найпопулярнішим є звичайний метод найменших квадратів. Він приймає за оцінку параметра значення, що мінімізують суму квадратів залишків по всіх спостереженнях:

$\hat{\beta }=\underset{\beta }{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\sum _{i=1}^n{|y_i-{\beta }_0-\sum _{j=1}^K{X}_{ij}{\beta }_j|}^2=\underset{\beta }{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\Vert y-X\beta {\Vert }^2.$

Метод найменших квадратів можна застосувати у будь-яких задачах, в яких ранг матриці $X$ рівний кількості її стовпців. Також цей метод дає простий аналітичний вираз для оцінки параметрів:

$\hat{\beta }=(X^{\prime }X{)}^{-1}{X}^{\prime }y.$

У випадку класичної моделі лінійної регресії оцінка методу найменших квадратів є незміщеною, змістовною і найкращою лінійною незміщеною оцінкою (детальніше про ці статистичні властивості у статті метод найменших квадратів).

У випадку коли деякі з умов класичної лінійної регресії не виконуються метод найменших квадратів може не бути оптимальним. Так для узагальненої моделі лінійної регресії де $𝕍(u|X)={\sigma }^{2}W,$ найкращою лінійною незміщеною оцінкою є оцінка, що одержується так званим узагальненим методом найменших квадратів:

$\hat{\beta }=(X^T{W}^{-1}X{)}^{-1}{X}^T{W}^{-1}y.$

Узагальнений метод найменших квадратів теж одержується мінімізацією деякої норми вектора відхилень:

$\hat{\beta }=\underset{\beta }{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}(y-X\beta {)}^T{W}^{-1}(y-X\beta ).$

Серед інших методів оцінювання:

• Метод найменших модулів, що знаходить мінімум суми не квадратів відхилень, а їх абсолютних значень:

$\hat{\beta }=\underset{\beta }{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\sum _{i=1}^n|y_i-{\beta }_0-\sum _{j=1}^K{X}_{ij}{\beta }_j|.$

Цей метод є найкращим в сенсі максимальної правдоподібності у випадку коли відхилення мають розподіл Лапласа. Метод найменших модулів є значно менш чутливим до викидів значень, ніж метод найменших квадратів, проте може мати більш ніж один розв'язок і не має простої формули визначення оцінки.

• Метод максимальної правдоподібності. Використовується коли відомі всі розподіли відхилень для всіх спостережень. При класичній і узагальненій моделях лінійної регресії з умовою нормальності відхилень приводить до того ж результату, що і метод найменших квадратів і узагальнений метод найменших квадратів відповідно.
• Ортогональна регресія. Застосовується у випадках коли в значення пояснюючих змінних теж можуть містити випадкові складові і при оцінці враховуються можливі відхилення по всіх змінних.

Див. також

• Регресійний аналіз
• Метод найменших квадратів

Джерела

• Шаблон:Карташов.Імовірність процеси статистика
• Шаблон:Гіхман.Скороход.Ядренко
• Айвазян С. А., Мхитарян В. С. Прикладная статистика и основы эконометрики: Учебник для вузов. — М.: ЮНИТИ, 1998. — 1022 с.
• С. Р. Рао, Линейные статистические методы и их применения / Пер. с англ. — М.: Наука,1968
• Rao, C. Radhakrishna; Toutenburg, Shalabh, Heumann (2008). Linear Models and Generalizations (3rd ed.). Berlin: Springer. ISBN 978-3-540-74226-5.