Перегляд вихідного коду сторінки Проста лінійна регресія

{{Регресійний аналіз}}
[[Файл:Okuns_law_quarterly_differences.svg|міні|300x300пкс|[[Закон Оукена]] в [[Макроекономіка|макроекономіці]] є прикладом простої лінійної регресії. Тут ВВП (залежна змінна) вважається лінійно залежним від зміни рівня безробіття.]]
У [[Статистика|статистиці]], '''простою лінійною регресією''' є [[Лінійна регресія|лінійна регресійна]] модель з однією незалежною змінною.<ref>{{cite web|url=https://onlinecourses.science.psu.edu/stat501/node/251|title=What is Simple Linear Regression?|publisher=Pennsylvania State University|author=<!--Staff writer(s); no by-line.-->|accessdate=2016-10-17|archiveurl=https://web.archive.org/web/20180107230746/https://onlinecourses.science.psu.edu/stat501/node/251|archivedate=2018-01-07|deadurl=yes}}</ref><ref>{{cite book|url=http://www.stat.cmu.edu/~hseltman/309/Book/Book.pdf|title=Experimental Design and Analysis|last=Seltman|first=Howard J.|date=2008-09-08|page=227|accessdate=15 грудня 2016|archive-date=30 листопада 2016|archive-url=https://web.archive.org/web/20161130131711/http://www.stat.cmu.edu/~hseltman/309/Book/Book.pdf}}</ref><ref>{{cite web|url=http://ci.columbia.edu/ci/premba_test/c0331/s7/s7_6.html|title=Statistical Sampling and Regression: Simple Linear Regression|publisher=Columbia University|quote=When one independent variable is used in a regression, it is called a simple regression;(...)|accessdate=2016-10-17|archive-date=11 грудня 2017|archive-url=https://web.archive.org/web/20171211014442/http://ci.columbia.edu/ci/premba_test/c0331/s7/s7_6.html}}</ref><ref>{{cite book|url=http://onlinestatbook.com/Online_Statistics_Education.pdf|title=Introduction to Statistics|last=Lane|first=David M.|page=462|accessdate=15 грудня 2016|archive-date=10 грудня 2019|archive-url=https://web.archive.org/web/20191210180208/http://onlinestatbook.com/Online_Statistics_Education.pdf}}</ref> Тобто, її розглядають у двовимірному просторі вибірки, утвореному [[Залежна і незалежна змінні|однією незалежною змінною та однією залежною змінною]] (зазвичай ''х'' і ''у''&nbsp;— координати в [[Декартова система координат|декартовій системі координат]]). Модель призначена для знаходження лінійної функції (не вертикальною прямої) залежності, яка якомога точніше прогнозує значення залежної змінної як функції незалежної змінної.
Прикметник ''простий'' вказує на залежність залежної змінної від одного предиктора.

Далі в статті вважатимемо, що використовується звичайна регресія отримана методом найменшого квадратичного відхилення.
У цьому випадку, [[нахил]] (кутовий коефіцієнт прямої) цієї прямої дорівнює [[Коефіцієнт кореляції Пірсона|кореляції]] між y і x скоригований на коефіцієнти стандартних відхилень цих змінних. Точка перетину отриманої лінії проходить через центр мас {{Math|({{overline|''x''}}, {{overline|''y''}})}} даного набору точок.

== Допасування регресійної лінії ==
Припустимо, що є n точок {{Math|{(''x''<sub>''i''</sub>, ''y''<sub>''i''</sub>), ''i'' {{=}} 1, …, ''n''}.}} Функція, яка описує зв'язок ''х'' і ''y'' записується:
: <math> y_i = \alpha + \beta x_i + \varepsilon_i.</math>
Завдання полягає в тому, щоб знайти рівняння прямої лінії
: <math> y = \alpha + \beta x,</math>
яка б забезпечувала «найкращий» допасування наявних точок даних. Тут під «найкращий» розуміємо в сенсі найменшого квадратичного відхилення: лінія, що мінімізує суму квадратів похибок лінійної регресійної моделі. Іншими словами, α (перетин з віссю y) і β (нахил) є розв'язком наступної задачі мінімізації:
: <math>\text{Find }\min_{\alpha,\,\beta} Q(\alpha, \beta), \qquad \text{for } Q(\alpha, \beta) = \sum_{i=1}^n\varepsilon_i^{\,2} = \sum_{i=1}^n (y_i - \alpha - \beta x_i)^2\ </math>
Просто розкриваючи дужки у виразі отримуємо квадратичний вираз відносно α і β, можна показати, що значення α і β, які мінімізують [[Цільова функція|цільову функцію]] Q<ref>Kenney, J. F. and Keeping, E. S. (1962) «Linear Regression and Correlation.» Ch. 15 in ''Mathematics of Statistics'', Pt. 1, 3rd ed. Princeton, NJ: Van Nostrand, pp. 252—285</ref> записуються формулами:
: <math>\begin{align}
  \hat\beta &= \frac{ \sum_{i=1}^n (x_i - \bar{x})(y_i - \bar{y}) }{ \sum_{i=1}^n (x_i - \bar{x})^2 } \\[6pt]
            &= \frac{ \sum_{i=1}^n (x_i y_i - x_i \bar{y} - \bar{x} y_i + \bar{x} \bar{y})} { \sum_{i=1}^n (x_i^2 - 2 x_i \bar{x} + \bar{x}^2) } \\[6pt]
            &= \frac{ \sum_{i=1}^n (x_i y_i) - \bar{y} \sum_{i=1}^{n}  x_i  - \bar{x} \sum_{i=1}^{n} y_i + n  \bar{x} \bar{y}} { \sum_{i=1}^n (x_i^2) - 2 \bar{x}  \sum_{i=1}^n  x_i  + n \bar{x}^2 } \\[6pt]
            &= \frac{ \frac{1}{n} \sum_{i=1}^n x_i y_i - \bar{x} \bar{y} }{ \frac{1}{n} \sum_{i=1}^n {x_i^2} -   \overline{x}^2 } \\[6pt]
            &= \frac{ \overline{xy} - \bar{x}\bar{y} }{ \overline{x^2} - \bar{x}^2 } = \frac{ \operatorname{Cov}[x, y] }{ \operatorname{Var}[x] } \\
            &= r_{xy} \frac{s_y}{s_x}, \\[6pt]
 \hat\alpha & = \bar{y} - \hat\beta\,\bar{x},
\end{align}</math>
де {{Math|''r''<sub>''xy''</sub>}}&nbsp;— [[Кореляція|коефіцієнт кореляції]] між x і y; а {{Math|''s<sub>x</sub>''}} і {{Math|''s<sub>y</sub>''}}&nbsp;— це [[Стандартне відхилення|стандартні відхилення]] x і y. Горизонтальна риска над величиною вказує середнє значення цієї величини. Наприклад:
: <math>\overline{xy} = \frac{1}{n} \sum_{i=1}^n x_i y_i.</math>
Підставляючи вирази <math>\hat\alpha</math> і <math>\hat\beta</math> в
: <math>f = \hat{\alpha} + \hat{\beta} x,</math>
маємо
: <math>\frac{ f - \bar{y}}{s_y} = r_{xy} \frac{ x - \bar{x}}{s_x}  </math>
Це показує, що {{Math|''r''<sub>''xy''</sub>}}&nbsp;— нахил регресійної лінії для стандартизованих точок вибірки (і ця лінія проходить через початок координат).

Іноді корисно вираховувати {{Math|''r''<sub>''xy''</sub>}} даних з інших причин, використовуючи формулу:
: <math>r_{xy} = \frac{ \overline{xy} - \bar{x}\bar{y} }{ \sqrt{ \left(\overline{x^2} - \bar{x}^2\right)\left(\overline{y^2} - \bar{y}^2\right)} } </math>
[[Коефіцієнт детермінації]] (R-квадрат) дорівнює <math>r_{xy}^2</math>, коли маємо справу з лінійною моделлю з однією незалежною змінною. Докладніше в статті про [[Кореляція|коефіцієнт кореляції вибірки]].

== Чисельні властивості ==
# Регресійна лінія проходить через ''центр мас точок'', <math>(\bar x,\, \bar y)</math>, якщо модель включає в себе вільний член (тобто, не пересунена в початок координат)
# Сума похибок дорівнює нулю, якщо модель включає в себе вільний член:
: <math>\sum_{i=1}^n \hat{\varepsilon}_i = 0.</math>
# Значення похибок і {{mvar|x}} некорельовані, тобто (не залежно від того чи присутній в моделі вільний член):
: <math>\sum_{i=1}^n x_i \hat{\varepsilon}_i \;=\; 0</math>

== Виведення оцінок в простій регресії ==

Знайдемо <math>\hat{\alpha}</math> і <math>\hat{\beta}</math> які мінімізують суму квадратичних похибок (СКП):
: <math>\min_{\hat{\alpha}, \hat{\beta}} \,\operatorname{SSE}\left(\hat{\alpha}, \hat{\beta}\right) \equiv \min_{\hat{\alpha}, \hat{\beta}} \sum_{i=1}^n \left(y_{i} - \hat{\alpha} - \hat{\beta}x_i\right)^2</math>
Щоб знайти мінімум, візьмемо [[Частинна похідна|частинні похідні]] по <math>\hat{\alpha}</math> і <math>\hat{\beta}</math>
: <math>\begin{align}
                 &\frac{\partial}{\partial\hat{\alpha}} \left (\operatorname{SSE} \left(\hat{\alpha}, \hat{\beta}\right) \right ) = -2\sum_{i=1}^n \left(y_i - \hat{\alpha} - \hat{\beta}x_i\right) = 0 \\
  \Rightarrow {} &\sum_{i=1}^n \left(y_i - \hat{\alpha} - \hat{\beta}x_i\right) = 0 \\
  \Rightarrow {} &\sum_{i=1}^n y_i = \sum_{i=1}^n \hat{\alpha} + \hat{\beta}\sum_{i=1}^n x_i \\
  \Rightarrow {} &\sum_{i=1}^n y_i = n\hat{\alpha} + \hat{\beta}\sum_{i=1}^n x_i \\
  \Rightarrow {} &\frac{1}{n}\sum_{i=1}^n y_{i} = \hat{\alpha} + \frac{1}{n} \hat{\beta}\sum_{i=1}^n x_i \\
  \Rightarrow {} &\bar{y} = \hat{\alpha} + \hat{\beta}\bar{x}
\end{align}</math>
Перед взяттям частинної похідно по <math>\hat{\beta}</math>, підставимо попередній результат для <math>\hat{\alpha}</math>.
: <math>\min_{\hat{\alpha}, \hat{\beta}} \sum_{i=1}^n \left[y_i - \left(\bar{y} - \hat{\beta} \bar{x}\right) - \hat{\beta}x_{i}\right]^2 = \min_{\hat{\alpha}, \hat{\beta}} \sum_{i=1}^n \left[\left(y_i - \bar{y}\right) - \hat{\beta}\left(x_i - \bar{x}\right) \right]^2</math>
Тепер візьмемо похідну по <math>\hat{\beta}</math>:
: <math>\begin{align}
            &\frac{\partial}{\partial\hat{\beta}} \left (\operatorname{SSE} \left(\hat{\alpha}, \hat{\beta}\right) \right )= -2\sum_{i=1}^n \left[\left(y_{i} - \bar{y}\right) - \hat{\beta}\left(x_{i} - \bar{x}\right)\right]\left(x_{i}-\bar{x}\right) = 0 \\
  \Rightarrow {} &\sum_{i=1}^n \left(y_i - \bar{y}\right)\left(x_i - \bar{x}\right) - \hat{\beta}\sum_{i=1}^n \left(x_i - \bar{x}\right)^2 = 0 \\
  \Rightarrow {} &\hat{\beta} = \frac{\sum_{i=1}^n \left(y_{i} - \bar{y}\right)\left(x_i - \bar{x}\right)}{\sum_{i=1}^n \left(x_{i}-\bar{x}\right)^2} = \frac{\operatorname{Cov}(x, y)}{\operatorname{Var}(x)}
\end{align}</math>
І, нарешті, підставимо <math>\hat{\beta}</math> у вираз для визначення <math>\hat{\alpha}</math>
: <math>\hat{\alpha} = \bar{y} - \hat{\beta}\bar{x}</math>

== Див. також ==
* [[Лінійна регресія]]

== Джерела ==
* {{Карташов.Імовірність процеси статистика}}

== Примітки ==
{{reflist}}

[[Категорія:Параметрична статистика]]
[[Категорія:Регресійний аналіз]]