Перегляд вихідного коду сторінки Метод найменших квадратів

{{Регресійний аналіз}}
'''Метод найменших квадратів'''&nbsp;— метод знаходження наближеного розв'язку надлишково-визначеної системи. Часто застосовується в [[регресійний аналіз|регресійному аналізі]]. На практиці найчастіше використовується лінійний метод найменших квадратів, що використовується у випадку [[СЛАР|системи лінійних рівнянь]]. Зокрема важливим застосуванням у цьому випадку є оцінка параметрів у [[лінійна регресія|лінійній регресії]], що широко застосовується у [[математична статистика|математичній статистиці]] і [[економетрика|економетриці]].

== Мотиваційний приклад ==
[[Файл:Linear least squares example2.svg|ліворуч|thumb|Графік точок даних (червоним), лінія найменших квадратів (синім) і відстані (зеленим)]]

Нехай в результаті деякого досліду отримано чотири <math>(x, y)</math> точки даних: <math>(1, 6),</math> <math>(2, 5),</math> <math>(3, 7)</math> і <math>(4, 10)</math> (на малюнку ліворуч позначені червоним). Потрібно знайти [[Пряма|пряму]] <math>y=\beta_1+\beta_2 x</math>, яка найкраще підходить для цих точок. Інакше кажучи, ми хотіли б знайти числа <math>\beta_1</math> і <math>\beta_2</math>, які приблизно розв'язують надвизначену лінійну систему
: <math>\begin{alignat}{3}
\beta_1  +  1\beta_2 &&\; = \;&& 6 & \\
\beta_1  +  2\beta_2 &&\; = \;&& 5 & \\
\beta_1  +  3\beta_2 &&\; = \;&& 7 & \\
\beta_1  +  4\beta_2 &&\; = \;&& 10 & \\
\end{alignat}</math>
чотирьох рівнянь з двома невідомими в деякому ''найкращому'' сенсі.

Підхід '''найменших квадратів''' розв'язання цієї проблеми полягає у спробі зробити якомога меншою суму квадратів ''похибок'' між правою і лівою сторонами цієї системи, тобто необхідно знайти мінімум функції

: <math>\begin{align}S(\beta_1, \beta_2) =&
 \left[6-(\beta_1+1\beta_2)\right]^2
+\left[5-(\beta_1+2\beta_2)   \right]^2 \\
&+\left[7-(\beta_1 +  3\beta_2)\right]^2
+\left[10-(\beta_1  +  4\beta_2)\right]^2.\end{align}</math>

Мінімум визначають через обчислення [[часткова похідна|часткової похідної]] від <math>S(\beta_1, \beta_2)</math> щодо <math>\beta_1</math> і <math>\beta_2</math> і прирівнюванням їх до нуля

: <math>\frac{\partial S}{\partial \beta_1}=0=8\beta_1 + 20\beta_2 -56</math>
: <math>\frac{\partial S}{\partial \beta_2}=0=20\beta_1 + 60\beta_2 -154.</math>

Це приводить нас до системи з двох рівнянь і двох невідомих, які називаються ''нормальними рівняннями''. Роз'язком [[Система лінійних алгебраїчних рівнянь|СЛАР]] будуть

: <math>\beta_1=3.5</math>
: <math>\beta_2=1.4</math>,

звідки отримуємо <math>y=3.5+1.4x</math>, що є рівнянням прямої, яка проходить найближче до поданих чотирьох точок. Мінімальна сума квадратів [[похибка|похибок]] є <math>S(3.5, 1.4)=1.1^2+(-1.3)^2+(-0.7)^2+0.9^2=4.2.</math>

[[Файл:Linear least squares2.png|right|thumb|Результат підгонки сукупності спостережень <math>(x_i, y_i)</math> (червоним) [[Квадратична функція однієї змінної|квадратичною функцією]] <math>y=\beta_1+\beta_2x+\beta_3x^2\,</math> (синім). У лінійних найменших квадратах функція не повинна бути лінійною у своєму аргументі <math>x,</math> а лише щодо своїх параметрів <math>\beta_j,</math> які треба визначити для отримання найкращого результату]]

=== Використання квадратичної моделі ===
Важливо, що у методі ''лінійних'' найменших квадратів ми не обмежені використанням прямої як моделі як у попередньому прикладі. Наприклад, ми могли вибрати обмежену квадратичну модель <math>y=\beta_1 x^2</math>.<ref>Повне [[квадратне рівняння]] у загальному випадку має три ненульові коефіцієнти і має вигляд <math>y=\beta_1 x^2+\beta_2 x+\beta_3</math></ref> Ця модель все ще лінійна в сенсі параметру <math>\beta_1</math>, отже ми все ще можемо здійснювати той самий аналіз, будуючи систему рівнянь з точок даних:

: <math>\begin{alignat}{2}
6 &&\; = \beta_1 (1)^2 \\
5 &&\; = \beta_1 (2)^2 \\
7 &&\; = \beta_1 (3)^2 \\
10 &&\; = \beta_1 (4)^2 \\
\end{alignat}</math>

Часткові похідні щодо параметрів (цього разу лише одного) так само обчислюються і прирівнюються до 0:

<math>\frac{\partial S}{\partial \beta_1} = 0 = 708 \beta_1 - 498</math>

Розв'язок отриманого рівняння:

<math>\beta_1 = 0.703,</math>

що призводить до визначення найбільш підходящої моделі <math>y = 0.703 x^2</math>

== Лінійний випадок ==

=== Одна незалежна змінна ===

Нехай маємо лінійну регресію зі скалярною змінною ''x'':

: <math>y = x\beta_1 + \beta_0,</math>

а також вибірку початкових даних <math>(y_i, x_i)</math> розміру ''M''.
Тоді

: <math> \beta_0 = \frac{1}{M} \sum_i y_i - \frac{\beta_1}{M}\sum_i x_i,   \beta_1 = \frac{M\sum_i x_iy_i - \sum_i x_i\sum_i y_i}{M\sum_i x_i^2 - (\sum_i x_i)^2}</math>

=== Множинна регресія (випадок багатьох незалежних змінних) ===

Для надлишково-визначеної системи ''m'' [[СЛАР|лінійних рівнянь]] з ''n'' невідомими <math>\beta_j, \quad (m > n) :</math>

: <math>\sum_{j=1}^n X_{ij}\beta_j = y_i, \quad i=\overline{1,m}, \quad j=\overline{1,n}</math>

чи в матричній формі запису:

: <math>X \boldsymbol \beta = \mathbf y,</math>

зазвичай не існує точного розв'язку, і потрібно знайти такі '''''β''''', які мінімізують наступну норму:

: <math>\underset{\boldsymbol\beta} {\operatorname{arg\,min}} \, \sum_{i=1}^{m}\left|y_i - \sum_{j=1}^{n} X_{ij}\beta_j\right|^2 =

\underset{\boldsymbol\beta} {\operatorname{arg\,min}} \, \big\|\mathbf y - X \boldsymbol\beta \big\|^2.</math>

Такий розв'язок завжди існує і він є єдиним:

: <math>\hat \boldsymbol\beta = (X^ \top X )^{-1}X^ \top \mathbf y</math>

хоч дана формула не є ефективною через необхідність знаходити [[обернена матриця|обернену матрицю]].

=== Виведення формули ===

Значення <math>S = \sum_{i=1}^{m}\left|y_i - \sum_{j=1}^{n} X_{ij}\beta_j\right|^2</math> досягає мінімуму в точці в якій [[похідна]] по кожному параметру рівна нулю. Обчислюючи ці похідні одержимо:

: <math>\frac{\partial S}{\partial \beta_j}=2\sum_i r_i\frac{\partial r_i}{\partial \beta_j}=0 \ (j=1,2,\dots, n)</math>

де використано позначення <math>r_i= y_i - \sum_{j=1}^{n} X_{ij}\beta_j.</math>

Також виконуються рівності:

: <math>\frac{\partial r_i}{\partial \beta_j}=-X_{ij}.</math>

Підставляючи вирази для залишків і їх похідних одержимо рівність:

: <math>\frac{\partial S}{\partial \beta_j}=-2\sum_{i=1}^{m}X_{ij} \left( y_i-\sum_{k=1}^{n} X_{ik}\beta_k \right)=0.</math>

Дану рівність можна звести до вигляду:

: <math>\sum_{i=1}^{m}\sum_{k=1}^{n} X_{ij}X_{ik}\hat \beta_k=\sum_{i=1}^{m} X_{ij}y_i\ (j=1,2,\dots, n)\,</math>

або в матричній формі:

: <math>(\mathbf X^\top \mathbf X) \hat \boldsymbol \beta = \mathbf X^\top \mathbf y .</math>

=== Числові методи для обчислення розв'язку ===

Якщо матриця <math>\ X^\top X</math> є [[невироджена матриця|невиродженою]] та [[додатноозначена матриця|додатноозначеною]], тобто має повний [[ранг матриці|ранг]], тоді система може бути розв'язана за допомогою [[розклад Холецького|розкладу Холецького]] <math>X^\top X=R^\top R</math>, де <math>R</math>&nbsp;— верхня [[трикутна матриця]].

: <math> R^\top R \hat \boldsymbol \beta =  X^\top \mathbf y.</math>

Розв'язок отримаємо в два кроки:

# Отримаємо <math>\mathbf z</math> з рівняння <math> R^\top \mathbf z = X^\top \mathbf y,</math>
# Підставимо і отримаємо <math>\hat \boldsymbol \beta</math> з <math>R \hat \boldsymbol \beta= \mathbf z.</math>

В обох випадках використовуються властивості трикутної матриці.

=== Статистичні властивості ===

Одним із найважливіших застосувань лінійного МНК є оцінка параметрів лінійної регресії. Для заданого набору даних <math>\{y_i,\, x_{i1}, \ldots, x_{ip}\}_{i=1}^n</math> будується модель:

: <math>y_i =\beta_1 x_{i1} + \cdots + \beta_p x_{ip} + \varepsilon_i = x'_i\beta + \varepsilon_i, \qquad i = 1, \ldots, n,</math>

або в матричній формі:

: <math>y = X\beta + \varepsilon, \,</math>

де:

: <math>y = \begin{pmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{pmatrix}, \quad X = \begin{pmatrix} x'_1 \\ x'_2 \\ \vdots \\ x'_n \end{pmatrix} = \begin{pmatrix} x_{11} & \cdots & x_{1p} \\ x_{21} & \cdots & x_{2p} \\ \vdots & \ddots & \vdots \\ x_{n1} & \cdots & x_{np} \end{pmatrix}, \quad \beta = \begin{pmatrix} \beta_1 \\ \vdots \\ \beta_p \end{pmatrix}, \quad \varepsilon = \begin{pmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{pmatrix}.</math>

В цих формулах <math>\beta</math>&nbsp;— вектор параметрів, які оцінюються, наприклад, за допомогою методу найменших квадратів, а <math>\varepsilon</math>&nbsp;— вектор випадкових змінних.

У класичній моделі множинної лінійної регресії приймаються такі умови:

* <math>y_i = \beta_0 \beta_1 x_{i1} + \cdots + \beta_p x_{ip} + \varepsilon_i = x'_i\beta + \varepsilon_i, \qquad i = 1, \ldots, n,</math>
* <math>\operatorname{E}[\,\varepsilon_i] = 0.</math>
* <math>\operatorname{E}[\,\varepsilon_i \varepsilon_j] =  \begin{cases}\sigma^2 & i = j \\ 0 & i \neq j \end{cases}</math>
: тобто випадкові змінні є [[гомоскедастичність|гомоскедастичними]] і між ними відсутня будь-яка залежність.
* [[Ранг матриці]] ''X'' рівний ''p + 1'', тобто між пояснюючими змінними відсутня [[лінійна залежність]].

Для такої моделі оцінка <math>\hat \boldsymbol\beta</math> одержана методом найменших квадратів володіє властивостями:

* '''Незміщеність.''' Оцінка <math>\hat \boldsymbol\beta</math> є [[незміщена оцінка|незміщеною]], тобто <math>\operatorname{E}[\, \hat\beta \,| X \,] = \beta.</math> Справді:
: <math>\operatorname{E}[\,\hat\beta] = \operatorname{E}\Big[(X^ \top X)^{-1}X^ \top (X\beta+\varepsilon)\Big] = \beta + \operatorname{E}\Big[(X^ \top X)^{-1}X^ \top \varepsilon\Big] = \beta + (X^ \top X)^{-1}X^ \top\operatorname{E}(\varepsilon) =\beta</math>
* '''Коваріаційна матриця''' оцінки <math>\hat \boldsymbol\beta</math> рівна:
: <math>\operatorname{Var}[\, \hat\beta \,] = \sigma^2(X^ \top X)^{-1}.</math>
: Це випливає з того, що <math>\operatorname{Var}[\, Y \,] = \operatorname{Var}[\, \varepsilon \,]</math> і
: <math>\operatorname{E}[\,\hat\beta] =  \operatorname{Var}[\,  (X^ \top X )^{-1}X^ \top Y \,]= (X^ \top X )^{-1}X^ \top \operatorname{Var}[\, Y \,] X (X^ \top X )^{-1} = </math>
::: <math>= \sigma^2(X^ \top X)^{-1} (X^ \top X )(X^ \top X )^{-1} = \sigma^2(X^ \top X)^{-1}</math>
* '''Ефективність.''' Згідно з [[теорема Гауса — Маркова|теоремою Гауса&nbsp;— Маркова]] оцінка, що одержана МНК, є найкращою лінійною незміщеною оцінкою.
* '''Змістовність.''' При доволі слабких обмеженнях на матрицю ''X'' метод найменших квадратів є змістовним, тобто при збільшенні розміру вибірки, оцінка за імовірністю прямує до точного значення параметру. Однією з достатніх умов є наприклад прямування найменшого [[власне значення|власного значення]] матриці <math>(X^ \top X )</math> до безмежності при збільшенні розміру вибірки.
* Якщо додатково припустити [[нормальний розподіл|нормальність]] змінних <math>\varepsilon,</math> то оцінка МНК має розподіл:
: <math>\hat\beta\ \sim\ \mathcal{N}\big(\beta,\ \sigma^2(X^ \top X)^{-1}\big)</math>

== В математичному моделюванні ==

Нехай ми маємо вибірку початкових даних <math>f(x_i)=y_i\ i=\overline{1..n}</math>. Функція <math>f</math>&nbsp;— невідома.

Якщо ми знаємо приблизний вигляд функції <math>f(x)</math>, то задамо її у вигляді функціоналу <math>F(x_i,a_0,\ldots,a_m) \approx y_i</math>, де <math>a_0,\ldots , a_m</math>&nbsp;— невідомі константи.

Нам потрібно мінімізувати відмінності між <math>F</math> та <math>f</math>. Для цього беруть за міру суму квадратів різниць значень цих функцій у всіх точках <math>x_i</math> і її мінімізують (тому метод так і називається):

: <math>I(a_0,\ldots,a_m) = \sum_{i=0}^n (y_i - F(x_i, a_0, \ldots, a_m))^2 \to \min</math>

Коефіцієнти <math>a_j</math> в яких така міра мінімальна знаходять з системи:

: <math>\begin{cases}

\displaystyle \frac{\partial I(a_0,\ldots,a_m)}{\partial a_0} = 0 \\
\ldots \\
\displaystyle \frac{\partial I(a_0,\ldots,a_m)}{\partial a_m} = 0
\end{cases}
</math>

== Примітки ==
{{reflist}}

== Див. також ==
* [[Відстань Кука]]
* [[Тест Бройша-Паґана]]
* [[Метод інструментальних змінних]]

== Джерела ==
* {{Карташов.Імовірність процеси статистика}}
* {{Гнеденко.Курс теории вероятностей}}
* {{Гіхман.Скороход.Ядренко}}
* {{Клепко_ВМ|частина=Метод найменших квадратів|сторінки= 358}}
* {{Гельфанд.Линейная алгебра}}
* Лоусон Ч., Хенсон Р. ''Численное решение задач методом наименьших квадратов''.&nbsp;— М.: Наука, 1986.
* ''Прикладная статистика. Основы эконометрики: Учебник для вузов'': В 2 т. 2-е изд., испр.&nbsp;— Т. 2: Айвазян С А. ''Основы эконометрики''.&nbsp;— М.: ЮНИТИ- ДАНА, 2001.&nbsp;— 432 с. ISBN 5-238-00305-6
* Björck, Åke (1996). ''Numerical methods for least squares problems''. Philadelphia: SIAM. ISBN 0-89871-360-9.
* Greene, William H. (2002). ''Econometric analysis (5th ed.)''. New Jersey: Prentice Hall

{{Перекласти|en|Least squares}}
{{Statistics-stub}}


{{Статистика|state=collapsed}}

[[Категорія:Метод найменших квадратів| ]]
[[Категорія:Методи одного рівняння (економетрія)]]
[[Категорія:Алгоритми оптимізації]]