Метод найменших квадратів

Шаблон:Регресійний аналіз Метод найменших квадратів — метод знаходження наближеного розв'язку надлишково-визначеної системи. Часто застосовується в регресійному аналізі. На практиці найчастіше використовується лінійний метод найменших квадратів, що використовується у випадку системи лінійних рівнянь. Зокрема важливим застосуванням у цьому випадку є оцінка параметрів у лінійній регресії, що широко застосовується у математичній статистиці і економетриці.

Мотиваційний приклад

Графік точок даних (червоним), лінія найменших квадратів (синім) і відстані (зеленим)

Нехай в результаті деякого досліду отримано чотири $(x,y)$ точки даних: $(1,6),$ $(2,5),$ $(3,7)$ і $(4,10)$ (на малюнку ліворуч позначені червоним). Потрібно знайти пряму $y={\beta }_1+{\beta }_{2}x$, яка найкраще підходить для цих точок. Інакше кажучи, ми хотіли б знайти числа ${\beta }_1$ і ${\beta }_2$, які приблизно розв'язують надвизначену лінійну систему

$\begin{array}{cccccc}{\beta }_1+1{\beta }_2& & =& & 6& \\ {\beta }_1+2{\beta }_2& & =& & 5& \\ {\beta }_1+3{\beta }_2& & =& & 7& \\ {\beta }_1+4{\beta }_2& & =& & 10& \\ \end{array}$

чотирьох рівнянь з двома невідомими в деякому найкращому сенсі.

Підхід найменших квадратів розв'язання цієї проблеми полягає у спробі зробити якомога меншою суму квадратів похибок між правою і лівою сторонами цієї системи, тобто необхідно знайти мінімум функції

$\begin{array}{cc}S({\beta }_1,{\beta }_2)=& {[6-({\beta }_1+1{\beta }_2)]}^2+{[5-({\beta }_1+2{\beta }_2)]}^2\\ & +{[7-({\beta }_1+3{\beta }_2)]}^2+{[10-({\beta }_1+4{\beta }_2)]}^2.\end{array}$

Мінімум визначають через обчислення часткової похідної від $S({\beta }_1,{\beta }_2)$ щодо ${\beta }_1$ і ${\beta }_2$ і прирівнюванням їх до нуля

$\frac{\partial S}{\partial {\beta }_1}=0=8{\beta }_1+20{\beta }_2-56$

$\frac{\partial S}{\partial {\beta }_2}=0=20{\beta }_1+60{\beta }_2-154.$

Це приводить нас до системи з двох рівнянь і двох невідомих, які називаються нормальними рівняннями. Роз'язком СЛАР будуть

${\beta }_1=3.5$

${\beta }_2=1.4$,

звідки отримуємо $y=3.5+1.4x$, що є рівнянням прямої, яка проходить найближче до поданих чотирьох точок. Мінімальна сума квадратів похибок є $S(3.5,1.4)=1.1^2+(-1.3{)}^2+(-0.7{)}^2+0.9^2=4.2.$

Результат підгонки сукупності спостережень $(x_i,y_i)$ (червоним) квадратичною функцією $y={\beta }_1+{\beta }_{2}x+{\beta }_3{x}^2$ (синім). У лінійних найменших квадратах функція не повинна бути лінійною у своєму аргументі $x,$ а лише щодо своїх параметрів ${\beta }_j,$ які треба визначити для отримання найкращого результату

Використання квадратичної моделі

Важливо, що у методі лінійних найменших квадратів ми не обмежені використанням прямої як моделі як у попередньому прикладі. Наприклад, ми могли вибрати обмежену квадратичну модель $y={\beta }_1{x}^2$. Ця модель все ще лінійна в сенсі параметру ${\beta }_1$, отже ми все ще можемо здійснювати той самий аналіз, будуючи систему рівнянь з точок даних:

$\begin{array}{ccc}6& & ={\beta }_1(1{)}^2\\ 5& & ={\beta }_1(2{)}^2\\ 7& & ={\beta }_1(3{)}^2\\ 10& & ={\beta }_1(4{)}^2\\ \end{array}$

Часткові похідні щодо параметрів (цього разу лише одного) так само обчислюються і прирівнюються до 0:

$\frac{\partial S}{\partial {\beta }_1}=0=708{\beta }_1-498$

Розв'язок отриманого рівняння:

${\beta }_1=0.703,$

що призводить до визначення найбільш підходящої моделі $y=0.703x^2$

Лінійний випадок

Одна незалежна змінна

Нехай маємо лінійну регресію зі скалярною змінною x:

$y=x{\beta }_1+{\beta }_0,$

а також вибірку початкових даних $(y_i,x_i)$ розміру M. Тоді

${\beta }_0=\frac{1}{M}\sum _i{y}_i-\frac{{\beta }_1}{M}\sum _i{x}_i,{\beta }_1=\frac{M\sum _i{x}_i{y}_i-\sum _i{x}_i\sum _i{y}_i}{M\sum _i{x}_i^2-(\sum _i{x}_i{)}^2}$

Множинна регресія (випадок багатьох незалежних змінних)

Для надлишково-визначеної системи m лінійних рівнянь з n невідомими ${\beta }_j,(m>n):$

$\sum _{j=1}^n{X}_{ij}{\beta }_j=y_i,i=\overline{1,m},j=\overline{1,n}$

чи в матричній формі запису:

$X\mathit{\beta }=𝐲,$

зазвичай не існує точного розв'язку, і потрібно знайти такі β, які мінімізують наступну норму:

$\underset{\mathit{\beta }}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\sum _{i=1}^m{|y_i-\sum _{j=1}^n{X}_{ij}{\beta }_j|}^2=\underset{\mathit{\beta }}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\Vert 𝐲-X\mathit{\beta }{\Vert }^2.$

Такий розв'язок завжди існує і він є єдиним:

$\hat{\mathit{\beta }}=(X^{\mathrm{\top }}X{)}^{-1}{X}^{\mathrm{\top }}𝐲$

хоч дана формула не є ефективною через необхідність знаходити обернену матрицю.

Виведення формули

Значення $S=\sum _{i=1}^m{|y_i-\sum _{j=1}^n{X}_{ij}{\beta }_j|}^2$ досягає мінімуму в точці в якій похідна по кожному параметру рівна нулю. Обчислюючи ці похідні одержимо:

$\frac{\partial S}{\partial {\beta }_j}=2\sum _i{r}_i\frac{\partial r_i}{\partial {\beta }_j}=0(j=1,2,\dots ,n)$

де використано позначення $r_i=y_i-\sum _{j=1}^n{X}_{ij}{\beta }_j.$

Також виконуються рівності:

$\frac{\partial r_i}{\partial {\beta }_j}=-X_{ij}.$

Підставляючи вирази для залишків і їх похідних одержимо рівність:

$\frac{\partial S}{\partial {\beta }_j}=-2\sum _{i=1}^m{X}_{ij}(y_i-\sum _{k=1}^n{X}_{ik}{\beta }_k)=0.$

Дану рівність можна звести до вигляду:

$\sum _{i=1}^m\sum _{k=1}^n{X}_{ij}{X}_{ik}{\hat{\beta }}_k=\sum _{i=1}^m{X}_{ij}{y}_i(j=1,2,\dots ,n)$

або в матричній формі:

$({𝐗}^{\mathrm{\top }}𝐗)\hat{\mathit{\beta }}={𝐗}^{\mathrm{\top }}𝐲.$

Числові методи для обчислення розв'язку

Якщо матриця $X^{\mathrm{\top }}X$ є невиродженою та додатноозначеною, тобто має повний ранг, тоді система може бути розв'язана за допомогою розкладу Холецького $X^{\mathrm{\top }}X=R^{\mathrm{\top }}R$, де $R$ — верхня трикутна матриця.

$R^{\mathrm{\top }}R\hat{\mathit{\beta }}=X^{\mathrm{\top }}𝐲.$

Розв'язок отримаємо в два кроки:

1. Отримаємо $𝐳$ з рівняння $R^{\mathrm{\top }}𝐳=X^{\mathrm{\top }}𝐲,$
2. Підставимо і отримаємо $\hat{\mathit{\beta }}$ з $R\hat{\mathit{\beta }}=𝐳.$

В обох випадках використовуються властивості трикутної матриці.

Статистичні властивості

Одним із найважливіших застосувань лінійного МНК є оцінка параметрів лінійної регресії. Для заданого набору даних $\{y_i,x_{i1},\dots ,x_{ip}{\}}_{i=1}^n$ будується модель:

$y_i={\beta }_1{x}_{i1}+\cdots +{\beta }_p{x}_{ip}+{\epsilon }_i=x{\text{'}}_i\beta +{\epsilon }_i,i=1,\dots ,n,$

або в матричній формі:

$y=X\beta +\epsilon ,$

де:

$y=\left(\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_n\end{array}\right),X=\left(\begin{array}{c}x{\text{'}}_1\\ x{\text{'}}_2\\ ⋮\\ x{\text{'}}_n\end{array}\right)=\left(\begin{array}{ccc}{x}_{11}& \cdots & x_{1p}\\ x_{21}& \cdots & x_{2p}\\ ⋮& \ddots & ⋮\\ x_{n1}& \cdots & x_{np}\end{array}\right),\beta =\left(\begin{array}{c}{\beta }_1\\ ⋮\\ {\beta }_p\end{array}\right),\epsilon =\left(\begin{array}{c}{\epsilon }_1\\ {\epsilon }_2\\ ⋮\\ {\epsilon }_n\end{array}\right).$

В цих формулах $\beta$ — вектор параметрів, які оцінюються, наприклад, за допомогою методу найменших квадратів, а $\epsilon$ — вектор випадкових змінних.

У класичній моделі множинної лінійної регресії приймаються такі умови:

• $y_i={\beta }_0{\beta }_1{x}_{i1}+\cdots +{\beta }_p{x}_{ip}+{\epsilon }_i=x{\text{'}}_i\beta +{\epsilon }_i,i=1,\dots ,n,$
• $\mathrm{E}[{\epsilon }_i]=0.$
• $\mathrm{E}[{\epsilon }_i{\epsilon }_j]=\{\begin{array}{cc}{\sigma }^2& i=j\\ 0& i\ne j\end{array}$

тобто випадкові змінні є гомоскедастичними і між ними відсутня будь-яка залежність.

• Ранг матриці X рівний p + 1, тобто між пояснюючими змінними відсутня лінійна залежність.

Для такої моделі оцінка $\hat{\mathit{\beta }}$ одержана методом найменших квадратів володіє властивостями:

• Незміщеність. Оцінка $\hat{\mathit{\beta }}$ є незміщеною, тобто $\mathrm{E}[\hat{\beta }|X]=\beta .$ Справді:

$\mathrm{E}[\hat{\beta }]=\mathrm{E}[(X^{\mathrm{\top }}X{)}^{-1}{X}^{\mathrm{\top }}(X\beta +\epsilon )]=\beta +\mathrm{E}[(X^{\mathrm{\top }}X{)}^{-1}{X}^{\mathrm{\top }}\epsilon ]=\beta +(X^{\mathrm{\top }}X{)}^{-1}{X}^{\mathrm{\top }}\mathrm{E}(\epsilon )=\beta$

• Коваріаційна матриця оцінки $\hat{\mathit{\beta }}$ рівна:

$\mathrm{Var}[\hat{\beta }]={\sigma }^2(X^{\mathrm{\top }}X{)}^{-1}.$

Це випливає з того, що $\mathrm{Var}[Y]=\mathrm{Var}[\epsilon ]$ і

$\mathrm{E}[\hat{\beta }]=\mathrm{Var}[(X^{\mathrm{\top }}X{)}^{-1}{X}^{\mathrm{\top }}Y]=(X^{\mathrm{\top }}X{)}^{-1}{X}^{\mathrm{\top }}\mathrm{Var}[Y]X(X^{\mathrm{\top }}X{)}^{-1}=$

$={\sigma }^2(X^{\mathrm{\top }}X{)}^{-1}(X^{\mathrm{\top }}X)(X^{\mathrm{\top }}X{)}^{-1}={\sigma }^2(X^{\mathrm{\top }}X{)}^{-1}$

• Ефективність. Згідно з теоремою Гауса — Маркова оцінка, що одержана МНК, є найкращою лінійною незміщеною оцінкою.
• Змістовність. При доволі слабких обмеженнях на матрицю X метод найменших квадратів є змістовним, тобто при збільшенні розміру вибірки, оцінка за імовірністю прямує до точного значення параметру. Однією з достатніх умов є наприклад прямування найменшого власного значення матриці $(X^{\mathrm{\top }}X)$ до безмежності при збільшенні розміру вибірки.
• Якщо додатково припустити нормальність змінних $\epsilon ,$ то оцінка МНК має розподіл:

$\hat{\beta }\sim 𝒩(\beta ,{\sigma }^2(X^{\mathrm{\top }}X{)}^{-1})$

В математичному моделюванні

Нехай ми маємо вибірку початкових даних $f(x_i)=y_{i}i=\overline{1..n}$. Функція $f$ — невідома.

Якщо ми знаємо приблизний вигляд функції $f(x)$, то задамо її у вигляді функціоналу $F(x_i,a_0,\dots ,a_m)\approx y_i$, де $a_0,\dots ,a_m$ — невідомі константи.

Нам потрібно мінімізувати відмінності між $F$ та $f$. Для цього беруть за міру суму квадратів різниць значень цих функцій у всіх точках $x_i$ і її мінімізують (тому метод так і називається):

$I(a_0,\dots ,a_m)=\sum _{i=0}^n(y_i-F(x_i,a_0,\dots ,a_m){)}^2\to \min$

Коефіцієнти $a_j$ в яких така міра мінімальна знаходять з системи:

$\{\begin{array}{c}\frac{\partial I(a_0,\dots ,a_m)}{\partial a_0}=0\\ \dots \\ \frac{\partial I(a_0,\dots ,a_m)}{\partial a_m}=0\end{array}$

Див. також

• Відстань Кука
• Тест Бройша-Паґана
• Метод інструментальних змінних

Джерела

• Шаблон:Карташов.Імовірність процеси статистика
• Шаблон:Гнеденко.Курс теории вероятностей
• Шаблон:Гіхман.Скороход.Ядренко
• Шаблон:Клепко ВМ
• Шаблон:Гельфанд.Линейная алгебра
• Лоусон Ч., Хенсон Р. Численное решение задач методом наименьших квадратов. — М.: Наука, 1986.
• Прикладная статистика. Основы эконометрики: Учебник для вузов: В 2 т. 2-е изд., испр. — Т. 2: Айвазян С А. Основы эконометрики. — М.: ЮНИТИ- ДАНА, 2001. — 432 с. ISBN 5-238-00305-6
• Björck, Åke (1996). Numerical methods for least squares problems. Philadelphia: SIAM. ISBN 0-89871-360-9.
• Greene, William H. (2002). Econometric analysis (5th ed.). New Jersey: Prentice Hall

Шаблон:Статистика