Перегляд вихідного коду сторінки Теорема Гаусса — Маркова

{{Регресійний аналіз}}
{{Сирий переклад|en|дата=жовтень 2021}}

У [[статистика|статистиці]], '''теорема Гаусса-Маркова''' (або просто '''теорема Гаусса''' для деяких акторів)<ref>See chapter 7 of {{cite book|author1=Johnson, R.A.|author2=Wichern, D.W.|year=2002|title=Applied multivariate statistical analysis|volume=5|publisher=Prentice hall}}</ref> стверджує, що у звичайному методі найменших квадратів (ЗМНК) оцінювач має найменшу [[дисперсія вибірки|дисперсію вибірки]] в межах [[Клас (теорія множин)|класу]] від [[Лінійна регресія|лінійних]] [[Незміщена оцінка|неупереджених]] [[Статистична оцінка|оцінок]], якщо [[Похибки та залишки|помилки]] у лінійній регресійній моделі є некорильованими, мають [[Гомоскедастичність|рівні дисперсії]] та очікуване значення нуля.<ref>{{cite book |first=Henri |last=Theil |author-link=Анрі Тейл |chapter=Best Linear Unbiased Estimation and Prediction |title=Principles of Econometrics |url=https://archive.org/details/principlesofecon0000thei |url-access=registration |location=New York |publisher=John Wiley & Sons |year=1971 |pages=[https://archive.org/details/principlesofecon0000thei/page/119 119]–124 |isbn=0-471-85845-5 }}</ref> Помилки не повинні бути нормальними, вони також не повинні бути незалежними та однаково розподіленими (лише некорильованими із середнім нулем та гомосцедастичними з кінцевою дисперсією). Не можна відмовлятись від вимоги щодо неупередженості оцінювача, оскільки упереджені оцінювачі існують з меншою дисперсією. Дивіться, наприклад [[оцінювач Джеймса-Штейна]] (який також знижує лінійність), регресійну регресію, або просто будь-який [[Вироджений розподіл|вироджений]] оцінювач.

Теорема була названа на честь [[Карл Фрідріх Гаусс|Карла Фрідріха Гаусса]] та [[Марков Андрій Андрійович|Андрія Маркова]], хоча робота Гаусса значно передує роботі Маркова.<ref>{{cite journal |first=R. L. |last=Plackett |author-link=Робін Плекетт |title=A Historical Note on the Method of Least Squares |journal=[[Biometrika]] |volume=36 |issue=3/4 |year=1949 |pages=458–460 |doi=10.2307/2332682 }}</ref> Але в той час, як Гаусс отримував результат, припускаючи незалежність і нормальність, Марков звів припущення до форми, зазначеної вище.<ref>{{cite journal |first=F. N. |last=David |first2=J. |last2=Neyman |title=Extension of the Markoff theorem on least squares |journal=Statistical Research Memoirs |year=1938 |volume=2 |pages=105–116 |oclc=4025782 }}</ref> Подальше узагальнення до [[Гетероскедастичність|сферичних помилок]] дав [[Александер Ейткен]].

== Ствердження ==
Припустимо ми маємо матричні позначення,
: <math> \underline{y} = X \underline{\beta} + \underline{\varepsilon},\quad (\underline{y},\underline{\varepsilon} \in \mathbb{R}^n, \underline{\beta} \in \mathbb{R}^K \text{ and } X\in\mathbb{R}^{n\times K}) </math>
розширюються до,
: <math> y_i=\sum_{j=1}^{K}\beta_j X_{ij}+\varepsilon_i \quad \forall i=1,2,\ldots,n</math>

де <math>\beta_j</math> не є випадковими, але '''un''' спостережуваних параметрів, <math>X_{ij}</math> є невипадковими та спостережуваними (їх називають «пояснювальними змінними»), <math>\varepsilon_i</math> випадкові, і так <math>y_i</math> є випадковими. Випадкові величини <math>\varepsilon_i</math> називаються «порушенням», «шумом» або просто «помилкою» (буде протиставлено «залишковим» далі в статті; див. [[помилки та залишки в статистиці]]). Зверніть увагу, що для включення константи у вищенаведену модель можна ввести константу як змінну <math>\beta_{K+1}</math> з нещодавно введеним останнім стовпцем X є одиницею, тобто <math>X_{i(K+1)} = 1</math> для усіх <math> i </math>. Зауважте, що хоча <math>y_i,</math> як вибіркові відповіді можна спостерігати наступні твердження та аргументи, включаючи припущення, докази та інші, припускають за '''єдиною''' умовою знання <math>X_{ij},</math> '''але не''' <math>y_i.</math>

Припущення '''Гаусса-Маркова''' стосуються безлічі помилок випадкових величин, <math>\varepsilon_i</math>:

* Вони мають середній нуль: <math>\operatorname{E}[\varepsilon_i]=0.</math>
* Вони [[Гомоскедастичність|гомосцедастичні]], тобто всі мають однакову кінцеву дисперсію: <math>\operatorname{Var}(\varepsilon_i)= \sigma^2 < \infty</math> для усіх <math>i</math> та
* Виразні терміни помилок не пов'язані між собою: <math>\text{Cov}(\varepsilon_i,\varepsilon_j) = 0, \forall i \neq j.</math>

'''Лінійна оцінка''' <math> \beta_j  </math> є лінійною комбінацією

: <math>\widehat\beta_j = c_{1j}y_1+\cdots+c_{nj}y_n</math>

В якій коефіцієнтам <math> c_{ij} </math> не дозволяється залежати від базових коефіцієнтів <math>\beta_j</math>, оскільки вони не спостерігаються, але дозволяється залежати від значень <math> X_{ij} </math>, оскільки ці дані є доступними. (Залежність коефіцієнтів від кожного <math>X_{ij}</math> типово нелінійна; оцінювач є лінійним у кожному <math> y_i </math> а отже і в кожному випадковому <math> \varepsilon,</math> саме тому це [[лінійна регресія]].) Кажуть що оцінювач є '''неупередженим''' [[тоді і лише тоді]]

: <math>\operatorname{E}\left [\widehat\beta_j \right ]=\beta_j</math>

Незалежно від значень <math> X_{ij} </math>. А тепер нехай <math>\sum\nolimits_{j=1}^K\lambda_j\beta_j</math> буде деякою лінійною комбінацією коефіцієнтів. Тоді '''[[середньоквадратична похибка]]''' відповідної оцінки становить

: <math>\operatorname{E} \left [\left(\sum_{j=1}^K\lambda_j \left (\widehat\beta_j-\beta_j \right )\right)^2\right ],</math>

Іншими словами, це очікування квадрата зваженої суми (по параметрах) різниць між оцінювачами та відповідними параметрами, які слід оцінити. (Оскільки ми розглядаємо випадок, коли всі оцінки параметрів є неупередженими, ця середньоквадратична похибка така ж, як і дисперсія лінійної комбінації.) '''Найкращий лінійний неупереджений оцінювач''' (СИНІЙ) вектора <math> \beta </math> параметрів <math> \beta_j </math> є найменшою середньоквадратичною похибкою для кожного вектора <math> \lambda </math> параметрів лінійної комбінації. Це еквівалентно умов

: <math>\operatorname{Var}\left(\widetilde\beta\right)- \operatorname{Var} \left( \widehat \beta \right)</math>

Є позитивною напіввизначеною матрицею для кожного іншого лінійного неупередженого оцінювача <math>\widetilde\beta</math>.

'''Звичайний оцінювач найменших квадратів (ЗОНК)''' є функцією

:<math>\widehat\beta=(X'X)^{-1}X'y</math>

з <math> y </math> та <math>X</math> (де <math>X'</math> позначає [[переміщення]] з <math> X </math>), що мінімізує '''суму квадратів [[Похибки та залишки|залишків]]''' (суми непередбачуваних значень):

:<math>\sum_{i=1}^n \left(y_i-\widehat{y}_i\right)^2=\sum_{i=1}^n \left(y_i-\sum_{j=1}^K \widehat\beta_j X_{ij}\right)^2.</math>

Тепер теорема стверджує, що оцінювач ЗОНК є СИНІМ. Основна ідея доказу полягає в тому, що оцінювач найменших квадратів не корелює з кожною лінійною неупередженою оцінкою нуля, тобто з кожною лінійною комбінацією <math>a_1y_1+\cdots+a_ny_n</math> коефіцієнти якої не залежать від неспостережуваного <math> \beta </math> але очікуване значення якого завжди дорівнює нулю.

=== Зауваження ===
Доказ того, що ЗОНК справді МІНІМІЗУЄ суму суми квадратів залишків, може діяти наступним чином із розрахунком ''[[Матриця Гесе|матриці Гесса]]'' та показуючи, що вона є позитивно визначеною.

Функція СКП (середньоквадратична похибка) яку ми хочемо мінімізувати, є

<math>f(\beta_0,\beta_1,\dots,\beta_p) = \sum_{i=1}^n (y_i-\beta_0-\beta_1x_{i1}-\dots-\beta_px_{ip})^2</math>

Для моделі множинної регресії з ''p'' змінними. Першка похідна -

<math>\begin{aligned}
\frac{d}{d\overrightarrow{\beta}}f &= -2X^T(\overrightarrow{y}-X\overrightarrow{\beta})\\
&=-2\begin{bmatrix}\sum_{i=1}^{n} (y_i - \dots - \beta_px_{ip})\\
\sum_{i=1}^nx_{i1} (y_i-\dots-\beta_px_{ip})\\ \vdots\\ 
\sum_{i=1}^nx_{ip} (y_i-\dots-\beta_px_{ip})\end{bmatrix}\\
&= \overrightarrow{0}_{p+1}
\end{aligned}</math>

,де ''X'' – матриця проектування

<math>X=\begin{bmatrix}1&x_{11}&\dots&x_{1p}\\
1&x_{21}&\dots&x_{2p}\\
&&\dots\\
1&x_{n1}&\dots& x_{np}
\end{bmatrix}\in \mathbb{R}^{n\times(p+1)}; \qquad n\geqslant p+1</math>

[[матриця Гессе]] інших похідних

<math>\mathcal{H} = 2\begin{bmatrix}n& \sum_{i=1}^n x_{i1}&\dots & \sum_{i=1}^nx_{ip}\\
\sum_{i=1}^nx_{i1}& \sum_{i=1}^n x_{i1}^2 &\dots & \sum_{i=1}^nx_{i1}x_{ip}\\
\vdots & \vdots &\ddots & \vdots \\
\sum_{i=1}^n x_{ip}& \sum_{i=1}^n x_{ip}x_{i1}& \dots & \sum_{i=1}^nx_{ip}^2\end{bmatrix} = 2X^TX</math>

Припускаючи стовпці <math>X</math> є лінійно незалежними так, що <math>X^TX</math> є зворотнім, нехай <math>X=\begin{bmatrix}\overrightarrow{v_1}& \overrightarrow{v_2}& \dots & \overrightarrow{v}_{p+1}\end{bmatrix}</math>, потім

<math>k_1\overrightarrow{v_1}+\dots +k_{p+1}\overrightarrow{v}_{p+1} = 0\iff k_1= \dots =k_{p+1}=0</math>

Тепер нехай <math>\overrightarrow{k} = (k_1,\dots,k_{p+1})^T\in \mathbb{R}^{(p+1)\times 1}</math> буде власним вектором <math>\mathcal{H}</math>.

<math>\overrightarrow{k}\ne \overrightarrow{0}\implies (k_1\overrightarrow{v_1}+\dots+k_{p+1}\overrightarrow{v}_{p+1})^2>0</math>

З точки зору векторного множення це означає

<math>\begin{bmatrix}k_1&\dots& k_{p+1}\end{bmatrix}
\begin{bmatrix}\overrightarrow{v_1}\\ \vdots \\ \overrightarrow{v}_{p+1}\end{bmatrix}
\begin{bmatrix}\overrightarrow{v_1}& \dots & \overrightarrow{v}_{p+1}\end{bmatrix}
\begin{bmatrix}k_1\\ \vdots\\ k_{p+1}\end{bmatrix}
= \overrightarrow{k}^T\mathcal{H}\overrightarrow{k} = \lambda \overrightarrow{k}^T\overrightarrow{k}>0</math>

де <math>\lambda</math> власне значення, що відповідає <math>\overrightarrow{k}</math>. Більше того,

<math>\overrightarrow{k}^T\overrightarrow{k} = \sum_{i=1}^{p+1}k_i^2>0\implies \lambda >0</math>

Нарешті, як власний ветор <math>\overrightarrow{k}</math> був довільним, це означає що всі значення <math>\mathcal{H}</math> тому є позитивними <math>\mathcal{H}</math> є позитивно визначеним. Таким чином,

<math>\overrightarrow{\beta} = (X^TX)^{-1}X^TY</math>

Є справді місцевим мінімумом.

==Доказ==
Дозволимо <math>\tilde\beta = Cy</math> бути ще одним лінійним оцінювачем <math> \beta </math> with <math>C = (X'X)^{-1}X' + D </math> де <math>D</math> is a <math>K \times n</math> ненульова матриця. Оскільки ми обмежуємося ''неупередженими'' оцінювачами, мІнімальна середньоквадратична похибка передбачає мінімальну дисперсію. Отже, мета полягає в тому, щоб показати, що такий оцінювач має дисперсію, не меншу, ніж у <math> \widehat\beta,</math> ЗОНК оцінювача. Обчислюємо:

:<math>
\begin{align}
\operatorname{E} \left[ \tilde\beta \right] &= \operatorname{E}[Cy] \\
&= \operatorname{E} \left [\left ((X'X)^{-1}X' + D \right )(X\beta + \varepsilon) \right ]\\
&= \left ((X'X)^{-1}X' + D \right )X\beta + \left ((X'X)^{-1}X' + D \right ) \operatorname{E}[\varepsilon] \\
&= \left ((X'X)^{-1}X' + D \right )X\beta  && \operatorname{E}[\varepsilon] =0 \\
&= (X'X)^{-1}X'X\beta + DX\beta  \\
&= (I_K + DX)\beta. \\
\end{align}
</math>

Тому, оскільки <math>\beta</math> є '''не''' спостережуваною, <math> \tilde\beta </math> є неупередженим якщо і тільки якщо <math> DX = 0 </math>. Потім:

:<math>
\begin{align}
 \operatorname{Var}\left(\tilde\beta\right) &=  \operatorname{Var}(Cy) \\
&= C \text{ Var}(y)C' \\
&= \sigma^2 CC' \\
&= \sigma^2 \left ((X'X)^{-1}X' + D \right ) \left (X(X'X)^{-1} + D' \right ) \\
&= \sigma^2 \left ((X'X)^{-1}X'X(X'X)^{-1} + (X'X)^{-1}X'D' + DX(X'X)^{-1} + DD' \right) \\
&= \sigma^2(X'X)^{-1} + \sigma^2(X'X)^{-1} (DX)' + \sigma^2 DX  (X'X)^{-1} + \sigma^2DD' \\
&= \sigma^2(X'X)^{-1}+ \sigma^2DD' && DX =0 \\
&=  \operatorname{Var}\left(\widehat\beta\right)  + \sigma^2DD'  && \sigma^2(X'X)^{-1} =   \operatorname{Var}\left(\widehat\beta\right)
\end{align}
</math>

Оскільки ''DD''' є позитивною напіввизначеною матрицею, <math>\operatorname{Var}\left( \tilde \beta \right) </math> перевищує <math>\operatorname{Var}\left(\widehat\beta\right) </math> позитивну напіввизначену матрицю.

==Зауваження щодо доказу==
Як зазначалося раніше, стан <math> \operatorname{Var} \left( \tilde \beta \right)- \operatorname{Var} \left(\widehat\beta\right)</math> є позитивною напіввизначеною матрицею, що еквівалентно властивості, якою є найкращий лінійний неупереджений оцінювач <math> \ell^t\beta </math> є <math> \ell^t\widehat\beta </math> (найкращий в тому сенсі, що він має мінімальну дисперсію). Щоб побачити це, нехай <math> \ell^t\tilde\beta </math> інший лінійний неупереджений оцінювач <math> \ell^t\beta </math>.

:<math>
\begin{align}
\operatorname{Var}\left(\ell^t\tilde\beta\right) &= \ell^t \operatorname{Var} \left(\tilde\beta\right) \ell \\
&=\sigma^2 \ell^t (X'X)^{-1}\ell+\ell^tDD^t\ell \\
&= \operatorname{Var}\left(\ell^t\widehat\beta\right)+(D^t\ell)^t(D^t\ell) && \sigma^2 \ell^t (X'X)^{-1}\ell = \operatorname{Var}\left(\ell^t\widehat\beta\right) \\
&= \operatorname{Var}\left(\ell^t\widehat\beta\right) +\|D^t\ell\|\\
& \geqslant \operatorname{Var}\left(\ell^t\widehat\beta\right)
\end{align}
</math>

Більше того, рівність виконується якщо і тільки якщо <math> D^t\ell=0 </math>. Обчислюємо

:<math>
\begin{align}
\ell^t\tilde\beta &= \ell^t \left (((X'X)^{-1}X' + D) Y \right ) && \text{ зверху }\\
&= \ell^t(X'X)^{-1}X'Y + \ell^tDY \\
&= \ell^t\widehat\beta +(D^t\ell)^t Y \\
&=\ell^t\widehat\beta && D^t\ell = 0
\end{align}
</math>

Це доводить, що рівність виконується якщо і тільки якщо <math> \ell^t\tilde\beta=\ell^t\widehat\beta </math> що надає унікальність оцінювачу ЗОНК як СИНЬОМУ.

==Узагальнювач оцінки найменших квадратів==
[[Узагальнені найменші квадрати]] (УНК), розроблені [[Alexander Aitken|Аіткеном]],<ref name="Aitken1935">{{cite journal |first=A. C. |last=Aitken |title=On Least Squares and Linear Combinations of Observations |journal=Proceedings of the Royal Society of Edinburgh |year=1935 |volume=55 |pages=42–48 |doi=10.1017/S0370164600014346 }}</ref> розширюють теорему Гаусса-Маркова для випадку, коли вектор помилки має нескалярну коваріоційну матрицю.<ref name="Huang1970">{{cite book |first=David S. |last=Huang |title=Regression and Econometric Methods |location=New York |publisher=John Wiley & Sons |year=1970 |isbn=0-471-41754-8 |pages=[https://archive.org/details/regressioneconom0000huan/page/127 127]–147 |url=https://archive.org/details/regressioneconom0000huan |url-access=registration }}</ref> Оцінювач Аіткена також є СИНІМ.

==Теорема Гаусса-Маркова, як зазначено в економетриці ==

У більшості методів обчислення ЗОНК регресори (параметри, що цікавлять) у [[матриці проектування]] <math>\mathbf{X}</math> передбачають фіксування у повторних зразках. Це припущення вважається недоречним для переважно неекспериментальної науки, такої як [[економетрика]].<ref>{{cite book |first=Fumio |last=Hayashi |author-link=Fumio Hayashi |title=Econometrics |publisher=Princeton University Press |year=2000 |isbn=0-691-01018-8 |page=13 |url=https://books.google.com/books?id=QyIW8WUIyzcC&pg=PA13 }}</ref> Натомість припущення теореми Гаусса-Маркова висловлюється умовно <math>\mathbf{X}</math>.

===Лінійність===

Залежною змінною вважається лінійна функція змінних, зазначених у моделі. Специфікація повинна бути лінійною за своїми параметрами. Це не означає, що між незалежними та залежними змінними повинна існувати лінійна залежність. Незалежні змінні можуть приймати нелінійну форму, доки параметри є лінійними.  Рівняння <math> y = \beta_{0} + \beta_{1} x^2, </math> кваліфікується як лінійне <math> y = \beta_{0} + \beta_{1}^2 x</math> може бути перетворене в лінійне шляхом заміни <math>\beta_{1}^2</math> іншим параметром <math>\gamma</math>. Наприклад, рівняння з параметром, що залежить від незалежної змінної, не кваліфікується як лінійне <math>y = \beta_{0} + \beta_{1}(x) \cdot x</math>, де <math>\beta_{1}(x)</math> є функцією <math>x</math>.

[[Перетворення даних (статистика)|Перетворення данних]] часто використовуються для перетворення рівняння в лінійну форму. Наприклад, [[Модель Кобба — Дугласа|функція Кобба-Дугласа]] - яка часто використовується в економіці, є нелінійною:
:<math>Y = A L^\alpha K^{1 - \alpha} e^\varepsilon </math>

Але це можна виразити в лінійній формі, взявши [[натуральний логарифм]] обох сторін:<ref>{{cite book |first=A. A. |last=Walters |title=An Introduction to Econometrics |url=https://archive.org/details/introductiontoec0000walt_l8s2 |location=New York |publisher=W. W. Norton |year=1970 |isbn=0-393-09931-8 |page=[https://archive.org/details/introductiontoec0000walt_l8s2/page/275 275] }}</ref>

: <math>\ln Y=\ln A + \alpha \ln L + (1 - \alpha) \ln K + \varepsilon = \beta_0 + \beta_1 \ln L + \beta_2 \ln K + \varepsilon</math>

Це припущення також охоплює питання специфікації: припускаючи, що вибрано відповідну функціональну форму і відсутні [[Omitted-variable bias|пропущені змінні]].

Однак слід пам’ятати, що параметри, що мінімізують залишки перетвореного рівняння, не обов'язково мінімізують залишки вихідного рівняння.

===Сувора екзогенність===
Для усіх <math>n</math> спостережень, очікування – залежно від регресорів – терміну помилки, дорівнює нулю:<ref>{{cite book |first=Fumio |last=Hayashi |author-link=Fumio Hayashi |title=Econometrics |publisher=Princeton University Press |year=2000 |isbn=0-691-01018-8 |page=7 |url=https://books.google.com/books?id=QyIW8WUIyzcC&pg=PA7 }}</ref>
:<math>\operatorname{E}[\,\varepsilon_{i}\mid \mathbf{X} ] = \operatorname{E}[\,\varepsilon_{i}\mid \mathbf{x_{1}}, \dots, \mathbf{x_{n}} ] = 0.</math>
де <math>\mathbf{x}_i = \begin{bmatrix} x_{i1} & x_{i2} & \dots & x_{ik} \end{bmatrix}^{\mathsf{T}}</math> вектор даних регресорів для ''i'' спостереження, а отже <math>\mathbf{X} = \begin{bmatrix} \mathbf{x_{1}^{\mathsf{T}}} & \mathbf{x_{2}^{\mathsf{T}}} & \dots & \mathbf{x_{n}^{\mathsf{T}}} \end{bmatrix}^{\mathsf{T}}</math> - це матриця даних або матриця проектування.

Геометрично з цього припущення випливає, що <math>\mathbf{x}_{i}</math> та <math>\varepsilon_{i}</math> є [[Ортогональність|ортогональними]] один одному, так що їх [[Скалярний добуток|внутрішній добуток]] (тобто поперечний момент) дорівнює нулю.
:<math>\operatorname{E}[\,\mathbf{x}_{j} \cdot \varepsilon_{i}\,] = \begin{bmatrix} \operatorname{E}[\,{x}_{j1} \cdot \varepsilon_{i}\,] \\ \operatorname{E}[\,{x}_{j2} \cdot \varepsilon_{i}\,] \\ \vdots \\ \operatorname{E}[\,{x}_{jk} \cdot \varepsilon_{i}\,] \end{bmatrix} = \mathbf{0} \quad \text{ для всіх } i, j \in n</math>
Це припущення порушується, якщо пояснювальні змінні є стохастичними, наприклад, коли вони [[Errors-in-variables models|вимірюються з помилкою]], або є [[Endogeneity (econometrics)|ендогенними]].<ref>{{cite book |first=John |last=Johnston |author-link=John Johnston (econometrician) |title=Econometric Methods |location=New York |publisher=McGraw-Hill |edition=Second |year=1972 |isbn=0-07-032679-7 |pages=[https://archive.org/details/econometricmetho0000john_t7q9/page/267 267–291] |url=https://archive.org/details/econometricmetho0000john_t7q9/page/267 }}</ref> Ендогенність може бути результатом [[одночасності]], коли причинність протікає туди-сюди як між залежною, так і незалежною змінною. Для вирішення цієї проблеми зазвичай використовують [[Метод інструментальних змінних|інструментальні методи]].

===Повний ранг===
Зразок матриці данних <math>\mathbf{X}</math> повинен мати повний [[Ранг (лінійна алгебра)|ранг]] стовпця.
:<math>\operatorname{rank}(\mathbf{X}) = k</math>
Syfrit <math>\mathbf{X'X}</math> не є оборотним, і оцінювач ЗОНК не може бути обчислений.

Порушенням цього припущення є [[Мультиколінеарність|досконала мультиколінеарність]], тобто деякі пояснювальні змінні лінійно залежать. Один із сценаріїв, в якому це відбуватиметься, називається "фіксованою пасткою змінної", коли базова фіктивна змінна не опускається, що призводить до ідеальної кореляції між фіктивними змінними та постійним членом.<ref>{{cite book |first=Jeffrey |last=Wooldridge |author-link=Jeffrey Wooldridge |title=Introductory Econometrics |publisher=South-Western |edition=Fifth international |year=2012 |isbn=978-1-111-53439-4 |page=[https://archive.org/details/introductoryecon00wool_406/page/n247 220] |url=https://archive.org/details/introductoryecon00wool_406|url-access=limited }}</ref>

Мультиколінеарність (якщо вона не є "ідеальною") може мати наслідком менш ефективну, але все ще неупереджену оцінку. Оцінки будуть менш точними та високочутливими до певних наборів даних.<ref>{{cite book |first=John |last=Johnston |author-link=John Johnston (econometrician) |title=Econometric Methods |location=New York |publisher=McGraw-Hill |edition=Second |year=1972 |isbn=0-07-032679-7 |pages=[https://archive.org/details/econometricmetho0000john_t7q9/page/159 159–168] |url=https://archive.org/details/econometricmetho0000john_t7q9/page/159 }}</ref> Мультиколінеарність можна виявити за [[Число обумовленості|номером умови]] або [[коефіцієнтом дисперсії]] серед інших тестів.

===Сферичні помилки===
[[Тензорний добуток|Зовнішній продукт]] вектора помилки повинний бути сферичним.
:<math>\operatorname{E}[\,\boldsymbol{\varepsilon} \boldsymbol{\varepsilon^{\mathsf{T}}} \mid \mathbf{X} ] = \operatorname{Var}[\,\boldsymbol{\varepsilon} \mid \mathbf{X} ] = \begin{bmatrix} \sigma^{2} & 0 & \dots & 0 \\ 0 & \sigma^{2} & \dots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \dots & \sigma^{2} \end{bmatrix} = \sigma^{2} \mathbf{I} \quad \text{with } \sigma^{2} > 0</math>
Це означає, що термін помилки має рівномірну дисперсію ([[Гомоскедастичність|гомоскедастичніть]]) і не має послідовної залежності.<ref>{{cite book |first=Fumio |last=Hayashi |author-link=Fumio Hayashi |title=Econometrics |publisher=Princeton University Press |year=2000 |isbn=0-691-01018-8 |page=10 |url=https://books.google.com/books?id=QyIW8WUIyzcC&pg=PA10 }}</ref> якщо це припущення порушується, ЗОНК все ще є неупередженим, але неефективним. Термін "сферичних помилок" буде описувати [[багатовимірний нормальний розподіл]]: якщо <math>\operatorname{Var}[\,\boldsymbol{\varepsilon}\mid \mathbf{X} ] = \sigma^{2} \mathbf{I}</math> у багатовимірній нормальній щільності, то рівняння <math>f(\varepsilon)=c</math> - формула [[Куля|кульки]] з центром μ з радіусом σ у n-вимірному просторі.<ref>{{cite book |first=Ramu |last=Ramanathan |chapter=Nonspherical Disturbances |title=Statistical Methods in Econometrics |url=https://archive.org/details/statisticalmetho00rama |url-access=limited |publisher=Academic Press |year=1993 |isbn=0-12-576830-3 |pages=[https://archive.org/details/statisticalmetho00rama/page/n339 330]–351 }}</ref>

[[Гетероскедастичність]] виникає, коли кількість помилок співвідноситься з незалежною змінною. Наприклад, при регресії витрат на їжу та доходів помилка корелює з доходом. Люди з низьким рівнем доходу зазвичай витрачають подібну суму на їжу, тоді як люди з високим рівнем доходу можуть витратити дуже велику суму або стільки ж, скільки витрачають люди з низьким доходом. Гетероскедастичність також може бути причиною змін у практиці вимірювання. Наприклад, коли статистичні органи вдосконалюють свої дані, [[похибка вимірювання]] зменшується, тому термін помилки з часом зменшується.

Це припущення порушується, коли існує [[автокореляція]].  Автокореляція може бути візуалізована на графіку даних, коли дане спостереження, швидше за все, лежить вище встановленої лінії, якщо сусідні спостереження також лежать вище встановленої лінії регресії. Автокореляція є загальною для даних [[Часовий ряд|часових рядів]], де ряд даних може відчувати "інерцію". Якщо залежній змінній потрібно деякий час, щоб повністю поглинути удар. Також може відбуватися просторова автокореляція, географічні райони можуть мати подібні помилки. Автокореляція може бути результатом неправильної специфікації, наприклад, вибору неправильної функціональної форми. У цих випадках виправлення специфікації є одним із можливих способів боротьби з автокореляцією.

За наявності сферичних помилок узагальнений оцінювач найменших квадратів може бути показаний СИНІМ.<ref name="Huang1970" />

==Див. також==
* [[Незалежні однаково розподілені випадкові величини]]
* [[Лінійна регресія]]
* [[Невизначеність вимірювання]]

===Інша неупереджена статистика===
*[[Найкраще лінійне неупереджене передбачення]] (НЛНП)
*[[Безсторонній оцінювач з мінімальною дисперсією]] (БОзМД)

==Список літератури==
{{Reflist|30em}}

== Джерела ==
* {{cite book |first=James |last=Davidson |chapter=Statistical Analysis of the Regression Model |title=Econometric Theory |url=https://archive.org/details/econometrictheor0000davi |location=Oxford |publisher=Blackwell |year=2000 |pages=[https://archive.org/details/econometrictheor0000davi/page/17 17]–36 |isbn=0-631-17837-6 }}
* {{cite book |first=Arthur |last=Goldberger |chapter=Classical Regression |title=A Course in Econometrics |url=https://archive.org/details/courseeconometri00gold_524 |url-access=limited |location=Cambridge |publisher=Harvard University Press |year=1991 |pages=[https://archive.org/details/courseeconometri00gold_524/page/n92 160]–169 |isbn=0-674-17544-1 }}
* {{cite book |first=Henri |last=Theil |author-link=Анрі Тейл |chapter=Least Squares and the Standard Linear Model |title=Principles of Econometrics |url=https://archive.org/details/principlesofecon0000thei |url-access=registration |location=New York |publisher=John Wiley & Sons |year=1971 |pages=[https://archive.org/details/principlesofecon0000thei/page/101 101]–162 |isbn=0-471-85845-5 }}

== Посилання ==
* [http://jeff560.tripod.com/g.html Earliest Known Uses of Some of the Words of Mathematics: G] (коротка історія та пояснення назви)
* [http://www.xycoon.com/ols1.htm Proof of the Gauss Markov theorem for multiple linear regression] (використовує матричну алгебру)
* [https://web.archive.org/web/20040213071852/http://emlab.berkeley.edu/GMTheorem/index.html Доказ теореми Гаусса — Маркова з використанням геометрії]

{{^}}{{Бібліоінформація}}
{{портали|Математика}}

{{DEFAULTSORT:Гаусса — Маркова теорема}}
[[Категорія:Теореми в статистиці]]
[[Категорія:Теореми математичної статистики]]