Перегляд вихідного коду сторінки Похибки та залишки

{{Регресійний аналіз}}

У [[Статистика|статистиці]] та [[Оптимізація (математика)|оптимізації]] '''по́хибки''' ({{lang-en|errors}}) та '''за́лишки''' ({{lang-en|residuals}}) є тісно пов'язаними [[Міри розсіяння|мірами відхилення]] спостережуваного значення елементу [[Вибірка|вибірки]] від його «теоретичного значення», які легко сплутати. '''Похибка''' (або '''збу́рення''') спостережуваного значення є відхиленням цього спостережуваного значення від (не спостережуваного) [[Істинне значення|''істинного'' значення]] досліджуваної величини (наприклад, [[Середнє значення сукупності|середнього значення генеральної сукупності]]), а '''залишком''' спостережуваної змінної є різниця між цим спостережуваним значенням та ''[[Оцінка (математика)|оцінкою]]'' значення досліджуваної величини (наприклад, [[Середнє значення вибірки|середнім значенням вибірки]]). Найважливішою ця відмінність є в [[Регресійний аналіз|регресійному аналізі]], де вона приводить до поняття {{нп|Стьюдентизований залишок|стьюдентизованих залишків||Studentized residual}}.

== {{anchor|Вступ}} Введення ==

Припустімо, що є ряд спостережень з {{нп|Одновимірний розподіл|одновимірного розподілу||Univariate distribution}}, і ми хочемо оцінити [[середнє значення]] цього розподілу (так звану [[модель зсуву]]). В цьому випадку похибки є відхиленнями спостережень від середнього значення сукупності, а залишки є відхиленнями спостережень від середнього значення вибірки.

'''Статистична похибка''' (або '''збурення''') є величиною, на яку спостереження відрізняється від його [[Математичне сподівання|математичного сподівання]], коли останнє ґрунтується на всій [[Генеральна сукупність|сукупності]], з якої було випадково вибрано об'єкт статистичного спостереження. Наприклад, якщо середній зріст в загальній сукупності 21-річних чоловіків є 1.75 метрів, і один випадково вибраний чоловік має зріст 1.80 метрів, то «похибка» є 0.05 метрів; якщо випадково вибраний чоловік має зріст 1.70 метрів, то «похибка» є -0.05 метрів. Математичне сподівання, будучи [[Середнє арифметичне|середнім арифметичним]] всієї сукупності, є зазвичай неспостережним, і отже статистичну похибку також неможливо спостерігати.

З іншого боку, '''залишком''' (або відхиленням [[Допасованість (статистика)|допасованості]]) є спостережувана ''оцінка'' неспостережуваної статистичної похибки. Розгляньмо попередній приклад зі зростами чоловіків, і припустімо, що ми маємо випадкову вибірку з ''n'' людей. Гарною оцінкою середнього значення ''сукупності'' могло би слугувати ''[[вибіркове середнє]]''. В такому разі ми маємо:

* Відмінність зросту кожного чоловіка у вибірці від неспостережуваного середнього значення ''сукупності'' є ''статистичною похибкою'', тоді як
* Відмінність зросту кожного чоловіка у вибірці від спостережуваного середнього значення ''вибірки'' є ''залишком''.

Зауважте, що сума залишків у випадковій вибірці обов'язково є нульовою, і тому залишки є обов'язково ''не [[Статистична незалежність|незалежними]]''. З іншого боку, статистичні похибки є незалежними, і їхня сума в межах випадкової вибірки [[майже напевно]] є ненульовою.

Можна стандартизувати статистичні похибки (особливо [[Нормальний розподіл|нормального розподілу]]) за [[z-оцінка|''z''-оцінкою]] (або «стандартизованою оцінкою»), і стандартизувати залишки за {{нп|t-статистика|''t''-статистикою||t-statistic}}, або, загальніше, {{нп|Стьюдентизований залишок|стьюдентизованими залишками||Studentized residual}}.

== В одновимірних розподілах ==

Якщо ми розглядаємо [[Нормальний розподіл|нормально розподілену]] сукупність із середнім значенням μ та [[Стандартне відхилення|стандартним відхиленням]] σ, і вибираємо осіб незалежно, то ми маємо

: <math>X_1, \dots, X_n\sim N(\mu,\sigma^2)\,</math>

і [[Середнє арифметичне|середнє значення вибірки]]

: <math>\overline{X}={X_1 + \cdots + X_n \over n}</math>

є випадковою змінною, розподіленою таким чином:

: <math>\overline{X}\sim N(\mu, \sigma^2/n).</math>

Тоді ''статистичні похибки'' є

: <math>e_i=X_i-\mu,\,</math>

а ''залишки'' є

: <math>r_i=X_i-\overline{X}.</math>

Сума квадратів '''статистичних похибок''', поділена на ''σ''<sup>2</sup>, має [[розподіл хі-квадрат]] з ''n'' [[Ступені вільності (статистика)|ступенями вільності]]:

: <math> \frac 1 {\sigma^2}\sum_{i=1}^n e_i^2\sim\chi^2_n.</math>

Проте ця величина не є спостережною. З іншого боку, сума квадратів '''залишків''' є спостережною. Частка від ділення цієї суми на σ<sup>2</sup> має розподіл хі-квадрат з лише ''n''&nbsp;−&nbsp;1 ступенями вільності:

: <math> \frac 1 {\sigma^2} \sum_{i=1}^n r_i^2 \sim \chi^2_{n-1}. </math>

Ця різниця між ''n'' та ''n''&nbsp;−&nbsp;1 ступенями вільності має наслідком [[Поправка Бесселя|поправку Бесселя]] для оцінки [[Дисперсія вибірки|дисперсії вибірки]] із сукупності з невідомим середнім значенням та невідомою дисперсією, хоча якщо середнє значення є відомим, то поправка не потрібна.

=== Зауваження ===

Примітно, що може бути показано, наприклад, за допомогою {{нп|Теорема Басу|теореми Басу||Basu's theorem}}, що {{нп|Квадратничні відхилення|сума квадратів залишків||Squared deviations}} та середнє значення вибірки є незалежними одне від одного. Цей факт, а також наведені вище нормальний та хі-квадратичний розподіли, формують основу обчислень із залученням дробу

: <math>{\overline{X}_n - \mu \over S_n/\sqrt{n}},</math>

який, як правило, називають {{нп|t-статистика|''t''-статистикою||t-statistic}}.

Розподіли ймовірності чисельника та знаменника окремо залежать від значення неспостережуваного стандартного розподілу сукупності ''σ'', але ''σ'' з'являється як в чисельнику, так і в знаменнику, і скорочується. Це вдача, оскільки це означає, що, незважаючи на те, що ми не знаємо ''σ'', ми знаємо розподіл імовірності цієї частки: вона має [[t-розподіл Стьюдента|''t''-розподіл Стьюдента]] з ''n''&nbsp;&minus;&nbsp;1 ступенями вільності. Отже, ми можемо застосовувати цю частку для знаходження [[Довірчий інтервал|довірчого інтервалу]] ''μ''.

== Регресії ==

В [[Регресійний аналіз|регресійному аналізі]] відмінність між ''похибками'' та ''залишками'' є тонкою та важливою, і приводить до поняття {{нп|Стьюдентизований залишок|стьюдентизованих залишків||Studentized residual}}. Якщо дано неспостережувану функцію, що ставить у відповідність незалежну змінну до залежної,&nbsp;— скажімо, лінію,&nbsp;— то відхилення спостережень залежної змінної від цієї функції є неспостережуваними похибками. Якщо запустити регресію на якихось даних, то відхилення спостережень залежної змінної від ''допасованої'' функції є залишками.

Проте термінологічна різниця проявляється у вираженні [[Середньоквадратична похибка|середньоквадратичної похибки]] (СКП, {{lang-en|MSE}}). Середньоквадратична похибка регресії є числом, обчисленим як сума квадратів обчислених ''залишків'', а не неспостережуваних ''похибок''. Якщо цю суму квадратів поділити на ''n'', кількість спостережень, то результатом буде середнє значення квадратичних залишків. Оскільки це є [[Упередження (статистика)|упередженою]] оцінкою дисперсії неспостережуваних похибок, упередження усувається множенням середнього значення квадратичних залишків на ''n''&nbsp;/&nbsp;''df'', де ''df'' є числом [[Ступені вільності (статистика)|ступенів вільності]] (''n'' мінус кількість оцінюваних параметрів). Цей метод дає такий точно результат, як і метод із застосуванням середнього значення квадратичних похибок. Крайня формула служить неупередженою оцінкою дисперсії неспостережуваних похибок, і називається середньоквадратичною похибкою.<ref>{{cite book |last1=Steel |first1=Robert G. D. |last2=Torrie |first2=James H. |title=Principles and Procedures of Statistics, with Special Reference to Biological Sciences |url=https://archive.org/details/principlesproce00stee |year=1960 |publisher=McGraw-Hill |page=[https://archive.org/details/principlesproce00stee/page/288 288]}} {{ref-en}}</ref>

Інший метод обчислення середнього квадрату похибки при аналізі дисперсії лінійної регресії із застосуванням такого прийому, як застосовується в [[Дисперсійний аналіз|дисперсійному аналізі]] (вони однакові, оскільки дисперсійний аналіз є одним з типів регресії), сума квадратів залишків (відома також як сума квадратів похибки) ділиться на ступені вільності (де ступені вільності дорівнюють ''n-p-1'', де p є числом «параметрів», або провісників, що використовуються в моделі, тобто кількістю змінних у рівнянні регресії). Також можна обчислювати середній квадрат моделі діленням суми квадратів моделі мінус ступені вільності, що є просто кількістю параметрів. Тоді значення F може обчислюватися діленням СК(моделі) на СК(похибки), і ми можемо визначати значущість (ось для чого починати з середніх квадратів.).<ref>{{cite book|last1=Zelterman|first1=Daniel|title=Applied linear models with SAS|url=https://archive.org/details/appliedlinearmod0000zelt|date=2010|publisher=Cambridge University Press|location=Cambridge|isbn=9780521761598|edition=[Online-Ausg.].}} {{ref-en}}</ref>

Тим не менш, через поведінку процесу регресії ''розподіли'' залишків у різних точках даних (вхідного масиву) можуть різнитися, ''навіть якщо'' самі похибки мають ідентичні розподіли. Конкретно, в [[Лінійна регресія|лінійній регресії]], в якій похибки мають ідентичні розподіли, мінливість залишків входів у середині області визначення буде ''вищою'', ніж мінливість залишків на її краях:{{Citation needed|дата=липень 2016}} лінійна регресія допасовується до крайових точок краще, ніж до середніх.
Це відбивається також і на [[Функція впливу (статистика)|функціях впливу]] різних точок даних на [[Коефіцієнт регресії|коефіцієнти регресії]]: крайові точки мають більший вплив.

Таким чином, для порівняння залишків на різних входах необхідне регулювання залишків очікуваною мінливістю ''залишків'', що називається [[Стюдентизація|стюдентизацією]]. Це особливо важливо у випадку виявлення [[Викид (статистика)|викидів]]: великий залишок може бути очікуваним в середині області визначення, але розглядатися як викид на її краях.

== Інші застосування слова «похибка» у статистиці ==
{{Див. також|Упередження (статистика)}}

Термін «похибка» при обговоренні в попередніх розділах застосовується в сенсі відхилення значення від гіпотетичного неспостережуваного значення. У статистиці зустрічаються щонайменше два інших застосування, і обидва мають на увазі похибки спостережуваного передбачення:

[[Середньоквадратична похибка]], або '''середня квадратична похибка''' (скорочується як СКП, {{lang-en|MSE}}) та {{нп|кореневе середньоквадратичне відхилення|||Root mean square deviation}} (КСКП, {{lang-en|RMSE}}) розглядають суму, на яку значення, передбачені оцінювачем, відрізняються від оцінюваних значень (зазвичай за межами вибірки, з якої робиться оцінка моделі).

'''Сума квадратичних похибок''' ({{lang-en|sum of squared errors, SSE або SS<sub>e</sub>}}), розглядає {{нп|Залишкова сума квадратів|залишкову суму квадратів||Residual sum of squares}} (суму квадратичних залишків) регресії; вона є сумою квадратів відхилень фактичних значень від передбачених в межах вибірки, що застосовується для оцінки. Аналогічно, '''сума абсолютних похибок''' ({{lang-en|sum of absolute errors, SAE}}) розглядає суму модулів значень залишків, що мінімізується в підході до регресії {{нп|Метод найменших модулів|методом найменших модулів||Least absolute deviations}}.

== Див. також ==

<!-- {{Портал|Статистика}} -->
{{Div col}}
* [[Міри розсіяння]]
* {{нп|Вектор нововведень|||Innovations vector}}
* [[Похибка вимірювання]]
* [[Виявлення та виправлення помилок]]
* {{нп|Імовірна похибка|||Probable error}}
* {{нп|Кореневе середньоквадратичне відхилення|||Root mean square deviation}}
* [[Межа похибки]]
* {{нп|Сума квадратів браку допасованості|||Lack-of-fit sum of squares}}
* {{нп|Нововведення (обробка сигналів)|||Innovation (signal processing)}}
* {{нп|Похибка вибірки|||Sampling error}}
* [[Помилки першого і другого роду]]
* [[Поширення похибки]]
* [[Пояснена сума квадратів]]
* {{нп|Регресійне розведення|||Regression dilution}}
* {{нп|Середня абсолютна похибка|||Mean absolute error}}
* {{нп|Стьюдентизований залишок|||Studentized residual}}
* [[Консенсус-прогноз|Узгоджений прогноз]]
{{Div col end}}

== Примітки ==

{{Примітки}}

== Література ==

* {{cite book |last1=Cook |first1=R. Dennis |last2=Weisberg |first2=Sanford |title=Residuals and Influence in Regression. |year=1982 |publisher=[[Chapman & Hall]] |location=New York |isbn=041224280X |url=http://www.stat.umn.edu/rir/ |edition=Repr. |accessdate=23 лютого 2013}} {{ref-en}}
* {{cite book |last=Weisberg |first=Sanford |title=Applied Linear Regression |year=1985 |publisher=Wiley |location=New York |isbn=9780471879572 |url=https://books.google.com/books?id=yRrvAAAAMAAJ&dq=editions:UMM1U2yvYVUC |edition=2nd |accessdate=23 лютого 2013}} {{ref-en}}
* {{springer|title=Errors, theory of|id=p/e036240}} {{ref-en}}

{{Статистика|кореляція|state=collapsed}}

{{DEFAULTSORT:Похибки та залишки у статистиці}}
[[Категорія:Статистичне відхилення та дисперсія]]
[[Категорія:Регресійний аналіз]]
[[Категорія:Похибки та залишки| ]]