Регресія Демінга

Регресія Демінга. Червоні відрізки показують похибку як x, так й y. Цей підхід відрізняється від традиційного методу найменших квадратів, який вимірює похибку тільки для y, тобто, береться відстань відрізків паралельних осі y. На малюнку, відхилення вимірюється перпендикулярно до прямої. Така ситуація виникає, коли похибки x та y мають однакове відхилення.

У статистиці регресія Демінга (названа на честь В. Едвардса Демінга) є моделлю з похибками у змінних, яка намагається знайти лінію, яка найкраще підходить для двовимірного набору даних. Вона відрізняється від простої лінійної регресії тим, що пояснює похибку в спостереженнях як на осі x, так і на осі y. Це особливий випадок загальних найменших квадратів, що дозволяє приймати будь-яку кількість показників для прогнозу й складнішу структуру помилок.

Регресія Демінга еквівалентна методу максимальної правдоподібності моделі похибок у змінних, в якій похибки для двох змінних вважаються незалежними й нормально розподіленими, та відомо співвідношення їхніх відхилень, позначених δ. На практиці це співвідношення можна оцінити з відповідних джерел даних; проте процедура регресії не враховує можливі похибки при оцінці цього співвідношення.

Регресію Демінга лише трохи складніше обчислити в порівнянні з простою лінійною регресією. Більшість статистичних програмних пакетів, що використовуються в клінічній хімії, пропонують регресію Демінга.

Модель спочатку була введена Адкоком (1878), який розглядав випадок δ = 1, а потім більш загалом Куммел (1879) з довільним δ. Проте їхні ідеї залишалися значною мірою непоміченими понад 50 років, поки їх не відродив Коопманс (1937). Пізніше ще більше пропагував Демінг (1943). Остання книга стала настільки популярною в клінічній хімії та суміжних областях, що цей метод навіть був названий регресією Демінга в цих областях.

Уточнення

Припустимо, що наявні дані (y_i, x_i) є виміряними спостереженнями «істинних» значень (y_i*, x_i*), які лежать на лінії регресії:

$\begin{array}{cc}{y}_i& =y_i^{*}+{\epsilon }_i,\\ x_i& =x_i^{*}+{\eta }_i,\end{array}$

де помилки ε та η незалежні, а відношення їх відхилень вважається відомим:

$\delta =\frac{{\sigma }_{\epsilon }^2}{{\sigma }_{\eta }^2}.$

На практиці відхилення параметрів $x$ та $y$ часто невідоме, що ускладнює оцінку $\delta$. Зверніть увагу, що коли метод вимірювання для $x$ та $y$ є однаковим, ці відхилення, ймовірно, також будуть однаковими, тому $\delta =1$ для цього випадку.

Ми прагнемо знайти таку лінію «найкращого підходу»,

$y^{*}={\beta }_0+{\beta }_1{x}^{*},$

де зважена сума квадратних залишків моделі зведена до мінімуму:

$SSR=\sum _{i=1}^n(\frac{{\epsilon }_i^2}{{\sigma }_{\epsilon }^2}+\frac{{\eta }_i^2}{{\sigma }_{\eta }^2})=\frac{1}{{\sigma }_{\epsilon }^2}\sum _{i=1}^n((y_i-{\beta }_0-{\beta }_1{x}_i^{*}{)}^2+\delta (x_i-x_i^{*}{)}^2)\to \underset{{\beta }_0,{\beta }_1,x_1^{*},\dots ,x_n^{*}}{\min }SSR$

Дивись Jensen (2007) для повного виведення.

Рішення

Рішення може бути виражено через моменти вибірки другого ступеня. Тобто спочатку обчислюємо наступні величини (всі суми йдуть від i = 1 to n):

$\begin{array}{cc}& \bar{x}=\frac{1}{n}\sum x_i,\bar{y}=\frac{1}{n}\sum y_i,\\ & s_{xx}=\frac{1}{n-1}\sum (x_i-\bar{x}{)}^2,\\ & s_{xy}=\frac{1}{n-1}\sum (x_i-\bar{x})(y_i-\bar{y}),\\ & s_{yy}=\frac{1}{n-1}\sum (y_i-\bar{y}{)}^2.\end{array}$

Нарешті, оцінки найменших квадратів параметрів моделі будуть

$\begin{array}{cc}& {\hat{\beta }}_1=\frac{s_{yy}-\delta s_{xx}+\sqrt{(s_{yy}-\delta s_{xx}{)}^2+4\delta s_{xy}^2}}{2s_{xy}},\\ & {\hat{\beta }}_0=\bar{y}-{\hat{\beta }}_1\bar{x},\\ & {\hat{x}}_i^{*}=x_i+\frac{{\hat{\beta }}_1}{{\hat{\beta }}_1^2+\delta }(y_i-{\hat{\beta }}_0-{\hat{\beta }}_1{x}_i).\end{array}$

Ортогональна регресія

Для випадку рівних відхилень похибки, тобто коли $\delta =1$, регресія Демінга стає ортогональною регресією: вона мінімізує суму квадратів перпендикулярних відстаней від точок даних до лінії регресії. У цьому випадку позначимо кожне спостереження як точку z_j в комплексній площині (тобто, точка (x_j, y_j) записується як z_j = x_j + iy_j, де i — уявна одиниця). Позначимо як Z суму квадратичних відмінностей точок даних від центроїда (також позначається в комплексних координатах), яка є точкою, горизонтальними та вертикальними розташуваннями якої є середні значення цих точок даних. Тоді:

• Якщо Z = 0, то кожна лінія через центроїд є лінією з найкращим ортогональним підходом.
• Якщо Z ≠ 0, лінія ортогональної регресії проходить через центроїд і паралельна вектору від початку до $\sqrt{Z}$.

Тригонометричне представлення лінії ортогональної регресії було дано Кулідж в 1913 році.

Додаток

У випадку трьох не колінеарних точок у площині трикутник з цими точками, як його вершини, має унікальний еліпс Штайнера, дотичний до сторін трикутника в їхніх серединах. Велика вісь цього еліпса падає на ортогональну лінію регресії для трьох вершин.

Див. також

• Наближення прямою

Список літератури

• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite journal
• Шаблон:Cite web
• Шаблон:Cite book
• Шаблон:Cite journal
• Шаблон:Cite journal
• Шаблон:Cite journalШаблон:Недоступне посилання