Відстань Кука

У статистиці відстань Кука є загальноприйнятою оцінкою впливу спостереження під час застосування методу найменших квадратів у регресійному аналізі. На практиці, при застосуванні методу найменших квадратів, відстань Кука може використовуватися для наступних цілей: визначити впливові спостереження даних, які потрібно перевірити на валідність; визначення областей простору, у яких непогано було б отримати більше результатів спостереження. Відстань названа на честь американського статистика Шаблон:Не перекладено, який у 1977 році запропонував дану концепцію.

Означення

Дані з великими значеннями залишків (викиди) та/або великими значеннями важелів можуть спотворювати результати й точність регресійної моделі. Відстань Кука вимірює ефект видалення даного спостереження з вибірки. Вважається, що для спостережень з великою відстанню Кука доцільно проводити більш глибокий аналіз.

Для алгебраїчного представлення спочатку визначимо:

$\underset{n\times 1}{𝐲}=\underset{n\times p}{𝐗}\underset{p\times 1}{\mathit{\beta }}+\underset{n\times 1}{\mathit{ϵ}}$

де $\mathit{ϵ}\sim 𝒩(0,{\sigma }^2𝐈)$ — похибки регресії, $\mathit{\beta }={[{\beta }_0{\beta }_1\dots {\beta }_{p-1}]}^{𝖳}$ — параметри регресії, $𝐗$ — матриця регресорів із одиничним першим стовпчиком. Тоді оцінка коефіцієнтів регресії методом найменших квадратів  має представлення $𝐛={\left({𝐗}^{𝖳}𝐗\right)}^{-1}{𝐗}^{𝖳}𝐲$, а отже, відповідно, прогнозовані значення для $𝐲$ обчислюються за формулою:

$\widehat{𝐲}=𝐗𝐛=𝐗{\left({𝐗}^{𝖳}𝐗\right)}^{-1}{𝐗}^{𝖳}𝐲=𝐇𝐲$

де $𝐇\equiv 𝐗({𝐗}^{𝖳}𝐗{)}^{-1}{𝐗}^{𝖳}$— проєкційна матриця. Причому $i$-тий діагональний елемент матриці $𝐇$, що обчислюється як $h_i\equiv {𝐱}_i^{𝖳}({𝐗}^{𝖳}𝐗{)}^{-1}{𝐱}_i$, називається важелем $i$-го спостереження. Аналогічно, $i$-тий елемент вектора залишків має вигляд $𝐞=𝐲-\widehat{𝐲}=(𝐈-𝐇)𝐲$ і позначається як $e_i$.

Відстань Кука $D_i$ спостереження $i(\mathrm{\forall }i=1,\dots ,n)$ визначається як сума всіх змін у регресійній моделі, у разі видалення $i$-го спостереження

$D_i=\frac{\sum _{j=1}^n{({\hat{y}}_j-{\hat{y}}_{j(i)})}^2}{p{s}^2}$

де ${\hat{y}}_{j(i)}$ — прогноз відгука, отриманий вилученням $i$-го спостереження,

де $s^2\equiv {(n-p)}^{-1}{𝐞}^{\mathrm{\top }}𝐞$ — середньоквадратична похибка регресійної моделі.

Аналогічно, відстань Кука можна виразити через важелі

$D_i=\frac{e_i^2}{s^{2}p}\left[\frac{h_i}{(1-h_i{)}^2}\right]$

Визначення спостережень із великим впливом

Існують різні припущення щодо того, які межі використовувати для виявлення точок із великим впливом. Пропонується, у разі $D_i>1$ ввжати спостереження впливовим. Також, іноді використовується припущення, що слід враховувати $D_i>4/n$, де $n$ - кількість спостережень.

Інтерпретація

Зокрема, $D_i$ можна інтерпретувати як відстань, яку проходить оцінка, в межах довірчого еліпсоїда, що є областю вірогідних значень параметра.Шаблон:Прояснити Це показується за допомогою альтернативного, проте еквівалентного зображення відстані Кука в термінах зміни оцінки параметра у випадку включення та виключення конкретного спотсереження з регресіного аналізу.

Література

• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite journal