Коефіцієнт кореляції рангу Кендала

У статистиці коефіцієнт кореляції рангу Кендала, як правило, називають $\tau$-коефіцієнт (тау-коефіцієнт) Кендла. Він використовується у статистиці для вимірювання зв'язку між двома величинами. $\tau$-тест — це непараметричний тест статистичних гіпотез залежності на основі $\tau$-коефіцієнта. Зокрема, він є мірою рангової кореляції, тобто подібності упорядкування даних, коли вони упорядкуванні за своєю величиною. Цей коефіцієнт названий на честь Моріса Кендала, який розробив теорію, в якій використовував цей коефіцієнт, в 1938 році, хоча Густав Фехнер запропонував аналогічну міру в контексті часових рядів ще в 1897 році.

Означення

Усі точки в сірих прямокутниках є узгодженими, а всі точки в білих прямокутниках є неузгодженими з точкою $(X_1,Y_1)$. Загалом на графіку є $n=30$ точок, які утворюють $(\genfrac{}{}{0ex}{}{30}{2})=435$ можливих пар. 395 з цих пар є узгодженими, 40 пар — неузгодженими, що дає коефіцієнт кореляції рангу Кендала 0,816.

Нехай $(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)$ — набір спостережень спільних випадкових величин X і Y відповідно, так що всі значення (x_к) і (y_к) не є однаковими для будь-якого k=1..n. Будь-яка пара спостережень $(x_i,y_i)$ і $(x_j,y_j)$ називається узгодженою, якщо узгоджені ряди для обох елементів: тобто, якщо $x_i>x_j$ та $y_i>y_j$ або якщо $x_i<x_j$ та $y_i<y_j$ . Вони називаються неузгодженими (або дисонуючими), якщо $x_i>x_j$ та $y_i<y_j$ або якщо $x_i<x_j$ та $y_i>y_j$. Якщо $x_i=x_j$ або $y_i=y_j$, то пара не є ні узгодженою ні неузгодженою.

$\tau$ — коефіцієнт Кендалла визначається наступним чином:

$\tau =\frac{s_1-s_2}{\frac{1}{2}n(n-1)}$

Де $s_1$ — кількість узгоджених пар, $s_2$ — кількість неузгоджених пар.

Властивості

• Знаменник — це загальна кількість пар, отже коефіцієнт знаходить в діапазоні $-1⩽\tau ⩽1$.
• Якщо узгодженість між двома величинами X та Y є ідеальною (тобто ранги двох величин збігаються), то коефіцієнт має значення 1.
• Якщо розбіжність між двома величинами X та Y є ідеальною (тобто вони мають обернені порядки зростання), то коефіцієнт дорівнює −1.
• Якщо X та Y незалежні, то математичне сподівання $\tau$ дорівнює нулю.
• Використовуючи signum-функцію формулу можна записати у вигляді $\tau =\frac{2}{n(n-1)}\sum _{i<j}\mathrm{sgn}(x_i-x_j)\mathrm{sgn}(y_i-y_j)$.

Перевірка гіпотези

Коефіцієнт рангу Кендала часто використовується для статистичної оцінки в перевірці статистичних гіпотез для визначення чи можуть дві змінні розглядатись як статистично залежні. Цей тест є непараметричний, так як він не залежить від будь-яких припущень про розподіл X або Y або розподіл (x, y). При нульовій гіпотезі незалежності X і Y, вибірковий розподіл τ має очікуване значення -нуль. Точний розподіл не може бути охарактеризований з точки зору спільних розподілів, але може вираховуватись для малих вибірок; для більших вибірок, поширеним є використання наближення для нормального розподілу з математичним сподіванням рівним нулю і дисперсією випадкової величини.

Облік зв'язків

Пара {(xi, yi), (xj, yj)}, як кажуть, зв'язані, якщо xi = xi або yi=yj; зв'язні пари не є ні узгодженими ні неузгодженими. Якщо пов'язанні пари виникають в даних, коефіцієнт може бути змінений декількома способами, щоб тримати його в діапазоні [-1, 1]:

$\tau$-a

Статистична величина $\tau$-a перевіряє міру узгодженості таблиці всіх пар (xi, yi),. Обидві змінні повинні бути порядковим.

$\tau$-b

Статистична величина $\tau$-b, на відміну від $\tau$-a, вносить зміни в зв'язки. Значення $\tau$-b знаходяться в діапазоні від −1 до +1. Нульове значення свідчить про відсутність узгодженості. $\tau$-b коефіцієнт визначається таким чином:

${\tau }_B=\frac{n_c-n_d}{\sqrt{(n_0-n_1)(n_0-n_2)}}$

Де:

$\begin{array}{cc}{n}_0& =n(n-1)/2\\ n_1& =\sum _i{t}_i(t_i-1)/2\\ n_2& =\sum _j{u}_j(u_j-1)/2\end{array}$

$n_c$= кількість узгоджених пар
$n_d$= кількість неузгоджених пар
$t_i$= кількість зв'язків величин в i-тій групі зв'язків першої величини
$u_j$= зв'язків величин в j-тій групі зв'язків другої величини

$\tau$-c

$\tau$-c відрізняється від $\tau$-b тим, що більш підходить для прямокутних ніж для квадратних таблиць.

Приклад

Коли дві величини є статистично незалежними, то розподіл $\tau$ не можна легко описати виходячи з відомих розподілів. Проте, для ${\tau }_A$ наступна величина — ${\mathrm{Z}}_A$ — наближено розподілена у вигляді нормального розподілу, якщо зміні є статистично незалежними:

$z_A=\frac{3(n_c-n_d)}{\sqrt{n(n-1)(2n+5)/2}}$

Таким чином, щоб перевірити чи є дві змінні залежними, обчислюють ${\mathrm{Z}}_A$ та знаходять кумулятивну ймовірність для стандартного нормального розподілу на -|${\mathrm{Z}}_A$|.

${\mathrm{Z}}_B$ має той самий розподіл, що й ${\tau }_B$ розподіл і приблизно дорівнює стандартному нормальному розподілу, коли величини статистично незалежні:

${\mathbb{Z}}_B=\frac{n_c-n_d}{\sqrt{v}}$

Де

$\begin{array}{ccc}v& =& (v_0-v_t-v_u)/18+v_1+v_2\\ v_0& =& n(n-1)(2n+5)\\ v_t& =& \sum _i{t}_i(t_i-1)(2t_i+5)\\ v_u& =& \sum _j{u}_j(u_j-1)(2u_j+5)\\ v_1& =& \sum _i{t}_i(t_i-1)\sum _j{u}_j(u_j-1)/(2n(n-1))\\ v_2& =& \sum _i{t}_i(t_i-1)(t_i-2)\sum _j{u}_j(u_j-1)(u_j-2)/(9n(n-1)(n-2))\end{array}$