Коефіцієнт кореляції Пірсона

Приклади діаграм розсіювання з різними значеннями коефіцієнта кореляції (ρ)

Декілька наборів точок (x, y), з коефіцієнтом кореляції між x та y для кожного набору. Кореляція відображує силу та напрямок лінійного зв'язку (верхній ряд), але не нахил цього зв'язку (середній), ані багато аспектів нелінійних зв'язків (нижній). Примітка: фігура в центрі має нахил 0, але в цьому випадку коефіцієнт кореляції невизначений, оскільки дисперсія Y нульова.

У статистиці, коефіціє́нт кореля́ції Пі́рсона (ККП, Шаблон:Lang-en)Шаблон:Efn — це коефіцієнт кореляції, який вимірює Шаблон:Нп кореляцію між двома наборами даних. Це відношення коваріації двох змінних до добутку їхніх стандартних відхилень; таким чином, це, по суті, унормована міра коваріації, така, що її результат завжди має значення між −1 та 1. Як і сама коваріація, ця міра може відображати лише лінійну кореляцію змінних, і не враховує багатьох інших типів взаємозв'язків і кореляцій. Як простий приклад, можна було би очікувати, що вік і зріст групи підлітків із середньої школи матимуть коефіцієнт кореляції Пірсона значно більший за 0, але менший за 1 (оскільки 1 означало би нереалістично ідеальну кореляцію).

Назва й історія

Розробив його Карл Пірсон на основі спорідненої ідеї, запропонованої Френсісом Гальтоном у 1880-х роках, математичну формулу для якої вивів та опублікував Огюст Браве 1844 року.Шаблон:Efn Назва цього коефіцієнта є одним із прикладів закону Стіглера.

Визначення

Коефіцієнт кореляції Пірсона це коваріація двох змінних, поділена на добуток їхніх стандартних відхилень. Вигляд цього визначення містить «момент добутку», тобто середнє значення (перший момент відносно початку координат) добутку змінних, скоригованих на їхні середні значення; тому в назві й використовують означення «моменту добутку».

Для сукупності

Коефіцієнт кореляції Пірсона, коли його застосовують до сукупності, зазвичай позначують грецькою літерою ρ (ро), й можуть називати коефіцієнтом кореляції сукупності (Шаблон:Lang-en) або коефіцієнтом кореляції Пірсона для сукупності (Шаблон:Lang-en). Для пари випадкових змінних $(X,Y)$ (наприклад, Зріст та Вага), формулою для ρ є

$${\rho }_{X,Y}=\frac{\mathrm{cov}(X,Y)}{{\sigma }_X{\sigma }_Y}$$

де

• $\mathrm{cov}$ — коваріація
• ${\sigma }_X$ — стандартне відхилення $X$
• ${\sigma }_Y$ — стандартне відхилення $Y$.

Формулу для $\mathrm{cov}(X,Y)$ можливо виразити через середнє значення та математичне сподівання. Оскільки

$\mathrm{cov}(X,Y)=𝔼[(X-{\mu }_X)(Y-{\mu }_Y)],$

формулу для $\rho$ також можливо записати як

$${\rho }_{X,Y}=\frac{𝔼[(X-{\mu }_X)(Y-{\mu }_Y)]}{{\sigma }_X{\sigma }_Y}$$

де

• ${\sigma }_Y$ та ${\sigma }_X$ визначено як вище
• ${\mu }_X$ — середнє значення $X$
• ${\mu }_Y$ — середнє значення $Y$
• $𝔼$ — математичне сподівання.

Формулу для $\rho$ можливо виразити через нецентровані моменти. Оскільки

$\begin{array}{cc}{\mu }_X=& 𝔼[X]\\ {\mu }_Y=& 𝔼[Y]\\ {\sigma }_X^2=& 𝔼\left[{(X-𝔼[X])}^2\right]=𝔼\left[X^2\right]-{(𝔼[X])}^2\\ {\sigma }_Y^2=& 𝔼\left[{(Y-𝔼[Y])}^2\right]=𝔼\left[Y^2\right]-{(𝔼[Y])}^2\\ & 𝔼[(X-{\mu }_X)(Y-{\mu }_Y)]=𝔼[(X-𝔼[X])(Y-𝔼[Y])]=𝔼[XY]-𝔼[X]𝔼[Y],\end{array}$

формулу для $\rho$ також можливо записати як $${\rho }_{X,Y}=\frac{𝔼[XY]-𝔼[X]𝔼[Y]}{\sqrt{𝔼\left[X^2\right]-{(𝔼[X])}^2}\sqrt{𝔼\left[Y^2\right]-{(𝔼[Y])}^2}}.$$

Для вибірки

Коефіцієнт кореляції Пірсона, коли його застосовують до вибірки, зазвичай позначують через $r_{xy}$ і можуть називати коефіцієнтом кореляції вибірки (Шаблон:Lang-en) або коефіцієнтом кореляції Пірсона для вибірки (Шаблон:Lang-en). Формулу для $r_{xy}$ можливо отримати, підставивши оцінки коваріацій та дисперсій на основі вибірки до наведеної вище формули. Для парних даних $\{(x_1,y_1),\dots ,(x_n,y_n)\}$, що складаються з $n$ пар, $r_{xy}$ визначають як

$$r_{xy}=\frac{\sum _{i=1}^n(x_i-\overline{x})(y_i-\overline{y})}{\sqrt{\sum _{i=1}^n(x_i-\overline{x}{)}^2}\sqrt{\sum _{i=1}^n(y_i-\overline{y}{)}^2}}$$

де

• $n$ — розмір вибірки
• $x_i,y_i$ — окремі точки вибірки з індексом i
• $\overline{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$ (середнє значення вибірки); й аналогічно для $\overline{y}$.

Перегрупування дає таку формулу для $r_{xy}$:

$r_{xy}=\frac{n\sum x_i{y}_i-\sum x_i\sum y_i}{\sqrt{n\sum x_i^2-{(\sum x_i)}^2}\sqrt{n\sum y_i^2-{(\sum y_i)}^2}},$

де $n,x_i,y_i$ визначено як вище.

Ця формула пропонує зручний однопрохідний алгоритм обчислення кореляцій вибірок, хоча, залежно від задіяних чисел, вона іноді може бути чисельно нестійкою.

Подальше перегрупування дає таку формулу для $r_{xy}$:

$r_{xy}=\frac{\sum _i{x}_i{y}_i-n\overline{x}\overline{y}}{\sqrt{\sum _i{x}_i^2-n{\overline{x}}^2}\sqrt{\sum _i{y}_i^2-n{\overline{y}}^2}},$

де $n,x_i,y_i,\overline{x},\overline{y}$ визначено як вище.

Еквівалентний вираз дає формулу для $r_{xy}$ як середнє добутків стандартних оцінок наступним чином:

$r_{xy}=\frac{1}{n-1}\sum _{i=1}^n\left(\frac{x_i-\overline{x}}{s_x}\right)\left(\frac{y_i-\overline{y}}{s_y}\right)$

де

• $n,x_i,y_i,\overline{x},\overline{y}$ визначено як вище, а $s_x,s_y$ визначено нижче
• $\left(\frac{x_i-\overline{x}}{s_x}\right)$ — стандартна оцінка (й аналогічно для стандартної оцінки $y$).

Доступні й альтернативні формули для $r_{xy}$. Наприклад, можливо використовувати наступну формулу для $r_{xy}$:

$r_{xy}=\frac{\sum x_i{y}_i-n\overline{x}\overline{y}}{(n-1)s_x{s}_y}$

де

• $n,x_i,y_i,\overline{x},\overline{y}$ визначено як вище, а
• $s_x=\sqrt{\frac{1}{n-1}\sum _{i=1}^n(x_i-\overline{x}{)}^2}$ (ви́біркове стандартне відхилення); й аналогічно для $s_y$.

Для спільно гауссових розподілів

Якщо $(X,Y)$ спільно гауссові, з нульовим середнім значенням і дисперсією $\mathrm{\Sigma }$, то $\mathrm{\Sigma }=\left[\begin{array}{cc}{\sigma }_X^2& {\rho }_{X,Y}{\sigma }_X{\sigma }_Y\\ {\rho }_{X,Y}{\sigma }_X{\sigma }_Y& {\sigma }_Y^2\end{array}\right]$.

Практичні проблеми

В умовах сильного шуму виділяння коефіцієнта кореляції між двома наборами стохастичних змінних нетривіальне, особливо коли канонічно-кореляційний аналіз показує зниження значень кореляції через значний внесок шуму. Узагальнення цього підходу наведено в іншому місці.

У випадку відсутності даних, Ґаррен вивів оцінювання максимальною правдоподібністю.

Деякі розподіли (наприклад, стійкі розподіли, відмінні від нормального) не мають визначеної дисперсії.

Математичні властивості

Значення коефіцієнта кореляції Пірсона як для вибірки, так і для сукупності перебувають на або між −1 та 1. Кореляції, які дорівнюють +1 чи −1, відповідають точкам даних, що лежать точно на прямій (у випадку коефіцієнта кореляції вибірки), або двовимірному розподілу, Шаблон:Нп якого лежить на прямій (у випадку коефіцієнта кореляції сукупності). Коефіцієнт кореляції Пірсона симетричний: corr(X,Y) = corr(Y,X).

Ключовою математичною властивістю коефіцієнта кореляції Пірсона є його Шаблон:Нп щодо окремих змін розташування та масштабу в обох змінних. Тобто ми можемо перетворити X на Шаблон:Math, і перетворити Y на Шаблон:Math, де a, b, c, та d сталі, а Шаблон:Math, не змінивши коефіцієнта кореляції. (Це справджується як для коефіцієнта кореляції сукупності, так і для коефіцієнта кореляції вибірки.) Загальніші лінійні перетворення кореляцію змінюють: щодо того, як це застосовувати, див. Шаблон:Section link.

Тлумачення

Коефіцієнт кореляції набуває значень з −1 по 1. Абсолютне рівне значення 1 означає, що лінійне рівняння описує взаємозв'язок між X та Y ідеально, з усіма точками даних на одній прямій. Знак кореляції визначається нахилом регресії: значення +1 означає, що всі точки даних лежать на прямій, за якої Y зростає зі зростанням X, і навпаки для −1. Значення 0 означає, що між змінними немає лінійної залежності.

Загальніше, Шаблон:Math додатний тоді й лише тоді, коли X_i та Y_i перебувають з одного боку від своїх середніх значень. Відтак, коефіцієнт кореляції додатний, коли X_i та Y_i схильні бути одночасно більшими або одночасно меншими за свої середні значення. Коефіцієнт кореляції від'ємний (антикореляція), коли X_i та Y_i схильні перебувати по різні боки від своїх середніх значень. Більше того, що сильніша будь-яка з цих тенденцій, то більше абсолютне значення коефіцієнта кореляції.

Роджерс та Найсвандер перелічили тринадцять способів тлумачення кореляції або простих функцій від неї:

• Функція від сирих оцінок та середніх значень
• Стандартизована коваріація
• Стандартизований нахил лінії регресії
• Геометричне середнє двох нахилів регресії
• Квадратний корінь відношення двох дисперсій
• Середній векторний добуток стандартизованих змінних
• Функція кута між двома стандартизованими регресійними лініями
• Функція кута між двома векторами змінних
• Перемасштабована дисперсія різниці стандартизованих оцінок
• Оцінка за правилом повітряної кульки
• Пов'язана з двовимірними еліпсами ізоконцентрації
• Функція статистичного критерію із запланованих експериментів
• Відношення двох середніх

Геометричне тлумачення

Лінії регресії для Шаблон:Math [[[:Шаблон:Color]]] та Шаблон:Math [[[:Шаблон:Color]]

]

Для нецентрованих даних існує зв'язок між коефіцієнтом кореляції та кутом φ між двома регресійними лініями, Шаблон:Nowrap та Шаблон:Nowrap, отриманими в результаті регресії y на x та x на y відповідно. (Тут φ відкладають проти годинникової стрілки в першому квадранті, утвореному навколо точки перетину ліній, якщо Шаблон:Math, чи проти годинникової стрілки з четвертого до другого квадранту, якщо Шаблон:Nowrap.) Можливо показати, що якщо стандартні відхилення рівні, то Шаблон:Nowrap, де sec та tg — тригонометричні функції.

Для центрованих даних (тобто даних, зміщених на середні значення їхніх відповідних змінних, таким чином, щоби середнє значення кожної змінної було нульовим) коефіцієнт кореляції також можливо розглядати як косинус кута θ між двома спостережуваними векторами в N-вимірному просторі (для N спостережень кожної змінної).

Коефіцієнти як нецентрованої (не пірсоново сумісної), так і центрованої кореляції можливо визначати для набору даних. Наприклад, припустімо, що виявлено, що п'ять країн мають валовий національний продукт 1, 2, 3, 5 та 8 мільярдів доларів відповідно. Припустімо, що ці ж п'ять країн (у тому ж порядку) мають 11 %, 12 %, 13 %, 15 % та 18 % бідності. Тоді нехай x та y будуть впорядкованими 5-елементними векторами, що містять наведені вище дані: Шаблон:Nowrap та Шаблон:Nowrap.

За звичайною процедурою визначення кута θ між двома векторами (див. скалярний добуток) коефіцієнт нецентрованої кореляції становить

$\cos \theta =\frac{𝐱\cdot 𝐲}{\left|𝐱\right|\left|𝐲\right|}=\frac{2.93}{\sqrt{103}\sqrt{0.0983}}=0.920814711.$

Цей коефіцієнт нецентрованої кореляції ідентичний косинусній подібності. Наведені вище дані було свідомо обрано так, щоби вони бути ідеально корельованими: Шаблон:Math. Тому коефіцієнт кореляції Пірсона мусить дорівнювати рівно одиниці. Центрування даних (зміщення x на Шаблон:Math та y на Шаблон:Math) дає Шаблон:Math та Шаблон:Math, звідки

$\cos \theta =\frac{𝐱\cdot 𝐲}{\left|𝐱\right|\left|𝐲\right|}=\frac{0.308}{\sqrt{30.8}\sqrt{0.00308}}=1={\rho }_{xy},$

як і очікувалося.

Тлумачення розміру кореляції

Цей рисунок дає уявлення про те, як корисність кореляції Пірсона для передбачування значень змінюється залежно від її величини. Для спільно нормальних X, Y з кореляцією ρ, $1-\sqrt{1-{\rho }^2}$ (зображений тут як функція ρ) це коефіцієнт, на який може бути зменшено заданий Шаблон:Нп для Y з урахуванням відповідного значення X. Наприклад, якщо ρ = 0.5, то 95 %-вий інтервал передбачення Y|X буде приблизно на 13 % меншим за 95 %-вий інтервал передбачення Y.

Декілька авторів запропонували настанови для тлумачення коефіцієнта кореляції. Проте всі такі критерії дещо довільні. Тлумачення коефіцієнта кореляції залежить від контексту та цілей. Кореляція 0,8 може бути дуже низькою, якщо йдеться про перевірку фізичного закону з використанням високоякісних інструментів, але може вважатися дуже високою в соціальних науках, де внесок від ускладнювальних чинників може бути більшим.

Висновування

Статистичне висновування на основі коефіцієнті кореляції Пірсона часто зосереджується на одній з наступних двох цілей:

• Одна мета полягає в перевірці нульової гіпотези, що істинний коефіцієнт кореляції ρ дорівнює 0, на основі значення коефіцієнта кореляції вибірки r.
• Інша мета полягає в тому, щоби вивести довірчий інтервал, який при повторюваному вибиранні має задану ймовірність містити ρ.

Методи досягнення однієї або обох цих цілей обговорюються нижче.

Використання перестановкового критерію

Перстановкові критерії забезпечують прямий підхід до здійснення перевірок гіпотез і побудови довірчих інтервалів. Перестановковий критерій для коефіцієнта кореляції Пірсона містить наступні два кроки:

1. Використовуючи первинні паровані дані (x_i, y_i), випадково визначити пари заново, створивши новий набір даних (x_i, y_i′), де i′ — перестановка множини {1,…,n}. Перестановку i′ вибирають випадково, з рівними ймовірностями для всіх n! можливих перестановок. Це рівнозначне вибиранню i′ випадково без повторів з множини {1, …, n}. У натяжці, тісно пов'язаному підході, i та i′ є рівними й вибираються з {1, …, n} з повторами;
2. Побудувати коефіцієнт кореляції r з цих увипадковлених даних.

Щоби виконати перевірку перестановкового критерію, повторіть кроки (1) та (2) велику кількість разів. p-значення для перестановкового критерію — це частка значень r, породжених на кроці (2), більших за коефіцієнт кореляції Пірсона, обчислений із первинних даних. Тут «більший» може означати як більший за абсолютним значенням, так і більший за значенням зі знаком, залежно від того, чи потрібен Шаблон:Нп, чи Шаблон:Нп критерій.

Використання натяжки

Для побудови довірчих інтервалів для коефіцієнта кореляції Пірсона можливо використовувати натяжку. В «непараметричній» натяжці n пар (x_i, y_i) перевибирають зі спостережуваного набору з n пар «з повторами», й коефіцієнт кореляції r обчислюють на основі цих перевибраних даних. Цей процес повторюють велику кількість разів, і цей емпіричний розподіл перевибраних значень r використовують для наближення вибіркового розподілу цієї статистики. 95 %-вий довірчий інтервал для ρ можливо визначити як інтервал, що простягається від 2,5-го до 97,5-го перцентиля перевибраних значень r.

Стандартна похибка

Якщо $x$ та $y$ — випадкові змінні, то стандартною похибкою, пов'язаною з кореляцією у випадку нульової гіпотези, є

${\sigma }_r=\sqrt{\frac{1-r^2}{n-2}}$

де $r$ — кореляція (за припущення r≈0), а $n$ — розмір вибірки.

Перевірка з використанням розподілу Ст'юдента

Критичні значення коефіцієнта кореляції Пірсона, які має бути перевищено, щоби вважати його значно ненульовим на рівні 0,05.

Для пар з некорельованого двовимірного нормального розподілу, вибірковий розподіл ст'юдентованого коефіцієнта кореляції Пірсона дотримується t-розподілу Ст'юдента зі ступенями вільності n − 2. Зокрема, якщо змінні в основі мають двовимірний нормальний розподіл, то змінна

$t=\frac{r}{{\sigma }_r}=r\sqrt{\frac{n-2}{1-r^2}}$

у випадку нульової гіпотези (нульової кореляції) має розподіл Ст'юдента. Це приблизно виконується у випадку не нормальних спостережуваних значень, якщо розміри вибірок достатньо великі. Для визначення критичних значень для r потрібна обернена функція:

$r=\frac{t}{\sqrt{n-2+t^2}}.$

Також можливо використовувати асимптотичні підходи для великих вибірок.

Інша рання стаття пропонує графіки та таблиці для загальних значень ρ, для малих розмірів вибірки, та обговорює підходи до обчислень.

У випадку, якщо змінні в основі не нормальні, вибірковий розподіл коефіцієнта кореляції Пірсона дотримується розподілу Ст'юдента, але ступені вільності знижуються.

Використання точного розподілу

Для даних, що слідують двовимірному нормальному розподілу, точною функцією густини f(r) для вибіркового коефіцієнта кореляції r нормального двовимірного розподілу є

$f(r)=\frac{(n-2)\mathrm{\Gamma }(n-1){(1-{\rho }^2)}^{\frac{n-1}{2}}{(1-r^2)}^{\frac{n-4}{2}}}{\sqrt{2\pi }\mathrm{\Gamma }(n-\frac{1}{2})(1-\rho r{)}^{n-\frac{3}{2}}}{}_2{\mathrm{F}}_1(\frac{1}{2},\frac{1}{2};\frac{1}{2}(2n-1);\frac{1}{2}(\rho r+1))$

де $\mathrm{\Gamma }$ — це гамма-функція, а ${}_2{\mathrm{F}}_1(a,b;c;z)$ — гауссова гіпергеометрична функція.

В окремому випадку, коли $\rho =0$ (нульова кореляція в сукупності), точну функцію густини f(r) можливо записати як

$f(r)=\frac{{\left(\frac{1}{1-r^2}\right)}^{-\frac{n-1}{2}}}{\sqrt{n-2}\mathrm{B}(\frac{1}{2},\frac{n-2}{2})},$

де $\mathrm{B}$ — це бета-функція, що є одним зі способів запису густини t-розподілу Ст'юдента для ст'юдентованого вибіркового коефіцієнта кореляції, як зазначено вище.

Використання точного довірчого розподілу

Довірчі інтервали та критерії можливо розраховувати з Шаблон:Нп. Точна довірча густина для ρ становить

$$\pi (\rho \mid r)=\frac{\nu (\nu -1)\mathrm{\Gamma }(\nu -1)}{\sqrt{2\pi }\mathrm{\Gamma }(\nu +\frac{1}{2})}{(1-r^2)}^{\frac{\nu -1}{2}}\cdot {(1-{\rho }^2)}^{\frac{\nu -2}{2}}\cdot {(1-r\rho )}^{\frac{1-2\nu }{2}}\mathrm{F}(\frac{3}{2},-\frac{1}{2};\nu +\frac{1}{2};\frac{1+r\rho }{2})$$

де $\mathrm{F}$ — це гауссова гіпергеометрична функція, а $\nu =n-1>1$.

Використання перетворення Фішера

На практиці обчислення довірчих інтервалів та перевірки гіпотез щодо ρ зазвичай виконують за допомогою Шаблон:Нп, $F$:

$F(r)\equiv \frac{1}{2}\ln \left(\frac{1+r}{1-r}\right)=\mathrm{arth}(r)$

F(r) приблизно дотримується нормальному розподілу, де

$\text{середнє}=F(\rho )=\mathrm{arth}(\rho ),$Шаблон:Spacesа стандартна похибка $=\text{SE}=\frac{1}{\sqrt{n-3}},$

де n — розмір вибірки. Похибка наближення найнижча для великого розміру вибірки $n$ і малих значень $r$ та ${\rho }_0$, і збільшується в іншому випадку.

За використання цього наближення z-оцінка становить

$z=\frac{x-\text{середнє}}{\text{SE}}=[F(r)-F({\rho }_0)]\sqrt{n-3}$

за нульовою гіпотезою, що $\rho ={\rho }_0$, за припущення, що пари вибірки незалежні й однаково розподілені та дотримуються двовимірного нормального розподілу. Відтак, можливо отримати наближене p-значення з таблиці нормальної ймовірності. Наприклад, якщо спостерігається z = 2.2 й потрібне двобічне p-значення для перевірки нульової гіпотези, що $\rho =0$, то p-значення становитиме Шаблон:Nowrap, де Φ — це стандартна нормальна функція розподілу.

Щоб отримати довірчий інтервал для ρ, спочатку обчислімо довірчий інтервал для F($\rho$):

$100(1-\alpha )\mathrm{\%}\text{CI}:\mathrm{arth}(\rho )\in [\mathrm{arth}(r)\pm z_{\alpha /2}\text{SE}]$

Обернене перетворення Фішера повертає інтервал до шкали кореляції.

$100(1-\alpha )\mathrm{\%}\text{CI}:\rho \in [\mathrm{th}(\mathrm{arth}(r)-z_{\alpha /2}\text{SE}),\mathrm{th}(\mathrm{arth}(r)+z_{\alpha /2}\text{SE})]$

Наприклад, припустімо, що ми спостерігаємо r = 0.7 з розміром вибірки n=50, і хочемо отримати 95 %-вий довірчий інтервал для ρ. Перетворене значення становить $\mathrm{arth}\left(r\right)=0.8673$, тому довірчий інтервал у перетвореній шкалі становить $0.8673\pm \frac{1.96}{\sqrt{47}}$, або (0.5814, 1.1532). Перетворення назад до шкали кореляції дає (0.5237, 0.8188).

В регресійному аналізі методом найменших квадратів

Квадрат коефіцієнта кореляції вибірки зазвичай позначують через r², він є окремим випадком коефіцієнта детермінації. У цьому випадку він оцінює частку дисперсії Y, яку пояснює X через просту лінійну регресію. Отже, якщо є спостережуваний набір даних $Y_1,\dots ,Y_n$ та допасований набір даних ${\hat{Y}}_1,\dots ,{\hat{Y}}_n$, то як відправну точку повну дисперсію Y_i навколо їхнього середнього значення можливо розкласти як

$\sum _i(Y_i-\overline{Y}{)}^2=\sum _i(Y_i-{\hat{Y}}_i{)}^2+\sum _i({\hat{Y}}_i-\overline{Y}{)}^2,$

де ${\hat{Y}}_i$ — це допасовані значення з регресійного аналізу. Це можливо переформулювати як

$1=\frac{\sum _i(Y_i-{\hat{Y}}_i{)}^2}{\sum _i(Y_i-\overline{Y}{)}^2}+\frac{\sum _i({\hat{Y}}_i-\overline{Y}{)}^2}{\sum _i(Y_i-\overline{Y}{)}^2}.$

Обидва доданки вище — це частка дисперсії в Y, яку пояснює X (правий), та яку X не пояснює (лівий).

Далі, ми застосовуємо властивість регресійних моделей найменших квадратів, що вибіркова коваріація між ${\hat{Y}}_i$ та $Y_i-{\hat{Y}}_i$ нульова. Тож вибірковий коефіцієнт кореляції між спостережуваними та допасованими значеннями відгуку в регресії можливо записати (обчислення виконується виходячи з очікування гауссової статистики) як

$\begin{array}{cc}r(Y,\hat{Y})& =\frac{\sum _i(Y_i-\overline{Y})({\hat{Y}}_i-\overline{Y})}{\sqrt{\sum _i(Y_i-\overline{Y}{)}^2\cdot \sum _i({\hat{Y}}_i-\overline{Y}{)}^2}}\\ & =\frac{\sum _i(Y_i-{\hat{Y}}_i+{\hat{Y}}_i-\overline{Y})({\hat{Y}}_i-\overline{Y})}{\sqrt{\sum _i(Y_i-\overline{Y}{)}^2\cdot \sum _i({\hat{Y}}_i-\overline{Y}{)}^2}}\\ & =\frac{\sum _i[(Y_i-{\hat{Y}}_i)({\hat{Y}}_i-\overline{Y})+({\hat{Y}}_i-\overline{Y}{)}^2]}{\sqrt{\sum _i(Y_i-\overline{Y}{)}^2\cdot \sum _i({\hat{Y}}_i-\overline{Y}{)}^2}}\\ & =\frac{\sum _i({\hat{Y}}_i-\overline{Y}{)}^2}{\sqrt{\sum _i(Y_i-\overline{Y}{)}^2\cdot \sum _i({\hat{Y}}_i-\overline{Y}{)}^2}}\\ & =\sqrt{\frac{\sum _i({\hat{Y}}_i-\overline{Y}{)}^2}{\sum _i(Y_i-\overline{Y}{)}^2}}.\end{array}$

Тож

$r(Y,\hat{Y}{)}^2=\frac{\sum _i({\hat{Y}}_i-\overline{Y}{)}^2}{\sum _i(Y_i-\overline{Y}{)}^2}$

де $r(Y,\hat{Y}{)}^2$ — частка дисперсії Y, пояснювана лінійною функцією X.

У наведеному вище виведенні той факт, що

$\sum _i(Y_i-{\hat{Y}}_i)({\hat{Y}}_i-\overline{Y})=0$

можливо довести, відмітивши, що частинні похідні Шаблон:Нп (Шаблон:Math) за β₀ та β₁ у моделі найменших квадратів дорівнюють 0, де

$\text{RSS}=\sum _i(Y_i-{\hat{Y}}_i{)}^2$.

Кінець кінцем, рівняння можливо записати як

$r(Y,\hat{Y}{)}^2=\frac{{\text{SS}}_{\text{reg}}}{{\text{SS}}_{\text{tot}}}$

де

• ${\text{SS}}_{\text{reg}}=\sum _i({\hat{Y}}_i-\overline{Y}{)}^2$
• ${\text{SS}}_{\text{tot}}=\sum _i(Y_i-\overline{Y}{)}^2$.

Символ ${\text{SS}}_{\text{reg}}$ називають сумою квадратів регресії, також відомою як пояснена сума квадратів, а ${\text{SS}}_{\text{tot}}$ — Шаблон:Нп (пропорційна дисперсії даних).

Чутливість до розподілу даних

Існування

Коефіцієнт кореляції Пірсона для сукупності визначено через моменти, й тому він існує для будь-якого двовимірного розподілу ймовірності, для якого визначені коваріація сукупності та відособлені дисперсії сукупності, й вони ненульові. Деякі розподіли ймовірності, такі як розподіл Коші, мають невизначену дисперсію, й відтак якщо X або Y відповідають такому розподілові, то ρ невизначений. У деяких практичних застосуваннях, дані в яких підозрюють на відповідність Шаблон:Нп, це важливий аспект. Проте, існування коефіцієнта кореляції зазвичай не проблема; наприклад, якщо діапазон розподілу обмежений, ρ завжди визначений.

Розмір вибірки

• Якщо розмір вибірки помірний або великий і сукупність нормальна, то у випадку двовимірного нормального розподілу вибірковий коефіцієнт кореляції є максимально-правдоподібнісною оцінкою коефіцієнта кореляції сукупності, Шаблон:Нп Шаблон:Нп та Шаблон:Нп, що приблизно означає неможливість побудувати оцінку, точнішу за вибірковий коефіцієнт кореляції.
• Якщо розмір вибірки великий і сукупність не нормальна, то вибірковий коефіцієнт кореляції залишається приблизно незміщеним, але може не бути ефективним.
• Якщо розмір вибірки великий, то вибірковий коефіцієнт кореляції є слушною оцінкою коефіцієнта кореляції сукупності, за умови, що середні значення вибірки, дисперсії та коваріація слушні (що гарантовано, коли можливо застосувати закон великих чисел).
• Якщо розмір вибірки малий, то вибірковий коефіцієнт кореляції r не є незміщеною оцінкою ρ. Замість цього слід використовувати скоригований коефіцієнт кореляції: визначення див. далі у цій статті.
• Кореляції можуть бути різними для незбалансованих дихотомних даних, коли у вибірці є помилка дисперсії.

Робастність

Як і багато інших часто використовуваних статистик, вибіркова статистика r не робастна, тож за наявності викидів її значення може бути оманливим. Зокрема, коефіцієнт кореляції моменту добутку не робастний ані щодо розподілу, ані щодо викидів (див. Шаблон:Section link). Перевірка діаграми розсіяння між X та Y зазвичай виявляє ситуацію, коли робастність може бути проблемою, і в таких випадках може бути рекомендовано використовувати робастну міру пов'язаності. Проте слід зазначити, що хоч більшість робастних оцінювачів пов'язаності і вимірюють якимось чином статистичну залежність, вони зазвичай не інтерпретовні тою ж мірою, що й коефіцієнт кореляції Пірсона.

Статистичне висновування для коефіцієнта кореляції Пірсона чутливе до розподілу даних. Точні критерії та асимптотичні критерії на основі Шаблон:Нп можливо застосовувати, якщо дані розподілені приблизно нормально, але в іншому разі вони можуть бути оманливими. У деяких ситуаціях можливо використовувати натяжку для створення довірчих інтервалів, а перестановкові критерії — для здійснення перевірки гіпотез. Ці Шаблон:Нп підходи можуть давати змістовніші результати в деяких ситуаціях, коли двовимірна нормальність не виконується. Проте стандартні версії цих підходів покладаються на Шаблон:Нп даних, що означає, що не існує впорядкування чи групування аналізованих пар даних, які могли би вплинути на поведінку оцінки кореляції.

Стратифікований аналіз — це один зі способів або пристосування до відсутності двовимірної нормальності, або для відокремлення кореляції, що випливає з одного чинника при контролі над іншим. Якщо W подає приналежність до кластеру або інший чинник, який хочеться контролювати, можливо стратифікувати дані на основі значення W, а потім обчислити коефіцієнт кореляції в межах кожної страти. Оцінки на рівні страт потім можливо об'єднати для оцінки загальної кореляції при контролі над W.

Варіанти

Існують різні варіації коефіцієнта кореляції, які можливо обчислювати для різних цілей. Ось декілька прикладів.

Скоригований коефіцієнт кореляції

Вибірковий коефіцієнт кореляції Шаблон:Mvar не є незміщеною оцінкою Шаблон:Mvar. Для даних, що дотримуються двовимірному нормальному розподілу, математичне сподівання Шаблон:Math вибіркового коефіцієнта кореляції Шаблон:Mvar нормальної двовимірності становить

$𝔼\left[r\right]=\rho -\frac{\rho (1-{\rho }^2)}{2n}+\cdots ,$ тож Шаблон:Mvar є зміщеним оцінювачем $\rho .$

Унікальний мінімально-дисперсійний незміщений оцінювач (Шаблон:Lang-en) Шаблон:Math задається як

де:

• $r,n$ визначено як вище,
• ${}_{\mathrm{𝟐}}{𝐅}_{\mathrm{𝟏}}(a,b;c;z)$ — гауссова гіпергеометрична функція.

Приблизно незміщений оцінювач (Шаблон:Lang-en) Шаблон:Math можливо отриматиШаблон:Citation needed шляхом утинання Шаблон:Math та розв'язання цього утятого рівняння:

Приблизним розв'язкомШаблон:Citation needed рівняння (Шаблон:EquationNote) є

де у (Шаблон:EquationNote)

• $r,n$ визначено як вище,
• Шаблон:Math — субоптимальний оцінювач,Шаблон:Citation neededШаблон:Clarify
• Шаблон:Math також можливо отримати максимізуванням log(f(r)),
• Шаблон:Math має мінімальну дисперсію за великих значень Шаблон:Mvar,
• Шаблон:Math має зміщення порядку Шаблон:Math.

Іншим запропонованим скоригованим коефіцієнтом кореляції (Шаблон:Lang-en) єШаблон:Citation needed

$r_{\text{adj}}=\sqrt{1-\frac{(1-r^2)(n-1)}{(n-2)}}.$

Шаблон:Math за великих значень Шаблон:Mvar.

Коефіцієнт зваженої кореляції

Покладімо, що спостереження, які потрібно скорелювати, мають різні ступені важливості, які можливо виразити ваговим вектором w. Щоб обчислити кореляцію між векторами x та y з ваговим вектором w (всі довжиною n),

• Зважене середнє: $$\mathrm{m}(x;w)=\frac{\sum _i{w}_i{x}_i}{\sum _i{w}_i}.$$
• Зважена коваріація: $$\mathrm{cov}(x,y;w)=\frac{\sum _i{w}_i\cdot (x_i-\mathrm{m}(x;w))(y_i-\mathrm{m}(y;w))}{\sum _i{w}_i}.$$
• Зважена кореляція (Шаблон:Lang-en): $$\mathrm{corr}(x,y;w)=\frac{\mathrm{cov}(x,y;w)}{\sqrt{\mathrm{cov}(x,x;w)\mathrm{cov}(y,y;w)}}.$$

Віддзеркалювальний коефіцієнт кореляції

Віддзеркалювальна кореляція (Шаблон:Lang-en) — це варіант пірсонової кореляції, в якому дані не центровано навколо їхніх середніх значень.Шаблон:Citation needed Віддзеркалювальна кореляція сукупності це

${\mathrm{corr}}_r(X,Y)=\frac{𝔼[XY]}{\sqrt{𝔼[X^2]\cdot 𝔼[Y^2]}}.$

Віддзеркалювальна кореляція симетрична, але не інваріантна щодо паралельного перенесення:

${\mathrm{corr}}_r(X,Y)={\mathrm{corr}}_r(Y,X)={\mathrm{corr}}_r(X,bY)\ne {\mathrm{corr}}_r(X,a+bY),a\ne 0,b>0.$

Віддзеркалювальна кореляція вибірки еквівалентна косинусній подібності:

$r{r}_{xy}=\frac{\sum x_i{y}_i}{\sqrt{(\sum x_i^2)(\sum y_i^2)}}.$

Зважена версія вибіркової віддзеркалювальної кореляції це

$r{r}_{xy,w}=\frac{\sum w_i{x}_i{y}_i}{\sqrt{(\sum w_i{x}_i^2)(\sum w_i{y}_i^2)}}.$

Масштабний коефіцієнт кореляції

Масштабна кореляція (Шаблон:Lang-en) — це варіант кореляції Пірсона, в якому діапазон даних обмежують навмисно й контрольовано, щоби виявляти кореляції між швидкими складовими в часових рядах. Масштабну кореляцію визначають як середню кореляцію над короткими сегментами даних.

Нехай $K$ це кількість сегментів, які можуть вміститися в загальну довжину сигналу $T$ для заданого масштабу $s$:

$K=\mathrm{round}\left(\frac{T}{s}\right).$

Тоді масштабну кореляцію над усім сигналом ${\overline{r}}_s$ обчислюють як

${\overline{r}}_s=\frac{1}{K}\sum _{k=1}^K{r}_k,$

де $r_k$ — коефіцієнт кореляції Пірсона для сегмента $k$.

Шляхом обирання параметра $s$ зменшують діапазон значень, і кореляції на довгих часових масштабах відфільтровуються, так, що виявляються лише кореляції на коротких часових масштабах. Таким чином усувають внески повільних складових і зберігають внески швидких складових.

Відстань Пірсона

Метрику відстані для двох змінних X та Y, відому як відстань Пірсона (Шаблон:Lang-en), можливо визначати з коефіцієнта їхньої кореляції як

$d_{X,Y}=1-{\rho }_{X,Y}.$

Враховуючи те, що коефіцієнт кореляції Пірсона перебуває в межах [−1, +1], відстань Пірсона лежить на проміжку [0, 2]. Відстань Пірсона використовували в кластерному аналізі та виявлянні даних для передавання та зберігання з невідомими передавальним коефіцієнтом та зміщенням.

Визначена таким чином «відстань» Пірсона для від'ємних кореляцій встановлює відстань понад 1. Насправді, значення мають як сильна додатна, так і сильна від'ємна кореляції, тому потрібно бути обережними при використанні «відстані» Пірсона в алгоритмах найближчих сусідів, оскільки такі алгоритми включатимуть лише сусідів із додатною кореляцією й виключати сусідів із від'ємною. Як альтернативу, можливо застосовувати відстань з абсолютним значенням, $d_{X,Y}=1-|{\rho }_{X,Y}|$, яка враховуватиме як додатні, так і від'ємні кореляції. Інформацію про додатну та від'ємну пов'язаність можливо виділяти окремо пізніше.

Коловий коефіцієнт кореляціїШаблон:Anchor

Для змінних X = {x₁,…,x_n} та Y = {y₁,…,y_n}, визначених на одиничному колі $[0,2\pi )$, можливо визначити коловий (Шаблон:Lang-en) аналог коефіцієнта Пірсона. Це робиться шляхом такого перетворення даних в X та Y за допомогою функції синуса, що коефіцієнт кореляції визначається як

$r_{\text{circular}}=\frac{\sum _{i=1}^n\sin (x_i-\overline{x})\sin (y_i-\overline{y})}{\sqrt{\sum _{i=1}^n\sin (x_i-\overline{x}{)}^2}\sqrt{\sum _{i=1}^n\sin (y_i-\overline{y}{)}^2}}$

де $\overline{x}$ та $\overline{y}$ — Шаблон:Нп X та Y. Ця міра може бути корисною в таких галузях як метеорологія, де важливий кутовий напрямок даних.

Частинна кореляція

Якщо сукупність або набір даних характеризується понад двома змінними, коефіцієнт частинної кореляції вимірює силу залежності між парою змінних, яка не пояснюється тим, як вони обидві змінюються у відповідь на варіації в обраній підмножині інших змінних.

Декореляція n випадкових змінних

Завжди можливо усунути кореляції між усіма парами довільного числа випадкових змінних за допомогою перетворення даних, навіть якщо взаємозв'язок між цими змінними нелінійний. Подання цього результату для розподілів сукупностей навели Кокс та Гінклі.

Існує відповідний результат для зведення до нуля й вибіркових кореляцій. Припустімо, що вектор з n випадкових змінних спостерігають m разів. Нехай X — матриця, де $X_{i,j}$ — j-та змінна спостереження i. Нехай $Z_{m,m}$ — квадратна матриця m на m з усіма елементами 1. Тоді D — це дані, перетворені так, що кожна випадкова змінна має нульове середнє, а T — це дані, перетворені так, що всі змінні мають нульове середнє й нульову кореляцію з усіма іншими змінними, — вибіркова кореляційна матриця T буде одиничною матрицею. Це потрібно додатково поділити на стандартне відхилення, щоб отримати одиничну дисперсію. Перетворені змінні будуть некорельованими, хоч вони й можуть бути не незалежними.

$D=X-\frac{1}{m}{Z}_{m,m}X$

$T=D(D^{𝖳}D{)}^{-\frac{1}{2}},$

де степінь Шаблон:Frac подає квадратний корінь оберненої матриці. Матриця кореляції T буде одиничною. Якщо нове спостереження даних x це рядковий вектор з n елементів, то те саме перетворення можливо застосувати й до x, щоб отримати перетворені вектори d та t:

$d=x-\frac{1}{m}{Z}_{1,m}X,$

$t=d(D^{𝖳}D{)}^{-\frac{1}{2}}.$

Декореляція пов'язана з аналізом головних компонент для багатовимірних даних.

Програмні втілення

• У базовому пакеті статистики R цей коефіцієнт кореляції втілено через cor(x, y), або (з P-значенням) через cor.test(x, y).
• У бібліотеці Python SciPy — через pearsonr(x, y).
• Бібліотека Python Pandas втілює обчислення коефіцієнта кореляції Пірсона як варіант за замовчуванням для методу pandas.DataFrame.corr
• Wolfram Mathematica — через функцію Correlation, або (з P-значенням) через CorrelationTest.
• Бібліотека C++ Boost — через функцію correlation_coefficient.
• Excel має вбудовану функцію correl(array1, array2) для обчислення коефіцієнта кореляції Пірсона.

Див. також

• Шаблон:Нп
• Шаблон:Нп
• Шаблон:Нп
• Квартет Анскомбе
• Шаблон:Нп
  • Шаблон:Нп
  • Шаблон:Нп
• Шаблон:Нп
• Коефіцієнт кореляції рангу Спірмена
• Шаблон:Нп
• Шаблон:Нп
• Шаблон:Нп
• Кореляція і залежність
• Шаблон:Нп
• Шаблон:Нп
• Шаблон:Нп
• Пов'язаність (статистика)
• Шаблон:Нп
• Шаблон:Нп
• Частинна кореляція

Посилання

• Шаблон:Cite web — Безкоштовний вебінтерфейс та пакет R для статистичного порівняння двох залежних або незалежних кореляцій з перетинними або неперетинними змінними.
• Шаблон:Cite web — інтерактивна флешсимуляція кореляції двох нормально розподілених змінних.
• Шаблон:Cite web
• Шаблон:Cite web — велика таблиця.
• Шаблон:Cite web — Гра, в якій гравці вгадують, наскільки корельовані дві змінні на діаграмі розсіювання, щоби краще зрозуміти поняття кореляції.