Коваріація

У теорії ймовірності та статистиці, коваріа́ція (Шаблон:Lang-en) — це міра спільної мінливості двох випадкових змінних. Якщо більші значення однієї змінної здебільшого відповідають більшим значенням іншої, й те саме виконується для менших значень, тобто змінні схильні демонструвати подібну поведінку, то коваріація є додатною. В протилежному випадку, коли більші значення однієї змінної здебільшого відповідають меншим значенням іншої, тобто змінні схильні демонструвати протилежну поведінку, коваріація є від'ємною. Отже, знак коваріації показує тенденцію в лінійному взаємозв'язку між цими змінними. Величину ж коваріації інтерпретувати непросто. Проте унормована версія коваріації, коефіцієнт кореляції, показує своєю величиною силу цього лінійного взаємозв'язку.

Слід розрізняти (1) коваріацію двох випадкових змінних, яка є параметром сукупності, що можна розглядати як властивість спільного розподілу ймовірності, та (2) вибіркову коваріацію, яка на додачу до того, що вона слугує описом вибірки, слугує також і оцінкою значення параметру сукупності.

Визначення

Коваріацію між двома спільно розподіленими дійснозначними випадковими змінними Шаблон:Math та Шаблон:Math зі скінченними другими моментами визначають як математичне сподівання добутку їхніх відхилень від їхніх власних математичних сподівань:

$\mathrm{cov}(X,Y)=\mathrm{E}[(X-\mathrm{E}[X])(Y-\mathrm{E}[Y])],$

де Шаблон:Math є математичним сподіванням Шаблон:Math, відомим також як середнє значення Шаблон:Math. Коваріацію також іноді позначують через «Шаблон:Math», за аналогією з дисперсією. Використовуючи властивість лінійності математичних сподівань, це можна спростити до математичного сподівання їхнього добутку мінус добуток їхніх математичних сподівань:

$\begin{array}{cc}\mathrm{cov}(X,Y)& =\mathrm{E}\left[(X-\mathrm{E}\left[X\right])(Y-\mathrm{E}\left[Y\right])\right]\\ & =\mathrm{E}[XY-X\mathrm{E}\left[Y\right]-\mathrm{E}\left[X\right]Y+\mathrm{E}\left[X\right]\mathrm{E}\left[Y\right]]\\ & =\mathrm{E}\left[XY\right]-\mathrm{E}\left[X\right]\mathrm{E}\left[Y\right]-\mathrm{E}\left[X\right]\mathrm{E}\left[Y\right]+\mathrm{E}\left[X\right]\mathrm{E}\left[Y\right]\\ & =\mathrm{E}\left[XY\right]-\mathrm{E}\left[X\right]\mathrm{E}\left[Y\right].\end{array}$

Проте коли $\mathrm{E}[XY]\approx \mathrm{E}[X]\mathrm{E}[Y]$, це крайнє рівняння схильне до катастрофічного анулювання, якщо його обчислюють за допомогою арифметики з рухомою комою, і відтак його слід уникати в комп'ютерних програмах, якщо дані не було попередньо відцентровано. В такому разі слід віддавати перевагу Шаблон:Нп.

Для випадкових векторів $𝐗\in {ℝ}^m$ та $𝐘\in {ℝ}^n$ Шаблон:Нп Шаблон:Math (відома також як дисперсі́йна ма́триця, Шаблон:Lang-en, або дисперсі́йно-коваріаці́йна ма́триця, Шаблон:Lang-en, або просто коваріаційна матриця) дорівнює

$\begin{array}{cc}\mathrm{cov}(𝐗,𝐘)& =\mathrm{E}[(𝐗-\mathrm{E}[𝐗])(𝐘-\mathrm{E}[𝐘]{)}^{\mathrm{T}}]\\ & =\mathrm{E}\left[𝐗{𝐘}^{\mathrm{T}}\right]-\mathrm{E}[𝐗]\mathrm{E}[𝐘{]}^{\mathrm{T}},\end{array}$

де Шаблон:Math є транспонуванням вектору (або матриці) Шаблон:Math.

Шаблон:Math-тий елемент цієї матриці дорівнює коваріації Шаблон:Math між Шаблон:Math-тою скалярною складовою Шаблон:Math та Шаблон:Math-тою скалярною складовою Шаблон:Math. Зокрема, Шаблон:Math є транспонуванням Шаблон:Math.

Для вектору $𝐗={\left[\begin{array}{cccc}{X}_1& X_2& \dots & X_m\end{array}\right]}^{\mathrm{T}}$ з Шаблон:Math спільно розподілених випадкових змінних зі скінченними другими моментами, його коваріаційну матрицю визначають як

$\mathrm{\Sigma }(𝐗)=\mathrm{cov}(𝐗,𝐗).$

Випадкові змінні, чия коваріація є нульовою, називають некорельованими. Аналогічно, випадкові вектори, чия коваріаційна матриця є нульовою в усіх елементах за межами головної діагоналі, називають некорельованими.

Одиницями вимірювання коваріації Шаблон:Math є добуток одиниць Шаблон:Math та Шаблон:Math. На противагу цьому, коефіцієнти кореляції, які залежать від коваріації, є безрозмірнісною мірою лінійної залежності. (Насправді, коефіцієнти кореляції можна розуміти як просто унормовану версію коваріації.)

Дискретні змінні

Якщо кожна зі змінних має скінченний набір рівноймовірних значень, $x_i$ та $y_j$ відповідно для $i=1,\dots ,n$ та $j=1,\dots ,k$, то коваріацію може бути рівнозначно записано в термінах середніх значень $E(X)$ та $E(Y)$ як

$\mathrm{cov}(X,Y)=\frac{1}{nk}\sum _{i=1}^n\sum _{j=1}^k(x_i-E(X))(y_j-E(Y)).$

Якщо $n=k$, то її також може бути рівнозначно виражено без прямого посилання на середні як

$\mathrm{cov}(X,Y)=\frac{1}{n^2}\sum _{i=1}^n\sum _{j=1}^n\frac{1}{2}(x_i-x_j)\cdot (y_i-y_j)=\frac{1}{n^2}\sum _i\sum _{j>i}(x_i-x_j)\cdot (y_i-y_j).$

Більш загальний випадок, якщо роглядаємо $n$ можливих реалізацій $(X,Y)$, позачені $(x_i,y_i)$ але з ймовірністю $p_i$ для $i=1,\dots ,n$, то коваріяція дорівнює

$\mathrm{cov}(X,Y)=\sum _{i=1}^n{p}_i\cdot (x_i-E(X))\cdot (y_i-E(Y)).$

Приклад для дискретних випадкових змінних

Припустімо, що X та Y мають наступну спільну функцію маси ймовірності:

			y
	f(x,y)	1	2	3	fX(x)
	1	0.25	0.25	0	0.5
x	2	0	0.25	0.25	0.5
	fY(y)	0.25	0.5	0.25	1

Тоді ${\mu }_X=\frac{3}{2}$, ${\mu }_Y=2$, ${\sigma }_X=\frac{1}{2}$, а ${\sigma }_Y=\sqrt{\frac{1}{2}}.$

$\begin{array}{cc}& \mathrm{cov}(X,Y)={\sigma }_{XY}=\sum _{(x,y)\in S}(x-{\mu }_X)(y-{\mu }_Y)f(x,y)\\ =& (1-\frac{3}{2})(1-2)\left(\frac{1}{4}\right)+(1-\frac{3}{2})(2-2)\left(\frac{1}{4}\right)\\ & +(1-\frac{3}{2})(3-2)(0)+(2-\frac{3}{2})(1-2)(0)\\ & +(2-\frac{3}{2})(2-2)\left(\frac{1}{4}\right)+(2-\frac{3}{2})(3-2)\left(\frac{1}{4}\right)\\ =& \frac{1}{4}\end{array}$

Додаткові приклади можна знайти тут Шаблон:Webarchive.

Властивості

• Дисперсія (Шаблон:Lang-en) є окремим випадком коваріації, в якому обидві змінні є ідентичними (тобто в якому одна зі змінних завжди набуває такого ж значення, як і інша):

$\mathrm{cov}(X,X)=\mathrm{var}(X)\equiv {\sigma }^2(X)\equiv {\sigma }_X^2.$

• Якщо X, Y, W та V є дійснозначними випадковими змінними, а a, b, c, d є сталими («стала» в цьому контексті означає не випадкова), то наступні факти є наслідком визначення коваріації:

$\begin{array}{cc}\sigma (X,a)& =0\\ \sigma (X,X)& ={\sigma }^2(X)\\ \sigma (X,Y)& =\sigma (Y,X)\\ \sigma (aX,bY)& =ab\sigma (X,Y)\\ \sigma (X+a,Y+b)& =\sigma (X,Y)\\ \sigma (aX+bY,cW+dV)& =ac\sigma (X,W)+ad\sigma (X,V)+bc\sigma (Y,W)+bd\sigma (Y,V)\end{array}$

Для послідовності випадкових змінних X₁, …, X_n та сталих a₁, …, a_n маємо

${\sigma }^2\left(\sum _{i=1}^n{a}_i{X}_i\right)=\sum _{i=1}^n{a}_i^2{\sigma }^2(X_i)+2\sum _{i,j:i<j}{a}_i{a}_j\sigma (X_i,X_j)=\sum _{i,j}{a}_i{a}_j\sigma (X_i,X_j)$

• Корисною тотожністю для обчислення коваріації між двома випадковими змінними $X,Y$ є коваріаційна тотожність Хьофдинга (Шаблон:Lang-en):

$\mathrm{cov}(X,Y)=\underset{ℝ}{\int }\underset{ℝ}{\int }{F}_{(X,Y)}(x,y)-F_X(x)F_Y(y)dxdy$

де $F_{(X,Y)}(x,y)$ є функцією спільного розподілу випадкового вектора $(X,Y)$, а $F_X(x),F_Y(y)$ є відособленими.

Загальніша тотожність для коваріаційних матриць

Нехай Шаблон:Math буде випадковим вектором з коваріаційною матрицею Шаблон:Math, і нехай Шаблон:Math буде матрицею, яка може діяти на Шаблон:Math. Коваріаційною матрицею матрично-векторного добутку Шаблон:Math є

$\mathrm{\Sigma }(𝐀𝐗)=\mathrm{E}[𝐀𝐗{𝐗}^{\mathrm{T}}{𝐀}^{\mathrm{T}}]-\mathrm{E}[𝐀𝐗]\mathrm{E}[{𝐗}^{\mathrm{T}}{𝐀}^{\mathrm{T}}]=𝐀\mathrm{\Sigma }(𝐗){𝐀}^{\mathrm{T}}.$

Це є прямим результатом лінійності математичного сподівання, та є корисним при застосуванні до вектора лінійного перетворення, такого як Шаблон:Нп.

Некорельованість та незалежність

Якщо X та Y є незалежними, то їхня коваріація є нульовою. Це випливає з того, що за незалежності

$\mathrm{E}[XY]=\mathrm{E}[X]\cdot \mathrm{E}[Y].$

Обернене, проте, в загальному випадку не є вірним. Наприклад, нехай X буде рівномірно розподіленою на [−1, 1], і нехай Y = X². Зрозуміло, що X та Y є залежними, але

$\begin{array}{cc}\sigma (X,Y)& =\sigma (X,X^2)\\ & =\mathrm{E}[X\cdot X^2]-\mathrm{E}[X]\cdot \mathrm{E}[X^2]\\ & =\mathrm{E}\left[X^3\right]-\mathrm{E}[X]\mathrm{E}[X^2]\\ & =0-0\cdot \mathrm{E}[X^2]\\ & =0.\end{array}$

В цьому випадку взаємозв'язок між Y та X є нелінійним, тоді як кореляція та коваріація є мірами лінійної залежності між двома змінними. Цей приклад показує, що, якщо дві змінні є некорельованими, це в загальному випадку не означає, що вони є незалежними. Проте, якщо дві змінні є спільно нормально розподіленими (але не якщо вони є просто Шаблон:Нп), то некорельованість дійсно означає незалежність.

Зв'язок із внутрішніми добутками

Багато властивостей коваріації можна елегантно здобути, звернувши увагу на те, що вона задовольняє властивості, подібні до властивостей внутрішнього добутку:

1. білінійність: для сталих a та b, та випадкових змінних X, Y, Z, σ(aX + bY, Z) = a σ(X, Z) + b σ(Y, Z);
2. симетричність: σ(X, Y) = σ(Y, X);
3. Шаблон:Нп: σ²(X) = σ(X, X) ≥ 0 для всіх випадкових змінних X, а σ(X, X) = 0 означає, що X є сталою випадковою змінною (K).

Насправді ці властивості означають, що коваріація визначає внутрішній добуток над Шаблон:Нп, отримуваним взяттям підпростору випадкових змінних зі скінченним другим моментом, та визначенням будь-яких двох, які відрізняються на сталу. (Це визначення перетворює згадану вище додатну напівозначеність на додатноозначеність.) Цей векторний фактор-простір є ізоморфним до підпростору випадкових змінних зі скінченним другим моментом та нульовим середнім значенням; на цьому підпросторі коваріація в точності дорівнює внутрішньому добуткові L² дійснозначних функцій на вибірковому просторі.

В результаті, для випадкових змінних зі скінченною дисперсією нерівність

$|\sigma (X,Y)|\le \sqrt{{\sigma }^2(X){\sigma }^2(Y)}$

виконується через нерівність Коші — Буняковського.

Доведення: Якщо σ²(Y) = 0, то вона виконується тривіально. Інакше, нехай випадкова змінна

$Z=X-\frac{\sigma (X,Y)}{{\sigma }^2(Y)}Y.$

Тоді ми маємо

$\begin{array}{cc}0\le {\sigma }^2(Z)& =\sigma (X-\frac{\sigma (X,Y)}{{\sigma }^2(Y)}Y,X-\frac{\sigma (X,Y)}{{\sigma }^2(Y)}Y)\\ & ={\sigma }^2(X)-\frac{(\sigma (X,Y){)}^2}{{\sigma }^2(Y)}.\end{array}$

Обчислення вибіркової коваріації

Вибіркова коваріація N спостережень K змінних — це матриця $\overline{\stackrel{‾}{q}}=[[q_{jk}]]$ розміру K-на-K з елементами

$q_{jk}=\frac{1}{N-1}\sum _{i=1}^N(X_{ij}-{\overline{X}}_j)(X_{ik}-{\overline{X}}_k),$

що є оцінкою коваріації між змінною Шаблон:Math та змінною Шаблон:Math.

Матриці вибіркового середнього та вибіркової коваріації є незміщеними оцінками середнього значення та коваріаційної матриці випадкового вектора $𝐗$, рядкового вектора, чий j-тий елемент (j = 1, …, K) є однією з випадкових змінних. Причиною того, що коваріаційна матриця має в знаменнику $N-1$, а не $N$, по суті є те, що середнє значення сукупності $\mathrm{E}(X)$ не відоме, і замінене вибірковим середнім значенням $\overline{𝐗}$. Якщо середнє значення сукупності $\mathrm{E}(X)$ є відомим, то аналогічна незміщена оцінка задається як

$q_{jk}=\frac{1}{N}\sum _{i=1}^N(X_{ij}-\mathrm{E}(X_j))(X_{ik}-\mathrm{E}(X_k)).$

Коментарі

Коваріацію іноді називають мірою «лінійної залежності» між двома випадковими змінними. Це не означає те ж саме, що й у контексті лінійної алгебри (див. лінійну залежність). Коли коваріацію унормовано, отримують коефіцієнт кореляції. З нього можливо отримати коефіцієнт Пірсона, який дає допасованість для найкращої з можливих лінійних функцій, що описують взаємозв'язок між змінними. В цьому сенсі коваріація є лінійним мірилом залежності.

Застосування

В генетиці та молекулярній біології

Коваріація є важливою мірою в біології. Деякі послідовності ДНК є консервативнішими за інші серед різних видів, і відтак для дослідження вторинних та третинних структур білків, або структур РНК, порівнюють послідовності близько споріднених видів. Якщо знайдено зміни послідовностей, або взагалі не знайдено змін у некодувальній РНК (такій як мікроРНК), то послідовності вважають потрібними для загальних структурних лейтмотивів, таких як цикл РНК.

У фінансовій економіці

Коваріації відіграють важливу роль у Шаблон:Нп, особливо в портфельному аналізі та в моделі ціноутворення капітальних активів. Коваріації серед виручок різних активів використовують для визначення, за деяких припущень, відносних сум різних активів, які інвестор повинен (в нормативному аналізі) або, як передбачається, буде (в позитивному аналізі) обирати для тримання в контексті диверсифікації.

В опрацьовуванні метеорологічних та океанографічних даних

Коваріаційна матриця є важливою в оцінюванні початкових умов, необхідних для запуску моделей прогнозу погоди. «Коваріаційну матрицю похибки прогнозу» (Шаблон:Lang-en) зазвичай будують між збуреннями навколо середнього стану (чи то кліматологічного, чи то ансамблевого середнього). «Коваріаційну матрицю похибки спостереження» (Шаблон:Lang-en) будують для представлення величини об'єднаних похибок спостереження (на діагоналі) та корельованих похибок між вимірюваннями (поза діагоналлю).

У виділянні ознак

Коваріаційну матрицю застосовують для збирання даних про спектральну мінливість сигналу.

Див. також

• Автоковаріація
• Шаблон:Нп
• Вихрова коваріація
• Довірчий інтервал для коваріації випадкових величин
• Шаблон:Нп
• Шаблон:Нп
• Коваріаційна матриця
• Коваріаційний аналіз
• Шаблон:Нп
• Шаблон:Нп, або броунівська коваріація
• Коефіцієнт варіації
• Кореляція і залежність
• Поширення невизначеності

Джерела

• Шаблон:Карташов.Імовірність процеси статистика
• Шаблон:Гнеденко.Курс теории вероятностей
• Шаблон:Гіхман.Скороход.Ядренко
• Пряха Б. Про зв'язок дисперсій та коваріацій // Геодезія, картографія і аерофотознімання, Львів: Видавництво Національного університету «Львівська політехніка». — 2009. — Вип. 71. — С. 262—271. Шаблон:Webarchive
• Шаблон:Springer Шаблон:Ref-en
• Сторінка MathWorld про обчислення вибіркової коваріації Шаблон:Webarchive Шаблон:Ref-en
• Навчальний посібник з коваріації із застосуванням R Шаблон:Webarchive Шаблон:Ref-en
• Коваріація та кореляція Шаблон:Webarchive Шаблон:Ref-en