Багатовимірний нормальний розподіл

Багатовимірний нормальний розподіл (чи багатовимірний гаусів розподіл) у теорії ймовірностей — це узагальнення одновимірного нормального розподілу для випадку із багатьма вимірами. Відповідно до одного із визначень стверджують, що вектор випадкових величин має k-варіативний нормальний розподіл якщо кожна лінійна комбінація його k компонент має одновимірний нормальний розподіл. В основному його важливість випливає із узагальнення центральної граничної теореми для багатьох вимірів. Багатовимірний нормальний розподіл часто використовують аби описати, принаймні наближено, будь-яку множину (можливо) корельованих випадкових величин із дійсними значенням, кожна з яких скупчується довкола середнього значення.

Позначення і параметризація

Багатовимірний нормальний розподіл k-вимірного вектору випадкових величин Шаблон:Nowrap може записуватися у формі наступної нотації:

$𝐗\sim 𝒩(\mathit{\mu },\mathrm{\Sigma }),$

або із метою явно зазначити, що X є k-вимірним:

$𝐗\sim {𝒩}_k(\mathit{\mu },\mathrm{\Sigma }),$

із k-вимірним вектором середніх значень

$\mathit{\mu }=\mathrm{E}[𝐗]=[\mathrm{E}[X_1],\mathrm{E}[X_2],\dots ,\mathrm{E}[X_k]{]}^{\mathrm{T}},$

і матрицею коваріацій $k\times k$

$\mathrm{\Sigma }=:\mathrm{E}[(𝐗-\mathit{\mu })(𝐗-\mathit{\mu }{)}^{\mathrm{T}}]=[\mathrm{Cov}[X_i,X_j];1\le i,j\le k].$

Визначення

Випадковий вектор $𝐗=(X_1,\dots ,X_n{)}^{\mathrm{\top }}:\mathrm{\Omega }\to {ℝ}^n$ має багатовимірний нормальний розподіл, якщо виконується одне з наступних еквівалентних умов:

• Довільна лінійна комбінація компонентів вектора $\sum _{i=1}^n{a}_i{X}_i$ має нормальний розподіл є константою.
• Існує вектор незалежних стандартних нормальних випадкових величин $𝐙=(Z_1,\dots ,Z_m{)}^{\mathrm{\top }}$, дійсний вектор $\mathit{\mu }=({\mu }_1,\dots ,{\mu }_n{)}^{\mathrm{\top }}$ і матриця $𝐀$ розмірності $n\times m$, такі що:

$𝐗=𝐀𝐙+\mathit{\mu }$.

• Існує вектор $\mathit{\mu }\in {ℝ}^n$ і додатньо визначена симетрична матриця $\mathrm{\Sigma }$ розмірності $n\times n$, такі що характеристична функція вектора $𝐗$ має вид:

${\varphi }_{𝐗}(𝐮)=e^{i{\mathit{\mu }}^{\mathrm{\top }}𝐮-\frac{1}{2}{𝐮}^{\mathrm{\top }}\mathrm{\Sigma }𝐮},𝐮\in {ℝ}^n$.

Зауваження

• Якщо розглядати тільки розподілу з невиродженою коваріаційною матрицею, то еквівалентним буде також наступне визначення:

Існує вектор $\mathit{\mu }\in {ℝ}^n$ і додатно визначена симетрична матриця $\mathrm{\Sigma }$ розмірності $n\times n$, такі що щільність ймовірності вектора $𝐗$ має вид:

$f_{𝐗}(𝐱)=\frac{1}{(2\pi {)}^{n/2}|\mathrm{\Sigma }{|}^{1/2}}{e}^{-\frac{1}{2}(𝐱-\mathit{\mu }{)}^{\mathrm{\top }}{\mathrm{\Sigma }}^{-1}(𝐱-\mathit{\mu })},𝐱\in {ℝ}^n$,

де $|\mathrm{\Sigma }|$ — визначник матриці $\mathrm{\Sigma }$, а ${\mathrm{\Sigma }}^{-1}$ — матриця зворотна до $\mathrm{\Sigma }$

• Вектор $\mathit{\mu }$ є вектором середніх значень $𝐗$, а $\mathrm{\Sigma }$ — його коваріаційна матриця
• У випадку $n=1$, багатовимірний нормальний розподіл зводиться до звичайного нормального розподілу.
• Якщо випадковий вектор $𝐗$ має багатовимірний нормальний розподіл, то пишуть $𝐗\sim \mathrm{N}(\mathit{\mu },\mathrm{\Sigma })$.

Властивості

• Якщо вектор $𝐗=(X_1,\dots ,X_n{)}^{\mathrm{\top }}$ має багатовимірний нормальний розподіл, то його компоненти $X_i,i=1,\dots ,n,$ мають одновимірний нормальний розподіл. Зворотне, узагалі говорячи, невірно (див. приклад [1] Шаблон:Webarchive)!
• Якщо випадкові величини $X_1,\dots ,X_n$ мають одномірний нормальний розподіл і спільно незалежні, те випадковий вектор $𝐗=(X_1,\dots ,X_n{)}^{\mathrm{\top }}$ має багатовимірний нормальний розподіл. Матриця коваріацій $\mathrm{\Sigma }$ такого вектора діагональна.
• Якщо $𝐗=(X_1,\dots ,X_n{)}^{\mathrm{\top }}$ має багатовимірний нормальний розподіл, і його компоненти попарно некорельовані, то вони незалежні. Однак, якщо тільки компоненти $X_i,i=1,\dots ,n$ мають одномірний нормальний розподіл і попарно не корелюють, те звідси не випливає, що вони незалежні.

Контрприклад. Нехай $X\sim \mathrm{N}(0,1)$, а $\alpha =\pm 1$ з рівними ймовірностями. Тоді якщо $Y=\alpha X\sim \mathrm{N}(0,1)$, те кореляція $X$ і $Y$ дорівнює нулю. Однак, ці випадкові величини залежні.

• Багатовимірний нормальний розподіл стійко щодо лінійних перетворень. Якщо $𝐗\sim \mathrm{N}(\mathit{\mu },\mathrm{\Sigma })$, а $𝐀$ — довільна матриця розмірності $m\times n$, то

$𝐀𝐗\sim \mathrm{N}(𝐀\mathit{\mu },𝐀\mathrm{\Sigma }{𝐀}^{\mathrm{\top }})$.

Функція густини

Спільна функція густини біваріативного нормального розподілу

Не вироджений випадок

Багатовимірний нормальний розподіл називають "не виродженим" коли його симетрична матриця коваріацій $\mathrm{\Sigma }$ є додатньоозначеною. В такому випадку розподіл має функцію густини:

$\begin{array}{cc}{f}_{𝐗}(x_1,\dots ,x_k)& =\frac{\exp (-\frac{1}{2}(𝐱-\mathit{\mu }{)}^{\mathrm{T}}{\mathrm{\Sigma }}^{-1}(𝐱-\mathit{\mu }))}{\sqrt{(2\pi {)}^k|\mathrm{\Sigma }|}}\end{array}$

де $𝐱$ це k-вимірний вектор стовпець дійсних чисел і $|\mathrm{\Sigma }|\equiv \det \mathrm{\Sigma }$ це детермінант для $\mathrm{\Sigma }$, відомий також як узагальнена дисперсія. Вищенаведене рівняння спрощується до аналогічного рівняння, що відповідає одновимірному нормальному розподілу якщо $\mathrm{\Sigma }$ є матрицею розміром $1\times 1$ (тобто єдиним дійсним числом).

Циркулярно-симетрична версія комплексного нормального розподілу має дещо відмінну форму.

Кожен окіл ізо-густини—окіл точок в k-вимірному просторі, в кожній з яких буде деяке стале значення густини —є еліпсом або його узагальненням для більших вимірів; оскільки багатовимірний нормальний розподіл є особливим випадком еліптичних розподілів.

В описовій статистиці $\sqrt{(𝐱-\mathit{\mu }{)}^{\mathrm{T}}{\mathrm{\Sigma }}^{-1}(𝐱-\mathit{\mu })}$ відомо як відстань Махаланобіса, яка задає відстань обраної точки $𝐱$ від середнього $\mathit{\mu }$. Зауважте, що у випадку коли $k=1$, розподіл зводиться до одновимірного нормального розподілу, і відстань Махаланобіса зводиться до абсолютного значення стандартної оцінки.

Біваріативний випадок

У 2-вимірному несингулярному випадку (Шаблон:Nowrap), функція густини імовірності для вектору Шаблон:Nowrap є наступною:

$f(x,y)=\frac{1}{2\pi {\sigma }_X{\sigma }_Y\sqrt{1-{\rho }^2}}\exp (-\frac{1}{2(1-{\rho }^2)}[\frac{(x-{\mu }_X{)}^2}{{\sigma }_X^2}+\frac{(y-{\mu }_Y{)}^2}{{\sigma }_Y^2}-\frac{2\rho (x-{\mu }_X)(y-{\mu }_Y)}{{\sigma }_X{\sigma }_Y}])$

де ρ — кореляція між X і Y і де ${\sigma }_X>0$ і ${\sigma }_Y>0$. В такому випадку,

$\mathit{\mu }=\left(\begin{array}{c}{\mu }_X\\ {\mu }_Y\end{array}\right),\mathrm{\Sigma }=\left(\begin{array}{cc}{\sigma }_X^2& \rho {\sigma }_X{\sigma }_Y\\ \rho {\sigma }_X{\sigma }_Y& {\sigma }_Y^2\end{array}\right).$

У біваріативному випадку, перша еквівалентна умова встановлення нормальності багатовимірного розподілу може бути менш сувора: для того, щоб зробити висновок чи є вектор Шаблон:Nowrap біваріативно нормальним достатньо перевірити чи зліченно велика кількість відмінних лінійних комбінацій X і Y є нормально розподілені.

Біваріативні околи ізо-густини на площині x,y є еліпсами. Із збільшенням абсолютного значення коефіцієнту кореляції ρ, ці околи будуть сплющуватися до наступної прямої :

$y(x)=\mathrm{sgn}(\rho )\frac{{\sigma }_Y}{{\sigma }_X}(x-{\mu }_X)+{\mu }_Y.$

Це пояснюється тим, що якщо в даному виразі sgn(ρ) замінити на ρ, воно є Шаблон:Нп для Y, що задане значенням X.

Багатовимірна центральна гранична теорема

Нехай ${\xi }^{(1)},{\xi }^{(2)},...$ — послідовність незалежних і однаково розподілених випадкових векторів, кожний з який має середнє $E{\xi }^{(1)}=a$ і невироджену матрицю коваріацій $\mathrm{\Sigma }$ . Позначимо через $S_n{\xi }^{(1)}+...+{\xi }^{(n)}$ вектор часткових сум. Тоді при $n\to \mathrm{\infty }$ має місце збіжність розподілів векторів ${\eta }^{(n)}=\frac{S_n-na}{\sqrt{n}}\Rightarrow \eta$, де $\eta$ має розподіл $N_{O,\mathrm{\Sigma }}$. В умовах багатовимірної центральної граничної теореми розподіл будь-яких неперервних функцій $g({\eta }^{(n)})$ збігається до розподілу $g(\eta )$. Як $g(x)$ нам буде потрібна тільки $g(x)=\sum x_i^2=\Vert x{\Vert }^2$.

Наслідок

В умовах багатовимірної центральної граничної теореми має місце збіжність $\Vert {\eta }^{(n)}{\Vert }^2\Rightarrow \Vert \eta {\Vert }^2$.