Взаємна інформація

Діаграма Венна, що показує адитивні та різницеві відношення різних мір інформації, пов'язаних із корельованими змінними $X$ та $Y$. Область, яка міститься в обох колах, є спільною ентропією $\mathrm{H}(X,Y)$. Коло ліворуч (червоний і фіолетовий) є особистою ентропією $\mathrm{H}(X)$, в якому червоне є умовною ентропією $\mathrm{H}(X|Y)$. Коло праворуч (синій та фіолетовий) є $\mathrm{H}(Y)$, а синє в ньому є $\mathrm{H}(Y|X)$. Фіолетове є взаємною інформацією $\mathrm{I}(X;Y)$.

У теорії ймовірностей та теорії інформації взає́мна інформа́ція (Шаблон:Lang-en) двох випадкових змінних — це міра взаємної залежності між цими двома змінними. Конкретніше, вона визначає «кількість інформації» (в таких одиницях, як шеннони, що зазвичай називають бітами), отримуваної про одну випадкову змінну через спостерігання іншої випадкової змінної. Поняття взаємної інформації нерозривно пов'язане з ентропією випадкової змінної, фундаментальним поняттям теорії інформації, яке кількісно оцінює очікувану «кількість інформації», що міститься у випадковій змінній.

Не обмежуючись, як коефіцієнт кореляції, дійснозначними випадковими змінними, взаємна інформація є загальнішою, і визначає, наскільки подібним є спільний розподіл $p(x,y)$ до добутків розкладених відособлених розподілів $p(x)\cdot p(y)$. Взаємна інформація — це математичне сподівання поточкової взаємної інформації (Шаблон:Lang-en).

Визначення

Формально взаємну інформацію двох дискретних випадкових змінних $X$ та $Y$ може бути визначено якШаблон:Rp

$\mathrm{I}(X;Y)=\sum _{y\in 𝒴}\sum _{x\in 𝒳}p(x,y)\log \left(\frac{p(x,y)}{p(x)p(y)}\right),$

де $p(x,y)$ є функцією спільного розподілу ймовірностей $X$ та $Y$, а $p(x)$ та $p(y)$ є функціями відособлених розподілів імовірності $X$ та $Y$ відповідно.

У випадку неперервних випадкових змінних підсумовування замінюється визначеним подвійним інтегралом:Шаблон:Rp

$\mathrm{I}(X;Y)=\underset{𝒴}{\int }\underset{𝒳}{\int }p(x,y)\log \left(\frac{p(x,y)}{p(x)p(y)}\right)dxdy,$

де $p(x,y)$ тепер є функцією густини спільної ймовірності $X$ та $Y$, а $p(x)$ та $p(y)$ є функціями густини відособлених імовірностей $X$ та $Y$ відповідно.

Якщо застосовується логарифм за основою 2, то одиницею вимірювання взаємної інформації є біт.

Обґрунтування

Інтуїтивно, взаємна інформація вимірює інформацію, яку поділяють $X$ та $Y$: вона вимірює, наскільки знання однієї з цих змінних зменшує невизначеність щодо іншої. Наприклад, якщо $X$ та $Y$ є незалежними, то знання $X$ не дає жодної інформації про $Y$, і навпаки, тому їхня взаємна інформація дорівнює нулеві. З іншого боку, якщо $X$ є детермінованою функцією від $Y$, і $Y$ є детермінованою функцією від $X$, то вся інформація, що передає змінна $X$, є спільною з $Y$: знання $X$ визначає значення $Y$, і навпаки. В результаті, в цьому випадку взаємна інформація є тим же, що й невизначеність, яка міститься окремо в $Y$ (або $X$), а саме ентропія $Y$ (або $X$). Більше того, ця взаємна інформація і є такою ж, як і ентропія $X$ та як ентропія $Y$. (Дуже особливим випадком цього є такий, коли $X$ та $Y$ є однією й тією ж випадковою змінною.)

Взаємна інформація є мірою притаманної залежності, вираженої в спільному розподілі $X$ та $Y$, по відношенню до спільного розподілу $X$ та $Y$ за припущення незалежності. Взаємна інформація відтак вимірює залежність у наступному сенсі: $\mathrm{I}(X;Y)=0$, якщо і лише якщо $X$ та $Y$ є незалежними випадковими змінними. Це легко побачити в одному напрямку: якщо $X$ та $Y$ є незалежними, то $p(x,y)=p(x)\cdot p(y)$, і тому

$\log \left(\frac{p(x,y)}{p(x)p(y)}\right)=\log 1=0.$

Крім того, взаємна інформація є невід'ємною (тобто, $\mathrm{I}(X;Y)\ge 0$, див. нижче) і симетричною (тобто, $\mathrm{I}(X;Y)=\mathrm{I}(Y;X)$, див. нижче).

Відношення до інших величин

Невід'ємність

Застосувавши нерівність Єнсена до визначення взаємної інформації, ми можемо показати, що $\mathrm{I}(X;Y)$ є невід'ємною, тобто,Шаблон:Rp

$\mathrm{I}(X;Y)\ge 0$

Симетричність

$\mathrm{I}(X;Y)=\mathrm{I}(Y;X)$

Відношення до умовної та спільної ентропій

Взаємну інформацію може бути рівнозначно виражено як

$\begin{array}{cc}\mathrm{I}(X;Y)& \equiv \mathrm{H}(X)-\mathrm{H}(X|Y)\\ & \equiv \mathrm{H}(Y)-\mathrm{H}(Y|X)\\ & \equiv \mathrm{H}(X)+\mathrm{H}(Y)-\mathrm{H}(X,Y)\\ & \equiv \mathrm{H}(X,Y)-\mathrm{H}(X|Y)-\mathrm{H}(Y|X)\end{array}$

де $\mathrm{H}(X)$ та $\mathrm{H}(Y)$ є відособленими ентропіями, $\mathrm{H}(X|Y)$ та $\mathrm{H}(Y|X)$ є умовними ентропіями, а $\mathrm{H}(X,Y)$ є спільною ентропією $X$ та $Y$. Зверніть увагу на аналогію з об'єднанням, різницею та перетином двох множин, яку показано в діаграмі Венна. В термінах каналу зв'язку, в якому вихід $Y$ є зашумленою версією входу $X$, ці відношення узагальнено на малюнку нижче.

Відношення між величинами теорії інформації

Оскільки $\mathrm{I}(X;Y)$ є невід'ємною, як наслідок, $\mathrm{H}(X)\ge \mathrm{H}(X|Y)$. Тут ми наводимо докладне виведення $\mathrm{I}(X;Y)=\mathrm{H}(Y)-\mathrm{H}(Y|X)$:

$\begin{array}{cc}\mathrm{I}(X;Y)& =\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log \frac{p(x,y)}{p(x)p(y)}\\ & =\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log \frac{p(x,y)}{p(x)}-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log p(y)\\ & =\sum _{x\in 𝒳,y\in 𝒴}p(x)p(y|x)\log p(y|x)-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log p(y)\\ & =\sum _{x\in 𝒳}p(x)(\sum _{y\in 𝒴}p(y|x)\log p(y|x))-\sum _{y\in 𝒴}(\sum _{x}p(x,y))\log p(y)\\ & =-\sum _{x\in 𝒳}p(x)\mathrm{H}(Y|X=x)-\sum _{y\in 𝒴}p(y)\log p(y)\\ & =-\mathrm{H}(Y|X)+\mathrm{H}(Y)\\ & =\mathrm{H}(Y)-\mathrm{H}(Y|X).\\ \end{array}$

Доведення інших наведених вище тотожностей є схожими на це.

Інтуїтивно, якщо ентропію $\mathrm{H}(Y)$ розглядати як міру невизначеності випадкової змінної, то $\mathrm{H}(Y|X)$ є мірою того, що $X$ не каже про $Y$. Це є «кількістю невизначеності $Y$, яка залишається після того, як стала відомою $X$», і, отже, праву частину другого з цих рівнянь можливо читати як «кількість невизначеності $Y$ за вирахуванням кількості невизначеності $Y$, яка залишається після того, як стала відомою $X$», що рівнозначно «кількість невизначеності $Y$, яка усувається, коли стає відомою $X$». Це підтримує інтуїтивне значення взаємної інформації як кількості інформації (тобто, зниження невизначеності), яке знання однієї з змінних забезпечує стосовно іншої.

Зауважте, що в дискретному випадку $\mathrm{H}(X|X)=0$ і, отже, $\mathrm{H}(X)=\mathrm{I}(X;X)$. Таким чином, $\mathrm{I}(X;X)\ge \mathrm{I}(X;Y)$, і можна сформулювати основний принцип, що змінна містить про себе щонайменше стільки ж інформації, скільки могла би забезпечити будь-яка інша змінна. Це відповідає подібним пов'язаним результатам.

Відношення до відстані Кульбака — Лейблера

Взаємну інформацію також може бути виражено як відстань Кульбака — Лейблера добутку $p(x)\cdot p(y)$ відособлених розподілів двох випадкових змінних $X$ та $Y$ від спільного розподілу цих випадкових змінних $p(x,y)$:

$\mathrm{I}(X;Y)=D_{\text{KL}}(p(x,y)\parallel p(x)p(y)).$

Крім того, нехай $p(x|y)=p(x,y)/p(y)$. Тоді

$\begin{array}{cc}\mathrm{I}(X;Y)& =\sum _{y\in 𝒴}p(y)\sum _{x\in 𝒳}p(x|y){\log }_2\frac{p(x|y)}{p(x)}\\ & =\sum _{y\in 𝒴}p(y)D_{\text{KL}}(p(x|y)\parallel p(x))\\ & ={𝔼}_Y\left[D_{\text{KL}}(p(x|y)\parallel p(x))\right].\end{array}$

Зауважте, що тут відстань Кульбака — Лейблера передбачає інтегрування лише за випадковою змінною $X$, і вираз $D_{\text{KL}}(p(x|y)\parallel p(x))$ тепер є випадковою змінною в $Y$. Таким чином, взаємну інформацію можна також розуміти як математичне сподівання відстані Кульбака — Лейблера Шаблон:Нп $p(x)$ змінної $X$ від умовного розподілу $p(x|y)$ змінної $X$ відносно $Y$: що більш відмінними в середньому є розподіли $p(x|y)$ та $p(x)$, то більшим є приріст інформації.

Баєсове оцінювання взаємної інформації

Як робити баєсове оцінювання взаємної інформації спільного розподілу на основі зразків цього розподілу, є добре зрозумілим. Першою працею про те, як це робити, яка також показала, як робити баєсове оцінювання багато чого іншого в теорії інформації, понад взаємну інформацію, була праця Волперта 1995 року. Наступні дослідники цей аналіз перевивели та розширили. Див. нещодавню працю на основі апріорного, спеціально пристосованого для оцінювання взаємної інформації як такої.

Припущення про незалежність

Формулювання взаємної інформації в термінах відстані Кульбака — Лейблера ґрунтується на зацікавленні в порівнянні $p(x,y)$ з повністю розкладеним діадним добутком $p(x)\cdot p(y)$. В багатьох задачах, таких як розклад невід'ємних матриць, цікавлять менш екстремальні розклади, а саме, хочуть порівнювати $p(x,y)$ з низькоранговим матричним наближенням у якійсь невідомій змінній $w$, тобто, до якої міри можна мати

$p(x,y)\approx \sum _w{p}^{\prime }(x,w)p^{\prime \prime }(w,y)$

Або ж може цікавити дізнатися, скільки інформації несе $p(x,y)$ понад свій розклад. В такому випадку додаткова інформація, що несе повний розподіл $p(x,y)$ відносно цього матричного розкладу, задається відстанню Кульбака — Лейблера:

${\mathrm{I}}_{LRMA}=\sum _{y\in 𝒴}\sum _{x\in 𝒳}p(x,y)\log \left(\frac{p(x,y)}{\sum _w{p}^{\prime }(x,w)p^{\prime \prime }(w,y)}\right),$

Стандартне визначення взаємної інформації відтворюється в екстремальному випадку, коли процес $W$ має для $w$ лише одне значення.

Різновиди

Для задоволення різних потреб було запропоновано кілька варіацій взаємної інформації. Серед них є нормалізовані варіанти та узагальнення до понад двох змінних.

Метрика

Багато застосувань вимагають метрики, тобто міри відстань між парами точок. Величина

$\begin{array}{cc}d(X,Y)& =\mathrm{H}(X,Y)-\mathrm{I}(X;Y)\\ & =\mathrm{H}(X)+\mathrm{H}(Y)-2\mathrm{I}(X;Y)\\ & =\mathrm{H}(X|Y)+\mathrm{H}(Y|X)\end{array}$

задовольняє властивості метрики (нерівність трикутника, невід'ємність, Шаблон:Нп та симетрію). Ця метрика відстані також відома як Шаблон:Нп.

Якщо $X,Y$ є дискретними випадковими змінними, то всі члени ентропії є невід'ємними, тому $0\le d(X,Y)\le \mathrm{H}(X,Y)$ і можливо визначити унормовану відстань

$D(X,Y)=\frac{d(X,Y)}{\mathrm{H}(X,Y)}\le 1.$

Метрика $D$ є універсальною метрикою, в тому сенсі, що якщо будь-яка інша міра відстані розмістить $X$ та $Y$ поруч, то й $D$ також розглядатиме їх як близькі.Шаблон:Сумнівно

Підключення визначень показує, що

$D(X,Y)=1-\frac{\mathrm{I}(X;Y)}{\mathrm{H}(X,Y)}.$

У теоретико-множинній інтерпретації інформації (див. малюнок в умовній ентропії) це є фактично відстанню Жаккара між $X$ та $Y$.

Нарешті,

$D^{\prime }(X,Y)=1-\frac{\mathrm{I}(X;Y)}{\max \{\mathrm{H}(X),\mathrm{H}(Y)\}}$

також є метрикою.

Умовна взаємна інформація

Іноді корисно виражати взаємну інформацію двох випадкових змінних відносно третьої.

$\begin{array}{cc}& \mathrm{I}(X;Y|Z)={𝔼}_Z(\mathrm{I}(X;Y)|Z)=\\ & \sum _{z\in 𝒵}\sum _{y\in 𝒴}\sum _{x\in 𝒳}{p}_Z(z)p_{X,Y|Z}(x,y|z)\log \left[\frac{p_{X,Y|Z}(x,y|z)}{p_{X|Z}(x|z)p_{Y|Z}(y|z)}\right],\end{array}$

що може бути спрощено як

$\begin{array}{cc}& \mathrm{I}(X;Y|Z)=\\ & \sum _{z\in 𝒵}\sum _{y\in 𝒴}\sum _{x\in 𝒳}{p}_{X,Y,Z}(x,y,z)\log \frac{p_{X,Y,Z}(x,y,z)p_Z(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}.\end{array}$

Обумовлювання третьою випадковою змінною може збільшувати або зменшувати взаємну інформацію, але для дискретних спільно розподілених випадкових змінних $X,Y,Z$ завжди залишається істинним

$\mathrm{I}(X;Y|Z)\ge 0.$

Цей результат застосовувався як основний будівельний блок для доведення інших Шаблон:Нп.

Багатовимірна взаємна інформація

Було запропоновано декілька узагальнень взаємної інформації для понад двох випадкових змінних, такі як Шаблон:Нп та Шаблон:Нп. Якщо розглядати ентропію Шеннона як знакозмінну міру в контексті Шаблон:Нп, як описано в статті «Шаблон:Нп», то єдиним визначенням багатовимірної взаємної інформації, яке має сенс,Шаблон:Citation needed є наступне:

$\mathrm{I}(X_1;X_1)=\mathrm{H}(X_1)$

і для $n>1$

$\mathrm{I}(X_1;...;X_n)=\mathrm{I}(X_1;...;X_{n-1})-\mathrm{I}(X_1;...;X_{n-1}|X_n),$

де (як вище) ми визначаємо

$\mathrm{I}(X_1;...;X_{n-1}|X_n)={𝔼}_{X_n}[\mathrm{I}(X_1;...;X_{n-1})|X_n].$

(Це визначення багатовимірної взаємної інформації є ідентичним визначенню Шаблон:Нп, за винятком зміни знаку, коли число випадкових змінних є непарним.)

Застосування

Сліпе застосування інформаційних схем для виведення вищевказаного визначенняШаблон:Citation needed зазнавало критики,Шаблон:Чиєї і дійсно, воно знайшло досить обмежене практичне застосування, оскільки важко уявити або зрозуміти значення цієї кількості для великого числа випадкових змінних. Вона може бути нульовою, додатною або від'ємною для будь-якого непарного числа змінних $n\ge 3.$

Одна зі схем багатовимірного узагальнення, яка максимізує взаємну інформацію між спільним розподілом та іншими цільовими змінними, виявилася корисною в обиранні ознак.

Взаємну інформацію також застосовують в галузі обробки сигналів як міру подібності двох сигналів. Наприклад, метрика взаємної інформації ознак (Шаблон:Lang-en) — це міра продуктивності злиття зображень, яка застосовує взаємну інформацію для вимірювання кількості інформації, яку злите зображення містить про первинні зображення. Код MATLAB для цієї метрики можна знайти за адресою .

Спрямована інформація

Шаблон:Нп, $\mathrm{I}(X^n\to Y^n)$, вимірює кількість інформації, що протікає з процесу $X^n$ до $Y^n$, де $X^n$ позначує вектор $X_1,X_2,...,X_n$, а $Y^n$ позначує $Y_1,Y_2,...,Y_n$. Термін «спрямована інформація» (Шаблон:Lang-en) було започатковано Джеймсом Мессі, й визначено як

$\mathrm{I}(X^n\to Y^n)=\sum _{i=1}^n\mathrm{I}(X^i;Y_i|Y^{i-1})$.

Зауважте, що якщо $n=1$, то спрямована інформація стає взаємною інформацією. Спрямована інформація має багато застосувань у задачах, в яких важливу роль відіграє причинність, таких як пропускна здатність каналу зі зворотним зв'язком.

Унормовані варіанти

Унормовані варіанти взаємної інформації забезпечуються коефіцієнтами обмеження,Шаблон:Sfn Шаблон:Нп або вправністю (Шаблон:Lang-en):

$C_{XY}=\frac{\mathrm{I}(X;Y)}{\mathrm{H}(Y)}$ та $C_{YX}=\frac{\mathrm{I}(X;Y)}{\mathrm{H}(X)}.$

Ці два коефіцієнти не обов'язково дорівнюють один одному. В деяких випадках може бути бажаною симетрична міра, така як наступна міра надмірності (Шаблон:Lang-en):Шаблон:Джерело

$R=\frac{\mathrm{I}(X;Y)}{\mathrm{H}(X)+\mathrm{H}(Y)}$

яка досягає нульового мінімуму, коли змінні є незалежними, і максимального значення

$R_{\max }=\frac{\min \{\mathrm{H}(X),\mathrm{H}(Y)\}}{\mathrm{H}(X)+\mathrm{H}(Y)}$

коли одна зі змінних стає абсолютно надмірною при знанні іншої. Див. також надмірність інформації. Іншою симетричною мірою є симетрична невизначеність Шаблон:Harv, яку задають як

$U(X,Y)=2R=2\frac{\mathrm{I}(X;Y)}{\mathrm{H}(X)+\mathrm{H}(Y)}$

що представляє середнє гармонійне двох коефіцієнтів невизначеності $C_{XY},C_{YX}$.

Якщо розглядати взаємну інформацію як окремий випадок Шаблон:Нп або Шаблон:Нп, то унормованими версіями відповідно є

$\frac{\mathrm{I}(X;Y)}{\min [\mathrm{H}(X),\mathrm{H}(Y)]}$ та $\frac{\mathrm{I}(X;Y)}{\mathrm{H}(X,Y)}.$

Ця унормована версія також відома як показник якості інформації (Шаблон:Lang-en), що дає кількісну оцінку інформації змінної на основі іншої змінної відносно повної невизначеності:

$IQR(X,Y)=\mathrm{E}[\mathrm{I}(X;Y)]=\frac{\mathrm{I}(X;Y)}{\mathrm{H}(X,Y)}=\frac{\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(x)p(y)}{\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(x,y)}-1$

Існує унормування, яке випливає з першого розгляду взаємної інформації як аналогу коваріації (таким чином, ентропія Шеннона є аналогом дисперсії). Потім унормована взаємна інформація розраховується подібно до коефіцієнту кореляції Пірсона,

$\frac{\mathrm{I}(X;Y)}{\sqrt{\mathrm{H}(X)\mathrm{H}(Y)}}.$

Зважені варіанти

В традиційному формулюванні взаємної інформації

$\mathrm{I}(X;Y)=\sum _{y\in Y}\sum _{x\in X}p(x,y)\log \frac{p(x,y)}{p(x)p(y)},$

кожна подія чи об'єкт, вказані як $(x,y)$, зважуються відповідною ймовірністю $p(x,y)$. Це передбачає, що всі об'єкти або події є рівнозначними без врахування ймовірностей їх настання. Проте в деяких застосуваннях може бути так, що певні об'єкти або події є більш значущими, ніж інші, або що деякі шаблони зв'язків є семантично важливішими за інші.

Наприклад, детерміноване відображення $\{(1,1),(2,2),(3,3)\}$ може розглядатися як сильніше за детерміноване відображення $\{(1,3),(2,1),(3,2)\}$, хоча ці відношення видадуть однакову взаємну інформацію. Це відбувається тому, що взаємна інформація взагалі не чутлива до жодного природного впорядкування значень змінних (Шаблон:Harvnb, Шаблон:Harvnb, Шаблон:Harvnb), і тому взагалі не чутлива до форми відносного відображення між зв'язаними змінними. Якщо бажано, щоби перше відношення — яке показує узгодженість за всіма значеннями змінних — оцінювалося вище, ніж друге відношення, то можна використовувати наступну зважену взаємну інформацію Шаблон:Harv.

$\mathrm{I}(X;Y)=\sum _{y\in Y}\sum _{x\in X}w(x,y)p(x,y)\log \frac{p(x,y)}{p(x)p(y)},$

яка поміщає вагу $w(x,y)$ на імовірність кожного збігу значень змінних, $p(x,y)$. Це дозволяє робити так, щоби деякі ймовірності могли нести більше або менше важливості за інші, тим самим дозволяючи кількісно виразити відповідні чинники цілісності (Шаблон:Lang-en) або виразності (Шаблон:Lang-de). У наведеному вище прикладі застосування більших відносних ваг для $w(1,1)$, $w(2,2)$ і $w(3,3)$ матиме ефект вищої оцінки інформативності для відношення $\{(1,1),(2,2),(3,3)\}$, ніж для відношення $\{(1,3),(2,1),(3,2)\}$, що може бути бажаним в деяких випадках розпізнавання образів тощо. Ця зважена взаємна інформація є вираженням зваженої відстані Кульбака — Лейблера, яка, як відомо, може набувати від'ємних значень для деяких входів, і є приклади, де зважена взаємна інформація також набуває від'ємних значень.

Скоригована взаємна інформація

Розподіл імовірності можна розглядати як розбиття множини. Можна запитати: якщо множину було розбито випадковим чином, яким буде розподіл імовірностей? Яким буде математичне сподівання взаємної інформації? Шаблон:Нп (Шаблон:Lang-en) віднімає математичне сподівання взаємної інформації таким чином, що вона дорівнює нулеві, коли два різних розподіли носять випадковий характер, і одиниці, коли два розподіли збігаються. Скоригована взаємна інформація визначається за аналогією зі Шаблон:Нп двох різних розбиттів множини.

Абсолютна взаємна інформація

З допомогою ідей колмогоровської складності можна розглядати взаємну інформацію двох послідовностей незалежно від будь-якого розподілу ймовірностей:

${\mathrm{I}}_K(X;Y)=K(X)-K(X|Y).$

Встановлення того, що ця величина є симетричною з точністю до логарифмічного множника (${\mathrm{I}}_K(X;Y)\approx {\mathrm{I}}_K(Y;X)$), потребує Шаблон:Нп Шаблон:Harvard citation. Наближення цієї величини через стиснення може застосовуватися для визначення міри відстані для виконання ієрархічного кластерування послідовностей без жодного знання про предметну область цих послідовностей Шаблон:Harvard citation.

Лінійна кореляція

На відміну від коефіцієнтів кореляції, наприклад, коефіцієнту кореляції моменту добутку, взаємна інформація містить інформацію про всю залежність — лінійну й нелінійну, — а не просто про лінійну залежність, як міри коефіцієнтів кореляції. Тим не менш, у вузькому випадку, в якому спільний розподіл $X$ та $Y$ є двовимірним нормальним розподілом (за припущення, зокрема, що обидва відособлені розподіли розподілені нормально), існує точний взаємозв'язок між $\mathrm{I}$ та коефіцієнтом кореляції $\rho$ Шаблон:Harv.

$\mathrm{I}=-\frac{1}{2}\log (1-{\rho }^2)$

Наведене вище рівняння може бути виведено для двовимірного нормального розподілу наступним чином:

$\begin{array}{cc}\left(\begin{array}{c}{X}_1\\ X_2\end{array}\right)& \sim 𝒩(\left(\begin{array}{c}{\mu }_1\\ {\mu }_2\end{array}\right),\mathrm{\Sigma }),\mathrm{\Sigma }=\left(\begin{array}{cc}{\sigma }_1^2& \rho {\sigma }_1{\sigma }_2\\ \rho {\sigma }_1{\sigma }_2& {\sigma }_2^2\end{array}\right)\\ \mathrm{H}(X_i)& =\frac{1}{2}\log \left(2\pi e{\sigma }_i^2\right)=\frac{1}{2}+\frac{1}{2}\log (2\pi )+\log \left({\sigma }_i\right),i\in \{1,2\}\\ \mathrm{H}(X_1,X_2)& =\frac{1}{2}\log [(2\pi e{)}^2|\mathrm{\Sigma }|]=1+\log (2\pi )+\log \left({\sigma }_1{\sigma }_2\right)+\frac{1}{2}\log (1-{\rho }^2)\\ \end{array}$

Отже,

$\mathrm{I}(X_1;X_2)=\mathrm{H}\left(X_1\right)+\mathrm{H}\left(X_2\right)-\mathrm{H}(X_1,X_2)=-\frac{1}{2}\log (1-{\rho }^2)$

Для дискретних даних

Коли $X$ та $Y$ обмежено перебуванням у дискретному числі станів, то дані спостережень підсумовують до таблиці спряженості зі змінною рядків $X$ (або $i$) та змінною стовпців $Y$ (або $j$). Взаємна інформація є однією з мір асоційовності або кореляції між змінними рядків і стовпців. До інших мір асоційовності належать статистики критерію хі-квадрат Пірсона, статистики Шаблон:Нп тощо. Фактично, взаємна інформація дорівнює статистиці Шаблон:Нп, поділеній на $2N$, де $N$ є розміром вибірки.

Застосування

В багатьох застосуваннях потрібно максимізувати взаємну інформацію (тим самим збільшуючи взаємозалежність), що часто рівнозначне мінімізації умовної ентропії. До прикладів належать:

• У технології пошукових рушіїв взаємну інформацію між фразами та контекстами використовують як ознаку для кластерування методом k-середніх для виявлення семантичних кластерів (понять).
• У телекомунікаціях пропускна спроможність каналу дорівнює взаємній інформації, максимізованій над усіма вхідними розподілами.
• Було запропоновано процедури розрізнювального навчання для прихованих марковських моделей на основі критерію Шаблон:Нпні (Шаблон:Lang-en).
• Передбачування Шаблон:Нп з множинного вирівнювання послідовностей.
• Передбачування Шаблон:Нп з попарної присутності або відсутності функціонально пов'язаних генів.
• Взаємну інформацію застосовували в машинному навчанні як критерій для обирання ознак та перетворень ознак. Її можливо застосовувати для характеризування як доречності, так і надлишковості змінних, як в Шаблон:Нп.
• Взаємну інформацію використовують у визначенні подібності двох різних кластерувань набору даних. Як така, вона пропонує деякі переваги над традиційним Шаблон:Нп.
• Взаємну інформацію слів часто використовують як функцію значущості для обчислення колокації в корпусній лінгвістиці. Це має додаткову складність в тому, що жоден випадок слова не є випадком для двох різних слів; швидше, рахують випадки, в яких 2 слова трапляються суміжно або в безпосередній близькості; це дещо ускладнює розрахунок, оскільки очікувана ймовірність трапляння одного слова в межах $N$ слів від іншого росте з $N$.
• Взаємну інформацію застосовують у медичній візуалізації для зіставлення зображень. Для заданого еталонного зображення (наприклад, результату сканування мозку) та другого зображення, яке потрібно покласти до тієї ж системи координат, що й еталонне зображення, це зображення деформується доти, доки взаємну інформацію між ним та еталонним зображенням не буде максимізовано.
• Виявляння фазової синхронізації в аналізі часових рядів.
• Метод Шаблон:Нп для нейронних мереж та іншого машинного навчання, включно з алгоритмом Шаблон:Нп на основі інфомаксу.
• В Шаблон:Нп усереднену взаємну інформацію використовують для визначення параметру вкладальної затримки.
• Взаємну інформацію між генами в даних Шаблон:Нп використовує алгоритм Шаблон:Нпні для відбудови генних мереж.
• В термінах взаємної інформації може бути виражено Шаблон:Нп у статистичній механіці. Лошмідт зазначив, що може бути неможливим визначити фізичний закон, позбавлений зворотності (наприклад, другий закон термодинаміки), лише з таких фізичних законів, які цю зворотність мають. Він вказав, що в Шаблон:Нп Больцмана було зроблено припущення, що швидкості частинок в газі були постійно некорельованими, що усунуло природну зворотність в ній. Може бути показано, що якщо систему описано густиною ймовірності у фазовому просторі, то з теореми Ліувілля випливає, що спільна інформація (від'ємна спільна ентропія) розподілу залишається сталою в часі. Спільна інформація дорівнює взаємній інформації плюс сума всіх відособлених інформацій (від'ємних відособлених ентропій) для координат кожної з частинок. Припущення Больцмана рівнозначне ігноруванню взаємної інформації в обчисленні ентропії, що дає в результаті термодинамічну ентропію (ділену на сталу Больцмана).
• Взаємну інформацію використовують для навчання структури баєсових мереж/динамічних баєсових мереж, що, як вважають, пояснюють причинно-наслідковий зв'язок між випадковими змінними, прикладом чого може слугувати інструментарій GlobalMIT: навчання глобально оптимальної динамічної баєсової мережі з критерієм взаємної інформації (Шаблон:Lang-en).
• Популярна функція витрат у навчанні дерев рішень.
• Взаємну інформацію використовують у космології, щоби перевіряти вплив великомасштабних середовищ на властивості галактик у Galaxy Zoo.
• Взаємну інформацію використовували в фізиці Сонця для виведення сонячного диференціального ротора, карти відхилень часу руху сонячних плям, часово-відстаннєвої діаграми з вимірювань спокійного Сонця

Див. також

• Поточкова взаємна інформація
• Шаблон:Нп

Джерела

• Шаблон:Cite document Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite document Шаблон:Ref-en
• Шаблон:Cite document Шаблон:Ref-ru
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite document Шаблон:Ref-en
• David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Шаблон:Webarchive Cambridge: Cambridge University Press, 2003. Шаблон:Isbn (available free online) Шаблон:Ref-en
• Шаблон:Cite document Шаблон:Ref-en
• Athanasios Papoulis. Probability, Random Variables, and Stochastic Processes, second edition. New York: McGraw-Hill, 1984. (See Chapter 15.) Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite document CS1 maint: Multiple names: authors list (link) Шаблон:Ref-en
• Шаблон:Cite document Шаблон:Ref-en
• Шаблон:Cite document Шаблон:Ref-en
• Шаблон:Cite journal Шаблон:Ref-en

Література

• Габидулин, Э. М., Пилипчук, Н. И. Лекции по теории информации. — М.: МФТИ, 2007. — 214 с. — ISBN 5-7417-0197-3 Шаблон:Ref-ru