Перегляд вихідного коду сторінки Взаємна інформація

{{Теорія інформації}}
[[Файл:Entropy-mutual-information-relative-entropy-relation-diagram.svg|праворуч|міні|256x256пкс|[[Діаграма Венна]], що показує адитивні та різницеві відношення різних мір інформації, пов'язаних із корельованими змінними <math>X</math> та <math>Y</math>. Область, яка міститься в обох колах, є [[Спільна ентропія|спільною ентропією]] <math>\Eta(X,Y)</math>. Коло ліворуч (червоний і фіолетовий) є [[Інформаційна ентропія|особистою ентропією]] <math>\Eta(X)</math>, в якому червоне є [[Умовна ентропія|умовною ентропією]] <math>\Eta(X|Y)</math>. Коло праворуч (синій та фіолетовий) є <math>\Eta(Y)</math>, а синє в ньому є <math>\Eta(Y|X)</math>. Фіолетове є '''взаємною інформацією''' <math>\operatorname{I}(X;Y)</math>.]]

У [[Теорія ймовірностей|теорії ймовірностей]] та [[Теорія інформації|теорії інформації]] '''взає́мна інформа́ція''' ({{lang-en|mutual information, MI}}) двох [[Випадкова змінна|випадкових змінних]]&nbsp;— це міра взаємної [[Статистична залежність|залежності]] між цими двома змінними. Конкретніше, вона визначає «кількість інформації» (в таких [[Одиниця вимірювання|одиницях]], як [[Шеннон (одиниця вимірювання)|шеннони]], що зазвичай називають [[біт]]ами), отримуваної про одну випадкову змінну через спостерігання іншої випадкової змінної. Поняття взаємної інформації нерозривно пов'язане з [[Інформаційна ентропія|ентропією]] випадкової змінної, фундаментальним поняттям теорії інформації, яке кількісно оцінює очікувану «[[Власна інформація|кількість інформації]]», що міститься у випадковій змінній.

Не обмежуючись, як [[коефіцієнт кореляції]], [[Дійсні числа|дійснозначними]] випадковими змінними, взаємна інформація є загальнішою, і визначає, наскільки подібним є [[спільний розподіл]] <math>p(x,y)</math> до добутків розкладених [[Відособлений розподіл|відособлених розподілів]] <math>p(x) \cdot p(y)</math>. Взаємна інформація&nbsp;— це [[математичне сподівання]] [[Поточкова взаємна інформація|поточкової взаємної інформації]] ({{lang-en|pointwise mutual information, PMI}}).

== Визначення ==

Формально взаємну інформацію двох дискретних випадкових змінних <math>X</math> та <math>Y</math> може бути визначено як<ref name=cover1991>{{cite book|last1=Cover|first1=T.M.|last2=Thomas|first2=J.A.|title=Elements of Information Theory|date=1991|isbn=978-0-471-24195-9|edition=Wiley}} {{ref-en}}</ref>{{rp|20}}

: <math> \operatorname{I}(X;Y) = \sum_{y \in \mathcal Y} \sum_{x \in \mathcal X}
    { p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)} \right) }},
</math>

де <math>p(x,y)</math> є [[Спільний розподіл|функцією спільного розподілу ймовірностей]] <math>X</math> та <math>Y</math>, а <math>p(x)</math> та <math>p(y)</math> є функціями [[Відособлений розподіл|відособлених розподілів імовірності]] <math>X</math> та <math>Y</math> відповідно.

У випадку [[Неперервна функція|неперервних випадкових змінних]] підсумовування замінюється визначеним [[Багатократний інтеграл|подвійним інтегралом]]:<ref name=cover1991 />{{rp|251}}

: <math> \operatorname{I}(X;Y) = 
\int_{\mathcal Y} \int_{\mathcal X}
    {p(x,y) \log{ \left(\frac{p(x,y)}{p(x)\,p(y)} \right) }
} \; dx \,dy,
</math>

де <math>p(x,y)</math> тепер є функцією ''густини'' спільної ймовірності <math>X</math> та <math>Y</math>, а <math>p(x)</math> та <math>p(y)</math> є функціями густини відособлених імовірностей <math>X</math> та <math>Y</math> відповідно.

Якщо застосовується [[логарифм]] за основою 2, то одиницею вимірювання взаємної інформації є [[біт]].

== Обґрунтування ==

Інтуїтивно, взаємна інформація вимірює інформацію, яку поділяють <math>X</math> та <math>Y</math>: вона вимірює, наскільки знання однієї з цих змінних зменшує невизначеність щодо іншої. Наприклад, якщо <math>X</math> та <math>Y</math> є незалежними, то знання <math>X</math> не дає жодної інформації про <math>Y</math>, і навпаки, тому їхня взаємна інформація дорівнює нулеві. З іншого боку, якщо <math>X</math> є детермінованою функцією від <math>Y</math>, і <math>Y</math> є детермінованою функцією від <math>X</math>, то вся інформація, що передає змінна <math>X</math>, є спільною з <math>Y</math>: знання <math>X</math> визначає значення <math>Y</math>, і навпаки. В результаті, в цьому випадку взаємна інформація є тим же, що й невизначеність, яка міститься окремо в <math>Y</math> (або <math>X</math>), а саме [[Інформаційна ентропія|ентропія]] <math>Y</math> (або <math>X</math>). Більше того, ця взаємна інформація і є такою ж, як і ентропія <math>X</math> та як ентропія <math>Y</math>. (Дуже особливим випадком цього є такий, коли <math>X</math> та <math>Y</math> є однією й тією ж випадковою змінною.)

Взаємна інформація є мірою притаманної залежності, вираженої в [[Спільний розподіл|спільному розподілі]] <math>X</math> та <math>Y</math>, по відношенню до спільного розподілу <math>X</math> та <math>Y</math> за припущення незалежності.
Взаємна інформація відтак вимірює залежність у наступному сенсі: <math>\operatorname{I}(X;Y)=0</math>, [[Тоді й лише тоді|якщо і лише якщо]] <math>X</math> та <math>Y</math> є незалежними випадковими змінними. Це легко побачити в одному напрямку: якщо <math>X</math> та <math>Y</math> є незалежними, то <math>p(x,y)=p(x) \cdot p(y)</math>, і тому

: <math> \log{ \left( \frac{p(x,y)}{p(x)\,p(y)} \right) } = \log 1 = 0 .</math>

Крім того, взаємна інформація є невід'ємною (тобто, <math>\operatorname{I}(X;Y) \ge 0</math>, див. нижче) і [[Симетрична функція|симетричною]] (тобто, <math>\operatorname{I}(X;Y) = \operatorname{I}(Y;X)</math>, див. нижче).

== Відношення до інших величин ==

=== Невід'ємність ===

Застосувавши [[нерівність Єнсена]] до визначення взаємної інформації, ми можемо показати, що <math>\operatorname{I}(X;Y)</math> є невід'ємною, тобто,<ref name=cover1991 />{{rp|28}}

: <math>\operatorname{I}(X;Y) \ge 0</math>

=== Симетричність ===

: <math>\operatorname{I}(X;Y) = \operatorname{I}(Y;X)</math>

=== Відношення до умовної та спільної ентропій ===

Взаємну інформацію може бути рівнозначно виражено як

: <math>\begin{align}
  \operatorname{I}(X;Y) &{} \equiv \Eta(X) - \Eta(X|Y) \\
         &{} \equiv \Eta(Y) - \Eta(Y|X) \\
         &{} \equiv \Eta(X) + \Eta(Y) - \Eta(X, Y) \\
         &{} \equiv \Eta(X, Y) - \Eta(X|Y) - \Eta(Y|X)
\end{align}</math>

де <math>\Eta(X)</math> та <math>\Eta(Y)</math> є відособленими [[Інформаційна ентропія|ентропіями]], <math>\Eta(X|Y)</math> та <math>\Eta(Y|X)</math> є [[Умовна ентропія|умовними ентропіями]], а <math>\Eta(X,Y)</math> є [[Спільна ентропія|спільною ентропією]] <math>X</math> та <math>Y</math>. Зверніть увагу на аналогію з об'єднанням, різницею та перетином двох множин, яку показано в діаграмі Венна. В термінах каналу зв'язку, в якому вихід <math>Y</math> є зашумленою версією входу <math>X</math>, ці відношення узагальнено на малюнку нижче.

[[Файл:Figchannel2017ab uk.svg|thumb|Відношення між величинами теорії інформації]]

Оскільки <math>\operatorname{I}(X;Y)</math> є невід'ємною, як наслідок, <math>\Eta(X) \ge \Eta(X|Y)</math>. Тут ми наводимо докладне виведення <math>\operatorname{I}(X;Y)=\Eta(Y)-\Eta(Y|X)</math>:

: <math>
\begin{align}
\operatorname{I}(X;Y) & {} = \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p(x,y) \log \frac{p(x,y)}{p(x)p(y)}\\
& {} = \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p(x,y) \log \frac{p(x,y)}{p(x)} - \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p(x,y) \log p(y)  \\

& {} = \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p(x)p(y|x) \log p(y|x) - \sum_{x \in \mathcal{X},y \in \mathcal{Y}} p(x,y) \log p(y) \\
& {} = \sum_{x \in \mathcal{X}} p(x) \left(\sum_{y \in \mathcal{Y}} p(y|x) \log p(y|x)\right) - \sum_{y \in \mathcal{Y}} \left(\sum_x p(x,y)\right) \log p(y) \\
& {} = -\sum_{x \in \mathcal{X}} p(x) \Eta(Y|X=x) - \sum_{y \in \mathcal{Y}} p(y) \log p(y) \\
& {} = -\Eta(Y|X) + \Eta(Y)  \\
& {} = \Eta(Y) - \Eta(Y|X).  \\
\end{align}
</math>

Доведення інших наведених вище тотожностей є схожими на це.

Інтуїтивно, якщо ентропію <math>\Eta(Y)</math> розглядати як міру невизначеності випадкової змінної, то <math>\Eta(Y|X)</math> є мірою того, що <math>X</math> ''не'' каже про <math>Y</math>. Це є «кількістю невизначеності <math>Y</math>, яка залишається після того, як стала відомою <math>X</math>», і, отже, праву частину другого з цих рівнянь можливо читати як «кількість невизначеності <math>Y</math> за вирахуванням кількості невизначеності <math>Y</math>, яка залишається після того, як стала відомою <math>X</math>», що рівнозначно «кількість невизначеності <math>Y</math>, яка усувається, коли стає відомою <math>X</math>». Це підтримує інтуїтивне значення взаємної інформації як кількості інформації (тобто, зниження невизначеності), яке знання однієї з змінних забезпечує стосовно іншої.

Зауважте, що в дискретному випадку <math>\Eta(X|X) = 0</math> і, отже, <math>\Eta(X) = \operatorname{I}(X;X)</math>. Таким чином, <math>\operatorname{I}(X; X) \ge \operatorname{I}(X; Y)</math>, і можна сформулювати основний принцип, що змінна містить про себе щонайменше стільки ж інформації, скільки могла би забезпечити будь-яка інша змінна. Це відповідає подібним пов'язаним результатам.

=== Відношення до відстані Кульбака&nbsp;— Лейблера ===

Взаємну інформацію також може бути виражено як [[відстань Кульбака — Лейблера]] добутку <math>p(x) \cdot p(y)</math> [[Відособлений розподіл|відособлених розподілів]] двох випадкових змінних <math>X</math> та <math>Y</math> від [[Спільний розподіл|спільного розподілу]] цих випадкових змінних <math>p(x,y)</math>:

: <math> \operatorname{I}(X; Y) 
= D_\text{KL}\left(p(x, y) \parallel p(x)p(y)\right). </math>

Крім того, нехай <math>p(x|y) = p(x,y) / p(y)</math>. Тоді

: <math>\begin{align}
  \operatorname{I}(X;Y) &= \sum_{y \in \mathcal{Y}} p(y) \sum_{x \in \mathcal{X}} p(x|y) \log_2 \frac{p(x|y)}{p(x)} \\
    &= \sum_{y \in \mathcal{Y}} p(y) \; D_\text{KL}\!\left(p(x|y) \parallel p(x)\right) \\
    &= \mathbb{E}_Y\left[D_\text{KL}\!\left(p(x|y) \parallel p(x)\right)\right].
\end{align}</math>

Зауважте, що тут відстань Кульбака&nbsp;— Лейблера передбачає інтегрування лише за випадковою змінною <math>X</math>, і вираз <math>D_\text{KL}(p(x|y) \parallel p(x))</math> тепер є випадковою змінною в <math>Y</math>. Таким чином, взаємну інформацію можна також розуміти як [[математичне сподівання]] відстані Кульбака&nbsp;— Лейблера {{нп|Одновимірний розподіл|одновимірного розподілу||Univariate distribution}} <math>p(x)</math> змінної <math>X</math> від [[Умовний розподіл|умовного розподілу]] <math>p(x|y)</math> змінної <math>X</math> відносно <math>Y</math>: що більш відмінними в середньому є розподіли <math>p(x|y)</math> та <math>p(x)</math>, то більшим є [[Відстань Кульбака — Лейблера|приріст інформації]].

=== Баєсове оцінювання взаємної інформації ===

Як робити баєсове оцінювання взаємної інформації спільного розподілу на основі зразків цього розподілу, є добре зрозумілим. Першою працею про те, як це робити, яка також показала, як робити баєсове оцінювання багато чого іншого в теорії інформації, понад взаємну інформацію, була праця Волперта 1995 року.<ref>{{cite journal | last1 = Wolpert | first1 = D.H. | last2 = Wolf | first2 = D.R. | year = 1995 | title = Estimating functions of probability distributions from a finite set of samples | journal = Physical Review E }} {{ref-en}}</ref> Наступні дослідники цей аналіз перевивели<ref>{{cite journal | last1 = Hutter | first1 = M. | year = 2001 | title = Distribution of Mutual Information | journal = Advances in Neural Information Processing Systems 2001 }} {{ref-en}}</ref> та розширили.<ref>{{cite journal | last1 = Archer | first1 = E. | last2 = Park | first2 = I.M. | last3 = Pillow | first3 = J. | year = 2013 | title = Bayesian and Quasi-Bayesian Estimators for Mutual Information from Discrete Data | journal = Entropy}} {{ref-en}}</ref> Див. нещодавню працю<ref>{{cite journal | last1 = Wolpert | first1 = D.H | last2 = DeDeo | first2 = S. | year = 2013 | title = Estimating Functions of Distributions Defined over Spaces of Unknown Size | journal = Entropy }} {{ref-en}}</ref> на основі апріорного, спеціально пристосованого для оцінювання взаємної інформації як такої.

=== Припущення про незалежність ===

Формулювання взаємної інформації в термінах відстані Кульбака&nbsp;— Лейблера ґрунтується на зацікавленні в порівнянні <math>p(x,y)</math> з повністю розкладеним [[Діадний добуток|діадним добутком]] <math>p(x) \cdot p(y)</math>. В багатьох задачах, таких як [[розклад невід'ємних матриць]], цікавлять менш екстремальні розклади, а саме, хочуть порівнювати <math>p(x,y)</math> з низькоранговим матричним наближенням у якійсь невідомій змінній <math>w</math>, тобто, до якої міри можна мати

: <math>p(x,y)\approx \sum_w p^\prime (x,w) p^{\prime\prime}(w,y)</math>

Або ж може цікавити дізнатися, скільки інформації несе <math>p(x,y)</math> понад свій розклад. В такому випадку додаткова інформація, що несе повний розподіл <math>p(x,y)</math> відносно цього матричного розкладу, задається відстанню Кульбака&nbsp;— Лейблера:

: <math>\operatorname{I}_{LRMA} = \sum_{y \in \mathcal{Y}} \sum_{x \in \mathcal{X}}
    {p(x,y) \log{ \left(\frac{p(x,y)}{\sum_w p^\prime (x,w) p^{\prime\prime}(w,y)}
      \right) }},
</math>

Стандартне визначення взаємної інформації відтворюється в екстремальному випадку, коли процес <math>W</math> має для <math>w</math> лише одне значення.

== Різновиди ==

Для задоволення різних потреб було запропоновано кілька варіацій взаємної інформації. Серед них є нормалізовані варіанти та узагальнення до понад двох змінних.

=== Метрика ===

Багато застосувань вимагають [[Метрика (математика)|метрики]], тобто міри відстань між парами точок. Величина

: <math>
\begin{align}
d(X,Y) &= \Eta(X,Y) - \operatorname{I}(X;Y) \\
       &= \Eta(X) + \Eta(Y) - 2\operatorname{I}(X;Y) \\
       &= \Eta(X|Y) + \Eta(Y|X)
\end{align}
</math>

задовольняє властивості метрики ([[нерівність трикутника]], [[невід'ємність]], {{нп|Ідентичність нерозрізнюваних|нерозрізнюваність||Identity of indiscernibles}} та симетрію). Ця метрика відстані також відома як {{нп|різновидність інформації|||Variation of information}}.

Якщо <math>X, Y</math> є дискретними випадковими змінними, то всі члени ентропії є невід'ємними, тому <math>0 \le d(X,Y) \le \Eta(X,Y)</math> і можливо визначити унормовану відстань

: <math>D(X,Y) = \frac{d(X, Y)}{\Eta(X, Y)} \le 1.</math>

Метрика <math>D</math> є універсальною метрикою, в тому сенсі, що якщо будь-яка інша міра відстані розмістить <math>X</math> та <math>Y</math> поруч, то й <math>D</math> також розглядатиме їх як близькі.<ref>{{Cite arXiv|eprint=q-bio/0311039|last1=Kraskov|first1=Alexander|title=Hierarchical Clustering Based on Mutual Information|last2=Stögbauer|first2=Harald|last3=Andrzejak|first3=Ralph G.|last4=Grassberger|first4=Peter|year=2003}} {{ref-en}}</ref>{{сумнівно|дата=червень 2016}}

Підключення визначень показує, що

: <math>D(X,Y) = 1 - \frac{\operatorname{I}(X; Y)}{\Eta(X, Y)}.</math>

У теоретико-множинній інтерпретації інформації (див. малюнок в [[Умовна ентропія|умовній ентропії]]) це є фактично [[Коефіцієнт Жаккара|відстанню Жаккара]] між <math>X</math> та <math>Y</math>.

Нарешті,

: <math>D^\prime(X, Y) = 1 - \frac{\operatorname{I}(X; Y)}{\max\left\{\Eta(X), \Eta(Y)\right\}}</math>

також є метрикою.

=== Умовна взаємна інформація ===
{{Докладніше1|{{нп|Умовна взаємна інформація|||Conditional mutual information}}}}

Іноді корисно виражати взаємну інформацію двох випадкових змінних відносно третьої.

: <math>
\begin{align}
& {} \operatorname{I}(X;Y|Z) = \mathbb {E}_Z \big(\operatorname{I}(X;Y)|Z\big)
    = \\
& {} \sum_{z\in \mathcal{Z}} \sum_{y\in \mathcal{Y}} \sum_{x\in \mathcal{X}}
    {p_Z(z)\, p_{X,Y|Z}(x,y|z) 
        \log\left[\frac{p_{X,Y|Z}(x,y|z)}{p_{X|Z}\,(x|z)p_{Y|Z}(y|z)}\right]},
\end{align}
</math>

що може бути спрощено як

: <math>
\begin{align}
& {} \operatorname{I}(X;Y|Z) = \\
& {} \sum_{z\in \mathcal{Z}} \sum_{y\in \mathcal{Y}} \sum_{x\in \mathcal{X}}
      p_{X,Y,Z}(x,y,z) \log \frac{p_{X,Y,Z}(x,y,z)p_{Z}(z)}{p_{X,Z}(x,z)p_{Y,Z}(y,z)}.
\end{align}
</math>

Обумовлювання третьою випадковою змінною може збільшувати або зменшувати взаємну інформацію, але для дискретних спільно розподілених випадкових змінних <math>X,Y,Z</math> завжди залишається істинним

: <math>\operatorname{I}(X;Y|Z) \ge 0.</math>

Цей результат застосовувався як основний будівельний блок для доведення інших {{нп|Нерівності в теорії інформації|нерівностей в теорії інформації||Inequalities in information theory}}.

=== Багатовимірна взаємна інформація ===
{{Докладніше1|{{нп|Багатовимірна взаємна інформація|||Multivariate mutual information}}}}

Було запропоновано декілька узагальнень взаємної інформації для понад двох випадкових змінних, такі як {{нп|повна кореляція|||Total correlation}} та {{нп|інформація взаємодії|||Interaction information}}. Якщо розглядати ентропію Шеннона як [[Знакозмінна міра|знакозмінну міру]] в контексті {{нп|Інформаційна діаграма|інформаційних діаграм||Information diagram}}, як описано в статті «{{нп|Теорія інформації та теорія міри|||Information theory and measure theory}}», то єдиним визначенням багатовимірної взаємної інформації, яке має сенс,{{Citation needed|дата=червень 2016}} є наступне:

: <math>\operatorname{I}(X_1;X_1) = \Eta(X_1)</math>

і для <math>n > 1</math>

: <math>\operatorname{I}(X_1;\,...\,;X_n)
 = \operatorname{I}(X_1;\,...\,;X_{n-1}) 
    - \operatorname{I}(X_1;\,...\,;X_{n-1}|X_n),</math>

де (як вище) ми визначаємо

: <math>\operatorname{I}(X_1;\,...\,;X_{n-1}|X_n) 
 = \mathbb{E}_{X_n} \bigl[\operatorname{I}(X_1;\,...\,;X_{n-1})|X_n\bigr].</math>

(Це визначення багатовимірної взаємної інформації є ідентичним визначенню {{нп|Інформація взаємодії|інформації взаємодії||Interaction information}}, за винятком зміни знаку, коли число випадкових змінних є непарним.)

==== Застосування ====

Сліпе застосування інформаційних схем для виведення вищевказаного визначення{{Citation needed|дата=червень 2016}} зазнавало критики,{{чиєї|дата=червень 2016}} і дійсно, воно знайшло досить обмежене практичне застосування, оскільки важко уявити або зрозуміти значення цієї кількості для великого числа випадкових змінних. Вона може бути нульовою, додатною або від'ємною для будь-якого непарного числа змінних <math>n \ge 3.</math>

Одна зі схем багатовимірного узагальнення, яка максимізує взаємну інформацію між спільним розподілом та іншими цільовими змінними, виявилася корисною в [[Обирання ознак|обиранні ознак]].<ref>{{Cite book|title=An Introduction to Information Retrieval|url=https://archive.org/details/introductiontoin0000mann_b6m0|year=2008|publisher=[[Cambridge University Press]]|isbn=0-521-86571-9|author1=Christopher D. Manning|author2=Prabhakar Raghavan|author3=Hinrich Schütze}} {{ref-en}}</ref>

Взаємну інформацію також застосовують в галузі обробки сигналів як [[Міра подібності|міру подібності]] двох сигналів. Наприклад, метрика взаємної інформації ознак ({{lang-en|FMI, feature mutual information}})<ref>{{Cite document|last1=Haghighat|first1=M. B. A.|last2=Aghagolzadeh|first2=A.|last3=Seyedarabi|first3=H.|year=2011|title=A non-reference image fusion metric based on mutual information of image features|doi=10.1016/j.compeleceng.2011.07.012|journal=Computers & Electrical Engineering|volume=37|issue=5|pages=744–756}} {{ref-en}}</ref>&nbsp;— це міра продуктивності злиття зображень, яка застосовує взаємну інформацію для вимірювання кількості інформації, яку злите зображення містить про первинні зображення. Код [[MATLAB]] для цієї метрики можна знайти за адресою&nbsp;<ref>{{cite web|url=http://www.mathworks.com/matlabcentral/fileexchange/45926-feature-mutual-information-fmi-image-fusion-metric|title=Feature Mutual Information (FMI) metric for non-reference image fusion - File Exchange - MATLAB Central|author=|date=|website=www.mathworks.com|accessdate=4 квітня 2018|archive-date=16 квітня 2014|archive-url=https://web.archive.org/web/20140416191917/http://www.mathworks.com/matlabcentral/fileexchange/45926-feature-mutual-information-fmi-image-fusion-metric}} {{ref-en}}</ref>.

=== Спрямована інформація ===

{{нп|Спрямована інформація|||Directed information}}, <math>\operatorname{I}\left(X^n \to Y^n\right)</math>, вимірює кількість інформації, що протікає з процесу <math>X^n</math> до <math>Y^n</math>, де <math>X^n</math> позначує вектор <math>X_1, X_2, ..., X_n</math>, а <math>Y^n</math> позначує <math>Y_1, Y_2, ..., Y_n</math>. Термін «спрямована інформація» ({{lang-en|directed information}}) було започатковано [[Джеймс Мессі|Джеймсом Мессі]], й визначено як

: <math>\operatorname{I}\left(X^n \to Y^n\right)
= \sum_{i=1}^n \operatorname{I}\left(X^i; Y_i|Y^{i-1}\right)</math>.

Зауважте, що якщо <math>n=1</math>, то спрямована інформація стає взаємною інформацією. Спрямована інформація має багато застосувань у задачах, в яких важливу роль відіграє [[причинність]], таких як [[пропускна здатність каналу]] зі зворотним зв'язком.<ref>{{cite journal|last1=Massey|first1=James|title=Causality, Feedback And Directed Informatio|date=1990|issue=ISITA|url=http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.36.5688&rep=rep1&type=pdf|journal=|accessdate=16 грудня 2018|archive-date=7 квітня 2018|archive-url=https://web.archive.org/web/20180407183352/http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.36.5688&rep=rep1&type=pdf}} {{ref-en}}</ref><ref>{{cite journal|last1=Permuter|first1=Haim Henry|last2=Weissman|first2=Tsachy|last3=Goldsmith|first3=Andrea J.|title=Finite State Channels With Time-Invariant Deterministic Feedback|journal=IEEE Transactions on Information Theory|date=February 2009|volume=55|issue=2|pages=644–662|doi=10.1109/TIT.2008.2009849|arxiv=cs/0608070}} {{ref-en}}</ref>

=== Унормовані варіанти ===

Унормовані варіанти взаємної інформації забезпечуються ''коефіцієнтами обмеження'',{{sfn|Coombs|Dawes|Tversky|1970}} {{нп|Коефіцієнт невизначеності|коефіцієнтом невизначеності||Uncertainty coefficient}}<ref name="pressflannery">{{Cite book|title=[[Numerical Recipes: The Art of Scientific Computing]]|last2=Teukolsky|first2=SA|last3=Vetterling|first3=WT|last4=Flannery|first4=BP|year=2007|publisher=Cambridge University Press|edition=3|chapter=Section 14.7.3. Conditional Entropy and Mutual Information|isbn=978-0-521-88068-8|ref=harv|last1=Press|first1=WH|publication-place=New York}} {{ref-en}}</ref> або вправністю ({{lang-en|proficiency}}):<ref name="JimWhite">{{Cite document|last1=White|first1=Jim|last2=Steingold|first2=Sam|last3=Fournelle|first3=Connie|title=Performance Metrics for Group-Detection Algorithms|conference=Interface 2004|url=http://www.interfacesymposia.org/I04/I2004Proceedings/WhiteJim/WhiteJim.paper.pdf|journal=|accessdate=28 червня 2016|archive-date=5 липня 2016|archive-url=https://web.archive.org/web/20160705074827/http://www.interfacesymposia.org/I04/I2004Proceedings/WhiteJim/WhiteJim.paper.pdf}} {{ref-en}}</ref>

: <math>
C_{XY} = \frac{\operatorname{I}(X;Y)}{\Eta(Y)}
</math> та <math>
C_{YX} = \frac{\operatorname{I}(X;Y)}{\Eta(X)}.
</math>

Ці два коефіцієнти не обов'язково дорівнюють один одному. В деяких випадках може бути бажаною симетрична міра, така як наступна міра ''[[Надмірність інформації|надмірності]]'' ({{lang-en|redundancy}}):{{джерело|дата=грудень 2018}}

: <math>R = \frac{\operatorname{I}(X;Y)}{\Eta(X) + \Eta(Y)}</math>

яка досягає нульового мінімуму, коли змінні є незалежними, і максимального значення

: <math>R_\max = \frac{\min\left\{\Eta(X), \Eta(Y)\right\}}{\Eta(X) + \Eta(Y)}</math>

коли одна зі змінних стає абсолютно надмірною при знанні іншої. Див. також ''[[надмірність інформації]]''. Іншою симетричною мірою є ''симетрична невизначеність'' {{harv|Witten|Frank|2005}}, яку задають як

: <math>U(X, Y) = 2R = 2\frac{\operatorname{I}(X;Y)}{\Eta(X) + \Eta(Y)}</math>

що представляє [[середнє гармонійне]] двох коефіцієнтів невизначеності <math>C_{XY}, C_{YX}</math>.<ref name="pressflannery" />

Якщо розглядати взаємну інформацію як окремий випадок {{нп|Повна кореляція|повної кореляції||Total correlation}} або {{нп|Двоїста повна кореляція|двоїстої повної кореляції||Dual total correlation}}, то унормованими версіями відповідно є

: <math>\frac{\operatorname{I}(X;Y)}{\min\left[ \Eta(X),\Eta(Y)\right]}</math> та <math>\frac{\operatorname{I}(X;Y)}{\Eta(X,Y)} \; .</math>

Ця унормована версія також відома як '''показник якості інформації''' ({{lang-en|Information Quality Ratio, IQR}}), що дає кількісну оцінку інформації змінної на основі іншої змінної відносно повної невизначеності:<ref name=DRWijaya>{{Cite journal
 | last1= Wijaya |first1= Dedy Rahman | last2= Sarno| first2=Riyanarto| last3= Zulaika | first3=Enny
 | title = Information Quality Ratio as a novel metric for mother wavelet selection
 | journal = Chemometrics and Intelligent Laboratory Systems
 | volume = 160
 | pages = 59–71
 | url = http://www.sciencedirect.com/science/article/pii/S0169743916304907
 | doi = 10.1016/j.chemolab.2016.11.012
}} {{ref-en}}</ref>

: <math>IQR(X, Y) = \operatorname{E}[\operatorname{I}(X;Y)] 
= \frac{\operatorname{I}(X;Y)}{\Eta(X, Y)} 
= \frac{\sum_{x \in X} \sum_{y \in Y} p(x, y) \log {p(x)p(y)}}{\sum_{x \in X} \sum_{y \in Y} p(x, y) \log {p(x, y)}} - 1</math>

Існує унормування,<ref name="strehl-jmlr02">{{Citation|title=Cluster Ensembles – A Knowledge Reuse Framework for Combining Multiple Partitions|url=http://www.jmlr.org/papers/volume3/strehl02a/strehl02a.pdf|year=2002|last1=Strehl|last2=Ghosh|first1=Alexander|first2=Joydeep|journal=The Journal of Machine Learning Research|volume=3|issue=Dec|pages=583–617|accessdate=28 червня 2016|archive-date=3 серпня 2016|archive-url=https://web.archive.org/web/20160803234253/http://www.jmlr.org/papers/volume3/strehl02a/strehl02a.pdf}} {{ref-en}}</ref> яке випливає з першого розгляду взаємної інформації як аналогу [[Коваріація|коваріації]] (таким чином, [[Інформаційна ентропія|ентропія Шеннона]] є аналогом [[Дисперсія випадкової величини|дисперсії]]). Потім унормована взаємна інформація розраховується подібно до [[Коефіцієнт кореляції Пірсона|коефіцієнту кореляції Пірсона]],

: <math>
\frac{\operatorname{I}(X;Y)}{\sqrt{\Eta(X)\Eta(Y)}}\; .
</math>

=== Зважені варіанти ===

В традиційному формулюванні взаємної інформації

: <math> \operatorname{I}(X;Y) 
 = \sum_{y \in Y} \sum_{x \in X} p(x, y) \log \frac{p(x, y)}{p(x)\,p(y)}, </math>

кожна ''подія'' чи ''об'єкт'', вказані як <math>(x,y)</math>, зважуються відповідною ймовірністю <math>p(x,y)</math>. Це передбачає, що всі об'єкти або події є рівнозначними ''без врахування'' ймовірностей їх настання. Проте в деяких застосуваннях може бути так, що певні об'єкти або події є більш ''значущими'', ніж інші, або що деякі шаблони зв'язків є семантично важливішими за інші.

Наприклад, детерміноване відображення <math>\{(1,1),(2,2),(3,3)\}</math> може розглядатися як сильніше за детерміноване відображення <math>\{(1,3),(2,1),(3,2)\}</math>, хоча ці відношення видадуть однакову взаємну інформацію. Це відбувається тому, що взаємна інформація взагалі не чутлива до жодного природного впорядкування значень змінних ({{harvnb|Cronbach|1954}}, {{harvnb|Coombs|Dawes|Tversky|1970}}, {{harvnb|Lockhead|1970}}), і тому взагалі не чутлива до '''форми''' відносного відображення між зв'язаними змінними. Якщо бажано, щоби перше відношення&nbsp;— яке показує узгодженість за всіма значеннями змінних&nbsp;— оцінювалося вище, ніж друге відношення, то можна використовувати наступну ''зважену взаємну інформацію'' {{harv|Guiasu|1977}}.

: <math> \operatorname{I}(X;Y) 
= \sum_{y \in Y} \sum_{x \in X} w(x,y) p(x,y) \log \frac{p(x,y)}{p(x)\,p(y)}, </math>

яка поміщає вагу <math>w(x,y)</math> на імовірність кожного збігу значень змінних, <math>p(x,y)</math>. Це дозволяє робити так, щоби деякі ймовірності могли нести більше або менше важливості за інші, тим самим дозволяючи кількісно виразити відповідні чинники ''цілісності'' ({{lang-en|holistic}}) або ''[[Гештальтпсихологія|виразності]]'' ({{lang-de|Prägnanz}}). У наведеному вище прикладі застосування більших відносних ваг для <math>w(1,1)</math>, <math>w(2,2)</math> і <math>w(3,3)</math> матиме ефект вищої оцінки ''інформативності'' для відношення <math>\{(1,1),(2,2),(3,3)\}</math>, ніж для відношення <math>\{(1,3),(2,1),(3,2)\}</math>, що може бути бажаним в деяких випадках розпізнавання образів тощо. Ця зважена взаємна інформація є вираженням зваженої відстані Кульбака&nbsp;— Лейблера, яка, як відомо, може набувати від'ємних значень для деяких входів,<ref name="weighted-kl">{{Cite document|last1=Kvålseth|first1=T. O.|year=1991|title=The relative useful information measure: some comments|url=|journal=Information sciences|volume=56|issue=1|pages=35–38|doi=10.1016/0020-0255(91)90022-m}} {{ref-en}}</ref> і є приклади, де зважена взаємна інформація також набуває від'ємних значень.<ref><cite class="citation thesis">Pocock, A. (2012). [http://www.cs.man.ac.uk/~gbrown/publications/pocockPhDthesis.pdf Feature Selection Via Joint Likelihood] {{Webarchive|url=https://web.archive.org/web/20181105120430/http://www.cs.man.ac.uk/~gbrown/publications/pocockPhDthesis.pdf |date=5 листопада 2018 }} (PDF) (Thesis). </cite> {{ref-en}}</ref>

=== Скоригована взаємна інформація ===
{{Докладніше1|{{нп|Скоригована взаємна інформація|||Adjusted mutual information}}}}

Розподіл імовірності можна розглядати як [[розбиття множини]]. Можна запитати: якщо множину було розбито випадковим чином, яким буде розподіл імовірностей? Яким буде математичне сподівання взаємної інформації? {{нп|Скоригована взаємна інформація|||Adjusted mutual information}} ({{lang-en|adjusted mutual information, AMI}}) віднімає математичне сподівання взаємної інформації таким чином, що вона дорівнює нулеві, коли два різних розподіли носять випадковий характер, і одиниці, коли два розподіли збігаються. Скоригована взаємна інформація визначається за аналогією зі {{нп|Скоригований індекс Ренда|скоригованим індексом Ренда||Adjusted Rand index}} двох різних розбиттів множини.

=== Абсолютна взаємна інформація ===

З допомогою ідей [[Складність та ентропія конструктивних об'єктів|колмогоровської складності]] можна розглядати взаємну інформацію двох послідовностей незалежно від будь-якого розподілу ймовірностей:

: <math>
\operatorname{I}_K(X;Y) = K(X) - K(X|Y).
</math>

Встановлення того, що ця величина є симетричною з точністю до логарифмічного множника (<math>\operatorname{I}_K(X;Y) \approx \operatorname{I}_K(Y;X)</math>), потребує {{нп|Ланцюгове правило для колмогоровської складності|ланцюгового правила для колмогоровскої складності||Chain rule for Kolmogorov complexity}} {{Harvard citation|Li|Vitányi|1997}}. Наближення цієї величини через [[Стиснення даних|стиснення]] може застосовуватися для визначення [[Міра відстані|міри відстані]] для виконання [[Ієрархічна кластеризація|ієрархічного кластерування]] послідовностей без жодного знання про [[Предметна область|предметну область]] цих послідовностей {{Harvard citation|Cilibrasi|Vitányi|2005}}.

=== Лінійна кореляція ===

На відміну від коефіцієнтів кореляції, наприклад, [[Коефіцієнт кореляції Пірсона|коефіцієнту кореляції моменту добутку]], взаємна інформація містить інформацію про всю залежність&nbsp;— лінійну й нелінійну,&nbsp;— а не просто про лінійну залежність, як міри коефіцієнтів кореляції. Тим не менш, у вузькому випадку, в якому спільний розподіл <math>X</math> та <math>Y</math> є [[Багатовимірний нормальний розподіл|двовимірним нормальним розподілом]] (за припущення, зокрема, що обидва відособлені розподіли розподілені нормально), існує точний взаємозв'язок між <math>\operatorname{I}</math> та коефіцієнтом кореляції <math>\rho</math> {{harv|Гельфанд|Яглом|1957}}.

: <math>\operatorname{I} = -\frac{1}{2} \log\left(1 - \rho^2\right)</math>

Наведене вище рівняння може бути виведено для двовимірного нормального розподілу наступним чином:

: <math>\begin{align}
  \begin{pmatrix}
    X_1 \\
    X_2
  \end{pmatrix}  &\sim \mathcal{N} \left( \begin{pmatrix}
    \mu_1 \\
    \mu_2
  \end{pmatrix}, \Sigma \right),\qquad
  \Sigma = \begin{pmatrix}
    \sigma^2_1           & \rho\sigma_1\sigma_2 \\
    \rho\sigma_1\sigma_2 & \sigma^2_2
  \end{pmatrix} \\
       \Eta(X_i) &= \frac{1}{2}\log\left(2\pi e \sigma_i^2\right) = \frac{1}{2} + \frac{1}{2}\log(2\pi) + \log\left(\sigma_i\right), \quad i\in\{1, 2\} \\
  \Eta(X_1, X_2) &= \frac{1}{2}\log\left[(2\pi e)^2|\Sigma|\right] = 1 + \log(2\pi) + \log\left(\sigma_1 \sigma_2\right) + \frac{1}{2}\log\left(1 - \rho^2\right) \\
\end{align}</math>

Отже,

: <math> 
  \operatorname{I}\left(X_1; X_2\right) 
= \Eta\left(X_1\right) + \Eta\left(X_2\right) - \Eta\left(X_1, X_2\right) 
= -\frac{1}{2}\log\left(1 - \rho^2\right)
</math>

=== Для дискретних даних ===

Коли <math>X</math> та <math>Y</math> обмежено перебуванням у дискретному числі станів, то дані спостережень підсумовують до [[Таблиця спряженості|таблиці спряженості]] зі змінною рядків <math>X</math> (або <math>i</math>) та змінною стовпців <math>Y</math> (або <math>j</math>). Взаємна інформація є однією з мір [[Асоційовність (статистика)|асоційовності]] або [[Кореляція|кореляції]] між змінними рядків і стовпців. До інших мір асоційовності належать [[Статистика (математика)|статистики]] [[Критерій узгодженості Пірсона|критерію хі-квадрат Пірсона]], статистики {{нп|G-критерій|''G''-критерію||G-test}} тощо. Фактично, взаємна інформація дорівнює статистиці {{нп|G-критерій|''G''-критерію||G-test}}, поділеній на <math>2N</math>, де <math>N</math> є розміром вибірки.

== Застосування ==
В багатьох застосуваннях потрібно максимізувати взаємну інформацію (тим самим збільшуючи взаємозалежність), що часто рівнозначне мінімізації [[Умовна ентропія|умовної ентропії]]. До прикладів належать:
* У [[Технологія пошукових рушіїв|технології пошукових рушіїв]] взаємну інформацію між фразами та контекстами використовують як ознаку для [[Кластеризація методом к–середніх|кластерування методом ''k''-середніх]] для виявлення семантичних кластерів ([[Поняття|понять]]).<ref name="magerman">[http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.78.4178&rep=rep1&type=pdf Parsing a Natural Language Using Mutual Information Statistics] {{Webarchive|url=https://web.archive.org/web/20140225195245/http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.78.4178&rep=rep1&type=pdf |date=25 лютого 2014 }} by David M. Magerman and Mitchell P. Marcus {{ref-en}}</ref>
* У [[Телекомунікації|телекомунікаціях]] [[пропускна спроможність каналу]] дорівнює взаємній інформації, максимізованій над усіма вхідними розподілами.
* Було запропоновано процедури [[Розрізнювальна модель|розрізнювального навчання]] для [[Прихована марковська модель|прихованих марковських моделей]] на основі критерію {{нпні|Максимальна взаємна інформація|максимальної взаємної інформації||Maximum mutual information}} ({{lang-en|maximum mutual information, MMI}}).
* Передбачування {{нп|Вторинна структура нуклеїнової кислоти|вторинної структури РНК||Nucleic acid secondary structure}} з [[Множинне вирівнювання послідовностей|множинного вирівнювання послідовностей]].
* Передбачування {{нп|Філогенетичне профілювання|філогенетичного профілювання||Phylogenetic profiling}} з попарної присутності або відсутності функціонально пов'язаних [[ген]]ів.
* Взаємну інформацію застосовували в [[Машинне навчання|машинному навчанні]] як критерій для [[обирання ознак]] та перетворень ознак. Її можливо застосовувати для характеризування як доречності, так і надлишковості змінних, як в {{нп|Обирання ознак за мінімальною надлишковістю|обиранні ознак за мінімальною надлишковістю||Minimum redundancy feature selection}}.
* Взаємну інформацію використовують у визначенні подібності двох різних [[Кластерний аналіз|кластерувань]] набору даних. Як така, вона пропонує деякі переваги над традиційним {{нп|індекс Ренда|індексом Ренда|en|Rand_index}}.
* Взаємну інформацію слів часто використовують як функцію значущості для обчислення [[Колокація (лінгвістика)|колокації]] в [[Корпусна лінгвістика|корпусній лінгвістиці]]. Це має додаткову складність в тому, що жоден випадок слова не є випадком для двох різних слів; швидше, рахують випадки, в яких 2 слова трапляються суміжно або в безпосередній близькості; це дещо ускладнює розрахунок, оскільки очікувана ймовірність трапляння одного слова в межах <math>N</math> слів від іншого росте з <math>N</math>.
* Взаємну інформацію застосовують у [[Медична візуалізація|медичній візуалізації]] для [[Реєстрація зображень|зіставлення зображень]]. Для заданого еталонного зображення (наприклад, результату сканування мозку) та другого зображення, яке потрібно покласти до тієї ж [[Система координат|системи координат]], що й еталонне зображення, це зображення деформується доти, доки взаємну інформацію між ним та еталонним зображенням не буде максимізовано.
* Виявляння [[Синхронізація коливань|фазової синхронізації]] в аналізі [[Часовий ряд|часових рядів]].
* Метод {{нп|інфомакс|||Infomax}} для [[Штучна нейронна мережа|нейронних мереж]] та іншого машинного навчання, включно з алгоритмом {{нп|Метод незалежних компонент|методу незалежних компонент||Independent component analysis}} на основі інфомаксу.
* В {{нп|Теорема про вкладення із затримками|теоремі про вкладення із затримками||Delay embedding theorem}} усереднену взаємну інформацію використовують для визначення параметру ''вкладальної затримки''.
* Взаємну інформацію між [[ген]]ами в даних {{нп|Microarray|експресійних мікрочипів|en|Microarray}} використовує алгоритм {{нпні|ARACNE}} для відбудови [[Генна регуляторна мережа|генних мереж]].
* В термінах взаємної інформації може бути виражено {{нп|парадокс Лошмідта|||Loschmidt's paradox}} у [[Статистична механіка|статистичній механіці]].<ref name="everett56">Hugh Everett [http://www.pbs.org/wgbh/nova/manyworlds/pdf/dissertation.pdf Theory of the Universal Wavefunction] {{Webarchive|url=https://web.archive.org/web/20121016151021/http://www.pbs.org/wgbh/nova/manyworlds/pdf/dissertation.pdf |date=16 жовтня 2012 }}, Thesis, Princeton University, (1956, 1973), pp 1–140 (page 30) {{ref-en}}</ref><ref name="everett57">{{Cite document|last1=Everett|first1=Hugh|authorlink=Х'ю Еверетт|year=1957|title=Relative State Formulation of Quantum Mechanics|url=http://www.univer.omsk.su/omsk/Sci/Everett/paper1957.html|journal=Reviews of Modern Physics|volume=29|issue=|pages=454–462|doi=10.1103/revmodphys.29.454|bibcode=1957RvMP...29..454E|accessdate=28 червня 2016|archiveurl=https://web.archive.org/web/20111027191052/http://www.univer.omsk.su/omsk/Sci/Everett/paper1957.html|archivedate=27 жовтня 2011|deadurl=yes}} {{ref-en}}</ref> [[Йоганн Йозеф Лошмідт|Лошмідт]] зазначив, що може бути неможливим визначити фізичний закон, позбавлений [[Зворотність|зворотності]] (наприклад, [[другий закон термодинаміки]]), лише з таких фізичних законів, які цю зворотність мають. Він вказав, що в {{нп|Η-теорема|Η-теоремі||H-theorem}} [[Людвіг Больцман|Больцмана]] було зроблено припущення, що швидкості частинок в газі були постійно некорельованими, що усунуло природну зворотність в ній. Може бути показано, що якщо систему описано [[Густина ймовірності|густиною ймовірності]] у [[Фазовий простір|фазовому просторі]], то з [[Теорема Ліувілля про збереження фазового об'єму|теореми Ліувілля]] випливає, що спільна інформація (від'ємна спільна ентропія) розподілу залишається сталою в часі. Спільна інформація дорівнює взаємній інформації плюс сума всіх відособлених інформацій (від'ємних відособлених ентропій) для координат кожної з частинок. Припущення Больцмана рівнозначне ігноруванню взаємної інформації в обчисленні ентропії, що дає в результаті [[Ентропія|термодинамічну ентропію]] (ділену на [[Стала Больцмана|сталу Больцмана]]).
* Взаємну інформацію використовують для навчання структури [[Баєсова мережа|баєсових мереж]]/[[Динамічна баєсова мережа|динамічних баєсових мереж]], що, як вважають, пояснюють причинно-наслідковий зв'язок між випадковими змінними, прикладом чого може слугувати інструментарій GlobalMIT:<ref>{{Google Code|globalmit|GlobalMIT}}</ref> навчання глобально оптимальної динамічної баєсової мережі з критерієм взаємної інформації ({{lang-en|Mutual Information Test, MIT}}).
* Популярна функція витрат у [[Дерева рішень у машинному навчанні|навчанні дерев рішень]].
* Взаємну інформацію використовують у космології, щоби перевіряти вплив великомасштабних середовищ на властивості галактик у [[Galaxy Zoo]].
* Взаємну інформацію використовували в [[Фізика Сонця|фізиці Сонця]] для виведення сонячного диференціального ротора, карти відхилень часу руху сонячних плям, часово-відстаннєвої діаграми з вимірювань спокійного Сонця<ref>{{cite journal|last1=Keys|first1=Dustin|last2=Kholikov|first2=Shukur|last3=Pevtsov|first3=Alexei A.|title=Application of Mutual Information Methods in Time Distance Helioseismology|journal=Solar Physics|date=February 2015|volume=290|issue=3|pages=659–671|doi=10.1007/s11207-015-0650-y|arxiv=1501.05597|bibcode=2015SoPh..290..659K}} {{ref-en}}</ref>

== Див. також ==
* [[Поточкова взаємна інформація]]
* {{нп|Квантова взаємна інформація|||Quantum mutual information}}

== Примітки ==

{{Примітки}}

== Джерела ==
* {{Cite document|last1=Cilibrasi|first1=R.|first2=Paul|last2=Vitányi|title=Clustering by compression|journal=IEEE Transactions on Information Theory|volume=51|issue=4|pages=1523–1545|year=2005|url=http://www.cwi.nl/~paulv/papers/cluster.pdf|format=[[PDF]]|doi=10.1109/TIT.2005.844059|ref=harv}} {{ref-en}}
* {{Cite book|last1=Cronbach|first1=L. J.|year=1954|chapter=On the non-rational application of information measures in psychology|editor1-first=Henry|editor1-last=Quastler|editor1-link=Генрі Куостлер|title=Information Theory in Psychology: Problems and Methods|url=https://archive.org/details/informationtheor0000henr|publisher=Free Press|place=Glencoe, Illinois|pages=[https://archive.org/details/informationtheor0000henr/page/n29 14]–30|ref=harv}} {{ref-en}}
* {{Cite book|title=Mathematical Psychology: An Elementary Introduction|year=1970|publisher=Prentice-Hall|location=Englewood Cliffs, New Jersey|last1=Coombs|first1=C. H.|last2=Dawes|first2=R. M.|last3=Tversky|first3=A.|ref=harv}} {{ref-en}}
* {{Cite document|first1=Kenneth Ward|last1=Church|first2=Patrick|last2=Hanks|title=Word association norms, mutual information, and lexicography|journal=Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics|year=1989|url=http://dl.acm.org/citation.cfm?id=89095|accessdate=16 грудня 2018|archive-date=2 грудня 2018|archive-url=https://web.archive.org/web/20181202013450/https://dl.acm.org/citation.cfm?id=89095}} {{ref-en}}
* {{Cite document|first1=И.&nbsp;М.|last1=Гельфанд|first2=А.&nbsp;М.|last2=Яглом|year=1957|title=О вычислении количества информации о случайной функции, содержащейся в другой такой функции|journal=Успехи математических наук|volume=12|issue=1(73)|pages=3–52|url=http://www.mathnet.ru/php/getFT.phtml?jrnid=rm&paperid=7522&what=fullt&option_lang=rus|ref=harv}} {{ref-ru}}
* {{Cite book|title=Information Theory with Applications|url=https://archive.org/details/informationtheor0000guia|year=1977|publisher=McGraw-Hill, New York|isbn=978-0-07-025109-0|last=Guiasu|first=Silviu|ref=harv}} {{ref-en}}
* {{Cite book|title=An introduction to Kolmogorov complexity and its applications|last1=Li|first1=Ming|date=February 1997|publisher=[[Springer-Verlag]]|location=New York|isbn=0-387-94868-6|first2=Paul|last2=Vitányi|ref=harv}} {{ref-en}}
* {{Cite document|last1=Lockhead|first1=G. R.|year=1970|title=Identification and the form of multidimensional discrimination space|url=https://archive.org/details/sim_journal-of-experimental-psychology_1970-07_85_1/page/1|journal=Journal of Experimental Psychology|volume=85|issue=1|pages=1–10|doi=10.1037/h0029508|pmid=5458322|ref=harv}} {{ref-en}}
* David J. C. MacKay. ''[http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms] {{Webarchive|url=https://web.archive.org/web/20160217105359/http://www.inference.phy.cam.ac.uk/mackay/itila/book.html |date=17 лютого 2016 }}'' Cambridge: Cambridge University Press, 2003. {{isbn|0-521-64298-1}} (available free online) {{ref-en}}
* {{Cite document|last1=Haghighat|first1=M. B. A.|last2=Aghagolzadeh|first2=A.|last3=Seyedarabi|first3=H.|year=2011|title=A non-reference image fusion metric based on mutual information of image features|url=|journal=Computers & Electrical Engineering|volume=37|issue=5|pages=744–756|doi=10.1016/j.compeleceng.2011.07.012}} {{ref-en}}
* Athanasios Papoulis. ''Probability, Random Variables, and Stochastic Processes'', second edition. New York: McGraw-Hill, 1984. ''(See Chapter 15.)'' {{ref-en}}
* {{Cite book|url=http://www.cs.waikato.ac.nz/~ml/weka/book.html|title=Data Mining: Practical Machine Learning Tools and Techniques|year=2005|publisher=Morgan Kaufmann, Amsterdam|isbn=978-0-12-374856-0|last1=Witten|first1=Ian H.|last2=Frank|first2=Eibe|lastauthoramp=yes|ref=harv|accessdate=28 червня 2016|archive-date=27 листопада 2020|archive-url=https://web.archive.org/web/20201127014857/https://www.cs.waikato.ac.nz/~ml/weka/book.html}} {{ref-en}}
* {{Cite document|author=Peng, H.C., Long, F., and Ding, C.|title=Feature selection based on mutual information: criteria of max-dependency, max-relevance, and min-redundancy|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|volume=27|issue=8|pages=1226–1238|year=2005|url=http://research.janelia.org/peng/proj/mRMR/index.htm|doi=10.1109/tpami.2005.159|pmid=16119262|accessdate=28 червня 2016|archive-date=22 травня 2009|archive-url=https://web.archive.org/web/20090522065535/http://research.janelia.org/peng/proj/mRMR/index.htm}} CS1 maint: Multiple names: authors list (link) {{ref-en}}
* {{Cite document|author1=Andre S. Ribeiro|author2=Stuart A. Kauffman|author3=Jason Lloyd-Price|author4=Bjorn Samuelsson|author5=Joshua Socolar|year=2008|title=Mutual Information in Random Boolean models of regulatory networks|journal=Physical Review E|volume=77|issue=1|arxiv=0707.3642|doi=10.1103/physreve.77.011901|bibcode=2008PhRvE..77a1901R}} {{ref-en}}
* {{Cite document|last1=Wells|first1=W.M. III|last2=Viola|first2=P.|last3=Atsumi|first3=H.|last4=Nakajima|first4=S.|last5=Kikinis|first5=R.|title=Multi-modal volume registration by maximization of mutual information|journal=Medical Image Analysis|volume=1|issue=1|pages=35–51|year=1996|pmid=9873920|doi=10.1016/S1361-8415(01)80004-9|url=http://www.ai.mit.edu/people/sw/papers/mia.pdf|format=[[PDF]]|ref=harv|accessdate=28 червня 2016|archiveurl=https://web.archive.org/web/20080906201633/http://www.ai.mit.edu/people/sw/papers/mia.pdf|archivedate=6 вересня 2008|deadurl=yes}} {{ref-en}}
* {{cite journal | last1 = Pandey | first1 = Biswajit | last2 = Sarkar | first2 = Suman | year = 2017 | title = How much a galaxy knows about its large-scale environment?: An information theoretic perspective | url = | journal = Monthly Notices of the Royal Astronomical Society Letters| volume = 467 | issue = | page = L6 | doi=10.1093/mnrasl/slw250| arxiv = 1611.00283| bibcode = 2017MNRAS.467L...6P}} {{ref-en}}

== Література ==

* Габидулин, Э. М., Пилипчук, Н.&nbsp;И.&nbsp;Лекции по теории информации.&nbsp;— М.: МФТИ, 2007.&nbsp;— 214 с.&nbsp;— ISBN 5-7417-0197-3 {{ref-ru}}

[[Категорія:Теорія інформації]]
[[Категорія:Ентропія й інформація]]