Кількості інформації

Проста Шаблон:Нп, що показує адитивні та різницеві відношення серед шеннонових базових кількостей інформації для корельованих змінних $X$ та $Y$. Область, яка міститься в обох колах, є спільною ентропією $\mathrm{H}(X,Y)$. Коло ліворуч (червоний і фіолетовий) є особистою ентропією $\mathrm{H}(X)$, в якому червоне є умовною ентропією $\mathrm{H}(X|Y)$. Коло праворуч (синій та фіолетовий) є $\mathrm{H}(Y)$, а синє в ньому є $\mathrm{H}(Y|X)$. Фіолетове є взаємною інформацією $\mathrm{I}(X;Y)$.

Математична теорія інформації ґрунтується на теорії ймовірності й статистиці, і вимірює інформацію за допомогою декількох кількостей інформації (Шаблон:Lang-en). Застосовувану в наступних формулах одиницю інформаційної ентропії визначає вибір логарифмічної основи. Найзвичнішою одиницею інформації є біт, що ґрунтується на двійковому логарифмі. До інших одиниць належать нат, що ґрунтується на натуральному логарифмі, та гартлі, що ґрунтується на десятковому логарифмі.

Надалі вираз вигляду $p\log p$, коли $p$ є нулем, вважається за згодою рівним нулеві. Це є виправданим, оскільки для будь-якої логарифмічної основи $\underset{p\to 0+}{\lim }p\log p=0$.

Власна інформація

Шеннон вивів міру інформаційного вмісту, названу власною інформацією (Шаблон:Lang-en) або «несподіваністю» (Шаблон:Lang-en) повідомлення $m$:

$\mathrm{I}(m)=\log \left(\frac{1}{p(m)}\right)=-\log (p(m))$

де $p(m)=\mathrm{P}\mathrm{r}(M=m)$ є ймовірністю обрання повідомлення $m$ з усіх можливих варіантів вибору в просторі повідомлень $M$. Основа логарифма впливає лише на коефіцієнт масштабування, і, відтак, на одиниці, в яких виражається вимірюваний інформаційний вміст. Якщо основою логарифма є 2, то міра інформації виражається в одиницях бітів.

Інформація передається з джерела до отримувача лише якщо отримувач цієї інформації ще не мав її заздалегідь. Повідомлення, які передають інформацію, що відбувається напевно, і вже відома отримувачеві, реальної інформації не містять. Повідомлення, що трапляються нечасто, містять більше інформації, ніж повідомлення, які трапляються частіше. Цей факт віддзеркалено в наведеному вище рівнянні — незмінне повідомлення, тобто, з імовірністю 1, має нульову міру інформації. Крім того, складене повідомлення з двох (або більше) не пов'язаних (або взаємно незалежних) повідомлень матиме міру інформації, яка є сумою мір інформації кожного з повідомлень окремо. Цей факт також віддзеркалено в наведеному вище рівнянні, що підтверджує обґрунтованість його виведення.

Приклад. Повідомлення прогнозу погоди: «Прогноз на ніч: Темно. Тривала темрява, аж до широко розсіяного світла вранці.» Це повідомлення майже не містить інформації. Проте прогноз хуртовини безумовно міститиме інформацію, оскільки таке не трапляється щовечора. Величина інформації буде ще більшою в точному прогнозі снігу для теплого місця, такого як Маямі. Величина інформації в прогнозі снігу для місця, де сніг не йде ніколи (неможлива подія), є найвищою (нескінченність).

Ентропія

Ентропія (Шаблон:Lang-en) дискретного простору повідомлень $M$ є мірою величини невизначеності (Шаблон:Lang-en), що ми маємо стосовно того, яке повідомлення буде обрано. Її визначено як усереднену власну інформацію повідомлення $m$ з цього простору повідомлень:

$\mathrm{H}(M)=𝔼[\mathrm{I}(M)]=\sum _{m\in M}p(m)\mathrm{I}(m)=-\sum _{m\in M}p(m)\log p(m).$

де

$𝔼[-]$ позначує операцію математичного сподівання (Шаблон:Lang-en).

Важливою властивістю ентропії є те, що вона є найбільшою, коли всі повідомлення в просторі повідомлень є рівноймовірними (тобто, $p(m)=1/|M|$). В цьому випадку $\mathrm{H}(M)=\log |M|$.

Іноді функцію $\mathrm{H}$ виражають в термінах імовірностей розподілу:

$\mathrm{H}(p_1,p_2,\dots ,p_k)=-\sum _{i=1}^k{p}_i\log p_i,$ де кожна $p_i\ge 0$ та $\sum _{i=1}^k{p}_i=1.$

Важливим особливим випадком цього є Шаблон:Нп:

${\mathrm{H}}_{\text{b}}(p)=\mathrm{H}(p,1-p)=-p\log p-(1-p)\log (1-p).$

Спільна ентропія

Спільну ентропію (Шаблон:Lang-en) двох дискретних випадкових змінних $X$ та $Y$ визначають як ентропію їхнього спільного розподілу:

$\mathrm{H}(X,Y)={𝔼}_{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)$

Якщо $X$ та $Y$ є незалежними, то ця спільна ентропія є просто сумою їхніх окремих ентропій.

(Зауваження: Спільну ентропію не слід плутати з перехресною ентропією, незважаючи на подібний запис.)

Умовна ентропія (ухильність)

За заданого конкретного значення випадкової змінної $Y$ умовну ентропію $X$ за $Y=y$ визначено як

$\mathrm{H}(X|y)={𝔼}_{[X|Y]}[-\log p(x|y)]=-\sum _{x\in X}p(x|y)\log p(x|y)$

де $p(x|y)=\frac{p(x,y)}{p(y)}$ є умовною ймовірністю $x$ за заданого $y$.

Умовну ентропію (Шаблон:Lang-en) $X$ за заданого $Y$, що також називають ухильністю (Шаблон:Lang-en) $X$ від $Y$, задають як

$\mathrm{H}(X|Y)={𝔼}_Y\left[\mathrm{H}(X|y)\right]=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)=\sum _{x,y}p(x,y)\log \frac{p(y)}{p(x,y)}.$

Вона використовує умовне математичне сподівання з теорії імовірності.

Базовою властивістю умовної ентропії є те, що

$\mathrm{H}(X|Y)=\mathrm{H}(X,Y)-\mathrm{H}(Y).$

Відстань Кульбака — Лейблера (приріст інформації)

Відстань Кульбака — Лейблера (або розходження інформації, приріст інформації, або відносна ентропія, Шаблон:Lang-en) є способом порівнювання двох розподілів, «істинного» розподілу ймовірності $p$ та довільного розподілу ймовірності $q$. Якщо ми стискаємо дані таким чином, який передбачає, що $q$ є розподілом, що лежить в основі якихось даних, тоді як насправді правильним розподілом є $p$, то відстань Кульбака — Лейблера є числом усереднених додаткових бітів над рівнем, необхідних для стискання, або, математично,

$D_{\mathrm{K}\mathrm{L}}(p(X)\Vert q(X))=\sum _{x\in X}p(x)\log \frac{p(x)}{q(x)}.$

В якомусь сенсі вона дійсно є «відстанню» від $q$ до $p$, хоча вона й не є справжньою метрикою через те, що вона не є симетричною.

Взаємна (передавана) інформація

Виявляється, що однією з найкорисніших та найважливіших мір інформації є взаємна інформація (Шаблон:Lang-en), або передавана інформація (Шаблон:Lang-en). Вона є мірою того, як багато інформації може бути отримано про одну випадкову змінну шляхом спостерігання іншої. Взаємну інформацію $X$ відносно $Y$ (яка концептуально представляє усереднену величину інформації про $X$, яку можна здобути спостеріганням $Y$) задають як

$\mathrm{I}(X;Y)=\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log \frac{p(x|y)}{p(x)}=\sum _{x,y}p(x,y)\log \frac{p(x,y)}{p(x)p(y)}.$

Основною властивістю взаємної інформації є те, що

$\mathrm{I}(X;Y)=\mathrm{H}(X)-\mathrm{H}(X|Y).$

Тобто, знаючи $Y$, ми можемо заощадити в середньому $\mathrm{I}(X;Y)$ бітів у кодуванні $X$, у порівнянні з незнанням $Y$. Взаємна інформація є симетричною:

$\mathrm{I}(X;Y)=\mathrm{I}(Y;X)=\mathrm{H}(X)+\mathrm{H}(Y)-\mathrm{H}(X,Y).$

Взаємну інформацію можливо виразити як усереднену відстань Кульбака — Лейблера (приріст інформації) апостеріорного розподілу ймовірності $X$ за заданого значення $Y$ відносно апріорного розподілу ймовірності $X$:

$\mathrm{I}(X;Y)={𝔼}_{p(y)}\left[D_{\mathrm{K}\mathrm{L}}\right(p(X|Y=y)\Vert p(X))].$

Іншими словами, вона є мірою того, наскільки в середньому зміниться розподіл ймовірності $X$, якщо ми отримаємо значення $Y$. Обчислюють її часто як розходження між добутком відособлених розподілів та справжнім спільним розподілом:

$\mathrm{I}(X;Y)=D_{\mathrm{K}\mathrm{L}}(p(X,Y)\Vert p(X)p(Y)).$

Взаємна інформація є тісно пов'язаною з перевіркою логарифмічним відношенням правдоподібностей в контексті таблиць спряженості та мультиноміального розподілу, та з критерієм χ² Пірсона: взаємну інформацію можливо розглядати як статистику для оцінювання незалежності в парі змінних, і вона має добре визначений асимптотичний розподіл.

Диференціальна ентропія

Шаблон:Main Основні міри дискретної ентропії було аналогічно розширено на неперервні простори шляхом заміни сум інтегралами, та функцій маси ймовірності функціями густини ймовірності. І хоча в обох випадках взаємна інформація виражає число бітів інформації, спільне для цих двох джерел, ця аналогія не передбачає однакових властивостей: наприклад, диференціальна ентропія може бути від'ємною.

Диференціальні аналоги ентропії, спільної ентропії, умовної ентропії та взаємної інформації визначено таким чином:

$h(X)=-\underset{X}{\int }f(x)\log f(x)dx$

$h(X,Y)=-\underset{Y}{\int }\underset{X}{\int }f(x,y)\log f(x,y)dxdy$

$h(X|y)=-\underset{X}{\int }f(x|y)\log f(x|y)dx$

$h(X|Y)=\underset{Y}{\int }\underset{X}{\int }f(x,y)\log \frac{f(y)}{f(x,y)}dxdy$

$\mathrm{I}(X;Y)=\underset{Y}{\int }\underset{X}{\int }f(x,y)\log \frac{f(x,y)}{f(x)f(y)}dxdy$

де $f(x,y)$ є функцією густини спільного розподілу, $f(x)$ та $f(y)$ є відособленими розподілами, а $f(x|y)$ є умовним розподілом.

Див. також

• Теорія інформації