Умовна ентропія

Діаграма Венна, що показує адитивні та різницеві відношення серед різних мір інформації, пов'язаних із корельованими змінними $X$ та $Y$. Область, яка міститься в обох колах, є спільною ентропією $\mathrm{H}(X,Y)$. Коло ліворуч (червоний і фіолетовий) є особистою ентропією $\mathrm{H}(X)$, в якому червоне є умовною ентропією $\mathrm{H}(X|Y)$. Коло праворуч (синій та фіолетовий) є $\mathrm{H}(Y)$, а синє в ньому є $\mathrm{H}(Y|X)$. Фіолетове є взаємною інформацією $\mathrm{I}(X;Y)$.

В теорії інформації умо́вна ентропі́я (або ухи́льність, англ. conditional entropy, equivocation) — це оцінка кількості інформації, необхідної, щоб описати вихід випадкової змінної $Y$, враховуючи, що значення іншої випадкової змінної $X$ є відомим. Тут інформація вимірюється в шеннонах, натах або гартлі. Ентропія $Y$, обумовлена $X$ записується як $\mathrm{H}(Y|X)$.

Означення

Нехай $\mathrm{H}(Y|X=x)$ є ентропією дискретної випадкової змінної $Y$, обумовленою набуванням дискретною випадковою змінною $X$ певного значення $x$. Нехай $Y$ має функцію маси ймовірності $p_Y(y)$. Безумовна ентропія $Y$ обчислюється як $\mathrm{H}(Y):=𝔼[\mathrm{I}(Y)]$, тобто,

$\mathrm{H}(Y)=\sum _{i=1}^n\mathrm{P}\mathrm{r}(Y=y_i)\mathrm{I}(y_i)=-\sum _{i=1}^n{p}_Y(y_i){\log }_2{p}_Y(y_i),$

де $\mathrm{I}(y_i)$ є інформаційним вмістом набування Шаблон:Нп $Y$ значення $y_i$. Ентропію $Y$, обумовлену набуванням випадковою змінною $X$ значення $x$, визначено аналогічно до умовного математичного сподівання:

$\mathrm{H}(Y|X=x)=𝔼[\mathrm{I}(Y)|X=x]=-\sum _{i=1}^n\mathrm{Pr}(Y=y_i|X=x){\log }_2\mathrm{Pr}(Y=y_i|X=x).$

$\mathrm{H}(Y|X)$ є результатом усереднювання $\mathrm{H}(Y|X=x)$ над усіма можливими значеннями $x$, що їх може набувати $X$.

Для заданих дискретних випадкових змінних $X$ з носієм $𝒳$ та $Y$ з носієм $𝒴$ умовну ентропію $Y$ відносно $X$ визначають як зважену суму $\mathrm{H}(Y|X=x)$ для кожного з можливих значень $x$ із застосуванням $p(x)$ як вагових коефіцієнтів:Шаблон:Rp

$\begin{array}{cc}\mathrm{H}(Y|X)& \equiv \sum _{x\in 𝒳}p(x)\mathrm{H}(Y|X=x)\\ & =-\sum _{x\in 𝒳}p(x)\sum _{y\in 𝒴}p(y|x)\log p(y|x)\\ & =-\sum _{x\in 𝒳}\sum _{y\in 𝒴}p(x,y)\log p(y|x)\\ & =-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log p(y|x)\\ & =-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log \frac{p(x,y)}{p(x)}.\\ & =\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log \frac{p(x)}{p(x,y)}.\\ \end{array}$

Примітка: Зрозуміло, що вирази $0\log 0$ та $0\log c/0$ для фіксованих $c>0$ слід вважати рівними нулеві.

Властивості

Нульова умовна ентропія

$\mathrm{H}(Y|X)=0$ якщо і лише якщо значення $Y$ повністю визначається значенням $X$.

Умовна ентропія незалежних випадкових змінних

І навпаки, $\mathrm{H}(Y|X)=\mathrm{H}(Y)$ якщо і лише якщо $Y$ та $X$ є незалежними випадковими змінними.

Ланцюгове правило

Припустімо, що об'єднана система, яку визначають дві випадкові змінні $X$ та $Y$, має спільну ентропію $\mathrm{H}(X,Y)$, тобто, нам потрібно в середньому $\mathrm{H}(X,Y)$ біт інформації, щоби описати її точний стан. Тепер, якщо ми спочатку дізналися значення $X$, ми отримали $\mathrm{H}(X)$ біт інформації. Щойно $X$ стало відомим, нам потрібно лише $\mathrm{H}(X,Y)-\mathrm{H}(X)$ біт, щоб описати стан системи в цілому. Ця величина в точності дорівнює $\mathrm{H}(Y|X)$, що дає нам ланцюгове правило умовної ентропії:

$\mathrm{H}(Y|X)=\mathrm{H}(X,Y)-\mathrm{H}(X).$Шаблон:Rp

Ланцюгове правило випливає з вищенаведеного означення умовної ентропії:

$\begin{array}{cc}\mathrm{H}(Y|X)& =\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log \left(\frac{p(x)}{p(x,y)}\right)\\ & =-\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log (p(x,y))+\sum _{x\in 𝒳,y\in 𝒴}p(x,y)\log (p(x))\\ & =\mathrm{H}(X,Y)+\sum _{x\in 𝒳}p(x)\log (p(x))\\ & =\mathrm{H}(X,Y)-\mathrm{H}(X).\end{array}$

В загальному випадку ланцюгове правило для декількох випадкових змінних стверджує, що

$\mathrm{H}(X_1,X_2,\dots ,X_n)=\sum _{i=1}^n\mathrm{H}(X_i|X_1,\dots ,X_{i-1})$Шаблон:Rp

Воно має вигляд, подібний до ланцюгового правила в теорії ймовірностей, за винятком того, що замість множення використовується додавання.

Правило Баєса

Правило Баєса для умовної ентропії стверджує, що

$\mathrm{H}(Y|X)=\mathrm{H}(X|Y)-\mathrm{H}(X)+\mathrm{H}(Y).$

Доведення. $\mathrm{H}(Y|X)=\mathrm{H}(X,Y)-\mathrm{H}(X)$ і $\mathrm{H}(X|Y)=\mathrm{H}(Y,X)-\mathrm{H}(Y)$. Через симетрію, $\mathrm{H}(X,Y)=\mathrm{H}(Y,X)$. Віднімання цих двох рівнянь має наслідком правило Баєса.

Якщо $Y$ є Шаблон:Нп від $Z$ за заданої $X$, то ми маємо

$\mathrm{H}(Y|X,Z)=\mathrm{H}(Y|X).$

Інші властивості

Для будь-яких $X$ та $Y$

$\begin{array}{cc}\mathrm{H}(Y|X)& \le \mathrm{H}(Y)\\ \mathrm{H}(X,Y)& =\mathrm{H}(X|Y)+\mathrm{H}(Y|X)+\mathrm{I}(X;Y),\\ \mathrm{H}(X,Y)& =\mathrm{H}(X)+\mathrm{H}(Y)-\mathrm{I}(X;Y),\\ \mathrm{I}(X;Y)& \le \mathrm{H}(X),\end{array}$

де $\mathrm{I}(X;Y)$ є взаємною інформацією $X$ та $Y$.

Для незалежних $X$ та $Y$

$\mathrm{H}(Y|X)=\mathrm{H}(Y)$ та $\mathrm{H}(X|Y)=\mathrm{H}(X)$

Хоча конкретно-умовна ентропія $\mathrm{H}(X|Y=y)$ і може бути або меншою, або більшою за $\mathrm{H}(X)$ для заданої Шаблон:Нп $y$ змінної $Y$, але $\mathrm{H}(X|Y)$ ніколи не може перевищувати $\mathrm{H}(X)$.

Умовна диференціальна ентропія

Означення

Наведене вище означення є для дискретних випадкових змінних, але в випадку неперервних випадкових змінних воно чинним не є. Неперервну версію дискретної умовної ентропії називають умовною диференціальною (або неперервною) ентропією (Шаблон:Lang-en). Нехай $X$ та $Y$ є неперервними випадковими змінними з Шаблон:Нп $f(x,y)$. Диференціальну умовну ентропію $h(X|Y)$ означують як

$h(X|Y)=-\underset{𝒳,𝒴}{\int }f(x,y)\log f(x|y)dxdy$.Шаблон:Rp

Властивості

На противагу до умовної ентропії дискретних випадкових змінних, умовна диференціальна ентропія може бути від'ємною.

Як і в дискретному випадку, для диференціальної ентропії існує ланцюгове правило:

$h(Y|X)=h(X,Y)-h(X)$Шаблон:Rp

Зауважте, проте, що це правило може не виконуватися, якщо залучені диференціальні ентропії не існують, або є нескінченними.

Спільну диференціальну ентропію також використано в означенні взаємної інформації між неперервними випадковими змінними:

$\mathrm{I}(X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)$

$h(X|Y)\le h(X)$, з рівністю якщо і лише якщо $X$ та $Y$ є незалежними.Шаблон:Rp

Стосунок до похибки оцінювача

Умовна диференціальна ентропія дає нижню межу математичного сподівання квадратичної похибки оцінювача. Для будь-якої випадкової змінної $X$, спостереження $Y$ та оцінювача $\hat{X}$ виконується наступне:Шаблон:Rp

$$𝔼\left[\right(X-\hat{X}(Y){)}^2]\ge \frac{1}{2\pi e}{e}^{2h(X|Y)}$$

Це стосується принципу невизначеності в квантовій механіці.

Узагальнення до квантової теорії

У квантовій теорії інформації умовна ентропія узагальнюється до Шаблон:Нп. Остання, на відміну від свого класичного аналога, може набувати від'ємних значень.

Див. також

• Інформаційна ентропія
• Взаємна інформація
• Шаблон:Нп
• Шаблон:Нп
• Шаблон:Нп
• Функція правдоподібності