Перегляд вихідного коду сторінки Умовна ентропія

{{Теорія інформації}}
[[Файл:Entropy-mutual-information-relative-entropy-relation-diagram.svg|праворуч|міні|256x256пкс|[[Діаграма Венна]], що показує адитивні та різницеві відношення серед  різних [[Міри інформації|мір інформації]], пов'язаних із корельованими змінними <math>X</math> та <math>Y</math>. Область, яка міститься в обох колах, є [[Спільна ентропія|спільною ентропією]] <math>\Eta(X,Y)</math>. Коло ліворуч (червоний і фіолетовий) є [[Інформаційна ентропія|особистою ентропією]] <math>\Eta(X)</math>, в якому червоне є [[Умовна ентропія|умовною ентропією]] <math>\Eta(X|Y)</math>. Коло праворуч (синій та фіолетовий) є <math>\Eta(Y)</math>, а синє в ньому є <math>\Eta(Y|X)</math>. Фіолетове є [[Взаємна інформація|взаємною інформацією]] <math>\operatorname{I}(X;Y)</math>.]]

В [[Теорія інформації|теорії інформації]] '''умо́вна ентропі́я''' (або '''ухи́льність''', англ. ''conditional entropy, equivocation'') — це оцінка кількості інформації, необхідної, щоб описати вихід [[Випадкова змінна|випадкової змінної]] <math>Y</math>, враховуючи, що значення іншої випадкової змінної <math>X</math> є відомим. Тут інформація вимірюється в [[Шеннон (одиниця вимірювання)|шеннонах]], [[Нат (одиниця вимірювання)|натах]] або [[Гартлі (одиниця вимірювання)|гартлі]]. ''Ентропія <math>Y</math>, обумовлена <math>X</math>'' записується як <math>\Eta(Y|X)</math>.

== Означення ==

Нехай <math>\Eta(Y|X=x)</math> є [[Інформаційна ентропія|ентропією]] дискретної випадкової змінної <math>Y</math>, обумовленою набуванням дискретною випадковою змінною <math>X</math> певного значення <math>x</math>. Нехай <math>Y</math> має [[Функція маси імовірності|функцію маси ймовірності]] <math>p_Y{(y)}</math>. Безумовна ентропія <math>Y</math> обчислюється як <math>\Eta(Y) := \mathbb{E}[\operatorname{I}(Y)]</math>, тобто,

: <math> \Eta(Y) = \sum_{i=1}^n {\mathrm{Pr}(Y=y_i)\,\mathrm{I}(y_i)} 
= -\sum_{i=1}^n {p_Y(y_i) \log_2{p_Y(y_i)}},</math>

де <math>\operatorname{I}(y_i)</math> є [[Інформаційний вміст|інформаційним вмістом]] набування {{нп|Результат (імовірність)|результатом||Outcome (probability)}} <math>Y</math> значення <math>y_i</math>. Ентропію <math>Y</math>, обумовлену набуванням випадковою змінною <math>X</math> значення <math>x</math>, визначено аналогічно до [[Умовне математичне сподівання|умовного математичного сподівання]]:

: <math>\Eta(Y|X=x) = \mathbb{E}[\operatorname{I}(Y)|X=x]
= -\sum_{i=1}^n {\Pr(Y = y_i|X=x) \log_2{\Pr(Y = y_i|X=x)}}. </math>

<math>\Eta(Y|X)</math> є результатом усереднювання <math>\Eta(Y|X=x)</math> над усіма можливими значеннями <math>x</math>, що їх може набувати <math>X</math>.

Для заданих [[Дискретна випадкова змінна|дискретних випадкових змінних]] <math>X</math> з [[Носій функції|носієм]] <math>\mathcal X</math> та <math>Y</math> з носієм <math>\mathcal Y</math> умовну ентропію <math>Y</math> відносно <math>X</math> визначають як зважену суму <math>\Eta(Y|X=x)</math> для кожного з можливих значень <math>x</math> із застосуванням <math>p(x)</math> як вагових коефіцієнтів:<ref name=cover1991>{{cite book|isbn=0-471-06259-6|year=1991|authorlink1=Томас Ковер|author1=T. Cover|author2=J. Thomas|title=Elements of Information Theory|url=https://archive.org/details/elementsofinform0000cove|url-access=registration}} {{ref-en}}</ref>{{rp|15}}

: <math>
\begin{align}
\Eta(Y|X)\ &\equiv \sum_{x\in\mathcal X}\,p(x)\,\Eta(Y|X=x)\\
& =-\sum_{x\in\mathcal X} p(x)\sum_{y\in\mathcal Y}\,p(y|x)\,\log\, p(y|x)\\
& =-\sum_{x\in\mathcal X}\sum_{y\in\mathcal Y}\,p(x,y)\,\log\,p(y|x)\\
& =-\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log\,p(y|x)\\
& =-\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log \frac {p(x,y)} {p(x)}. \\
& = \sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log \frac {p(x)} {p(x,y)}. \\
\end{align}
</math>

<!-- Цей параграф є невірним; останній рядок не є КЛ-відстанню між будь-якими двома розподілами, оскільки p(x) [в загальному випадку] не є допустимим розподілом над областями визначення X та Y. Остання формула вище є [[Відстань Кульбака — Лейблера|відстанню Кульбака — Лейблера]], відомою також як відносна ентропія. Відносна ентропія завжди є додатною, і зникає тоді й лише тоді, коли <math>p(x,y) = p(x)</math>. Це відбувається тоді, коли знання <math>x</math> говорить нам все про <math>y</math>.  ДОДАНО: Чи не може цей коментар бути неактуальним, оскільки КЛ-відстань вище не згадується? Листопад 2014 -->
''Примітка:'' Зрозуміло, що вирази <math>0 \log 0</math> та <math>0 \log c/0</math> для фіксованих <math>c > 0</math> слід вважати рівними нулеві. <!-- оскільки p(x,y) все ще може дорівнювати 0, навіть якщо p(x) != 0 і p(y) != 0. Що стосовно p(x,y)=p(x)=0? -->

== Властивості ==

=== Нульова умовна ентропія ===

<math>\Eta(Y|X)=0</math> якщо і лише якщо значення <math>Y</math> повністю визначається значенням <math>X</math>.

=== Умовна ентропія незалежних випадкових змінних ===

І навпаки, <math>\Eta(Y|X) = \Eta(Y)</math> якщо і лише якщо <math>Y</math> та <math>X</math> є [[Незалежність (теорія ймовірностей)|незалежними випадковими змінними]].

=== Ланцюгове правило ===

Припустімо, що об'єднана система, яку визначають дві випадкові змінні <math>X</math> та <math>Y</math>, має [[Спільна ентропія|спільну ентропію]] <math>\Eta(X,Y)</math>, тобто, нам потрібно в середньому <math>\Eta(X,Y)</math> біт інформації, щоби описати її точний стан. Тепер, якщо ми спочатку дізналися значення <math>X</math>, ми отримали <math>\Eta(X)</math> біт інформації. Щойно <math>X</math> стало відомим, нам потрібно лише <math>\Eta(X,Y)-\Eta(X)</math> біт, щоб описати стан системи в цілому. Ця величина в точності дорівнює <math>\Eta(Y|X)</math>, що дає нам ''ланцюгове правило'' умовної ентропії:

: <math>\Eta(Y|X)\, = \, \Eta(X,Y)- \Eta(X).</math><ref name=cover1991 />{{rp|17}}

Ланцюгове правило випливає з вищенаведеного означення умовної ентропії:

: <math>\begin{align} 
\Eta(Y|X) &= \sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log \left(\frac{p(x)}{p(x,y)} \right) \\[4pt]
 &= -\sum_{x\in\mathcal X, y\in\mathcal Y}p(x,y)\log (p(x,y)) + \sum_{x\in\mathcal X, y\in\mathcal Y}{p(x,y)\log(p(x))} \\[4pt]
 & = \Eta(X,Y) + \sum_{x \in \mathcal X} p(x)\log (p(x) ) \\[4pt]
 & = \Eta(X,Y) - \Eta(X). 
\end{align}</math>

В загальному випадку ланцюгове правило для декількох випадкових змінних стверджує, що

: <math> \Eta(X_1,X_2,\ldots,X_n) =
 \sum_{i=1}^n \Eta(X_i | X_1, \ldots, X_{i-1}) </math><ref name=cover1991 />{{rp|22}}

Воно має вигляд, подібний до [[Ланцюгове правило (теорія ймовірності)|ланцюгового правила]] в теорії ймовірностей, за винятком того, що замість множення використовується додавання.

=== Правило Баєса ===

[[Правило Баєса]] для умовної ентропії стверджує, що

: <math>\Eta(Y|X) \,=\, \Eta(X|Y) - \Eta(X) + \Eta(Y).</math>

''Доведення.'' <math>\Eta(Y|X) = \Eta(X,Y) - \Eta(X)</math> і <math>\Eta(X|Y) = \Eta(Y,X) - \Eta(Y)</math>. Через симетрію, <math>\Eta(X,Y) = \Eta(Y,X)</math>. Віднімання цих двох рівнянь має наслідком правило Баєса.

Якщо <math>Y</math> є {{нп|Умовна незалежність|умовно незалежною||Conditional independence}} від <math>Z</math> за заданої <math>X</math>, то ми маємо

: <math>\Eta(Y|X,Z) \,=\, \Eta(Y|X).</math>

=== Інші властивості ===

Для будь-яких <math>X</math> та <math>Y</math>

: <math>\begin{align}
  \Eta(Y|X) &\le \Eta(Y) \, \\
  \Eta(X,Y) &= \Eta(X|Y) + \Eta(Y|X) + \operatorname{I}(X;Y),\qquad \\
  \Eta(X,Y) &= \Eta(X) + \Eta(Y) - \operatorname{I}(X;Y),\, \\
  \operatorname{I}(X;Y) &\le \Eta(X),\,
\end{align}</math>

де <math>\operatorname{I}(X;Y)</math> є [[Взаємна інформація|взаємною інформацією]] <math>X</math> та <math>Y</math>.

Для незалежних <math>X</math> та <math>Y</math>

: <math>\Eta(Y|X) = \Eta(Y) </math> та <math>\Eta(X|Y) = \Eta(X) \, </math>

Хоча конкретно-умовна ентропія <math>\Eta(X|Y=y)</math> і може бути або меншою, або більшою за <math>\Eta(X)</math> для заданої {{нп|Випадкова варіата|випадкової варіати||Random variate}} <math>y</math> змінної <math>Y</math>, але <math>\Eta(X|Y)</math> ніколи не може перевищувати <math>\Eta(X)</math>.

== Умовна диференціальна ентропія ==
{{Див. також|Теорія інформації}}
=== Означення ===

Наведене вище означення є для дискретних випадкових змінних, але в випадку неперервних випадкових змінних воно чинним не є. Неперервну версію дискретної умовної ентропії називають ''умовною диференціальною (або неперервною) ентропією'' ({{lang-en|conditional differential (continuous) entropy}}). Нехай <math>X</math> та <math>Y</math> є неперервними випадковими змінними з {{нп|Функція густини спільної ймовірності|функцією густини спільної ймовірності||Joint probability density function}}<!-- Проблема вікіфікації: Сторінка [[:en:Joint probability density function]] (→ [[:en:Probability density function#Densities associated with multiple variables]]) перекладена як [[Густина ймовірності]], хоча хотіли [[Функція густини спільної ймовірності]] (SashkoR0B0T)--> <math>f(x,y)</math>. Диференціальну умовну ентропію <math>h(X|Y)</math> означують як

: <math>h(X|Y) = -\int_{\mathcal X, \mathcal Y} f(x,y)\log f(x|y)\,dx dy</math>.<ref name=cover1991 />{{rp|249}}

=== Властивості ===

На противагу до умовної ентропії дискретних випадкових змінних, умовна диференціальна ентропія може бути від'ємною.

Як і в дискретному випадку, для диференціальної ентропії існує ланцюгове правило:

: <math>h(Y|X)\,=\,h(X,Y)-h(X)</math><ref name=cover1991 />{{rp|253}}

Зауважте, проте, що це правило може не виконуватися, якщо залучені диференціальні ентропії не існують, або є нескінченними.

Спільну диференціальну ентропію також використано в означенні [[Взаємна інформація|взаємної інформації]] між неперервними випадковими змінними:

: <math>\operatorname{I}(X,Y)=h(X)-h(X|Y)=h(Y)-h(Y|X)</math>

<math>h(X|Y) \le h(X)</math>, з рівністю якщо і лише якщо <math>X</math> та <math>Y</math> є незалежними.<ref name=cover1991 />{{rp|253}}

=== Стосунок до похибки оцінювача ===

Умовна диференціальна ентропія дає нижню межу математичного сподівання квадратичної похибки [[Оцінювач (статистика)|оцінювача]]. Для будь-якої випадкової змінної <math>X</math>, спостереження <math>Y</math> та оцінювача <math>\widehat{X}</math> виконується наступне:<ref name=cover1991 />{{rp|255}}

: <math display="block">\mathbb{E}\left[\bigl(X - \widehat{X}{(Y)}\bigr)^2\right] 
 \ge \frac{1}{2\pi e}e^{2h(X|Y)}</math>

Це стосується [[Принцип невизначеності|принципу невизначеності]] в [[Квантова механіка|квантовій механіці]].

== Узагальнення до квантової теорії ==

У [[Квантова інформація|квантовій теорії інформації]] умовна ентропія узагальнюється до {{нп|Умовна квантова ентропія|умовної квантової ентропії||Conditional quantum entropy}}. Остання, на відміну від свого класичного аналога, може набувати від'ємних значень.

== Див. також ==

* [[Інформаційна ентропія]]
* [[Взаємна інформація]]
* {{нп|Умовна квантова ентропія|||Conditional quantum entropy}}
* {{нп|Різновидність інформації|||Variation of information}}
* {{нп|Нерівність ентропійної потужності|||Entropy power inequality}}
* [[Функція правдоподібності]]

== Примітки ==

{{Примітки}}

[[Категорія:Ентропія й інформація]]
[[Категорія:Теорія інформації]]