Спільна ентропія

Діаграма Венна різних мір інформації, пов'язаних із корельованими величинами X та Y. Область, яка міститься в обох колах, є спільною ентропією Η(X,Y). Коло ліворуч (червоний і фіолетовий) є особистою ентропією Η(X), в якому червоне є умовною ентропією Η(X|Y). Коло праворуч (синій та фіолетовий) є Η(Y), а синє в ньому є Η(Y|X). Фіолетове є взаємною інформацією I(X;Y).

У теорії інформації спі́льна ентропі́я — це міра невизначеності, пов'язана з набором змінних.

Визначення

Спільна ентропія Шеннона (в бітах) двох змінних $X$ та $Y$ визначається як

$H(X,Y)=-\sum _x\sum _{y}P(x,y){\log }_2[P(x,y)]$

де $x$ та $y$ є конкретними значеннями $X$ та $Y$ відповідно, $P(x,y)$ є спільною ймовірністю трапляння цих значень разом, а $P(x,y){\log }_2[P(x,y)]$ визначається як 0, якщо $P(x,y)=0$.

Для понад двох змінних $X_1,...,X_n$ це визначення розширюється до

$H(X_1,...,X_n)=-\sum _{x_1}...\sum _{x_n}P(x_1,...,x_n){\log }_2[P(x_1,...,x_n)]$

де $x_1,...,x_n$ є конкретними значеннями $X_1,...,X_n$ відповідно, $P(x_1,...,x_n)$ є ймовірністю трапляння цих значень разом, а $P(x_1,...,x_n){\log }_2[P(x_1,...,x_n)]$ визначається як 0, якщо $P(x_1,...,x_n)=0$.

Властивості

Більша за окремі ентропії

Спільна ентропія набору змінних є більшою за всі окремі ентропії змінних цього набору, або дорівнює їм.

$H(X,Y)\ge \max [H(X),H(Y)]$

$H(X_1,...,X_n)\ge \max [H(X_1),...,H(X_n)]$

Менша або дорівнює сумі окремих ентропій

Спільна ентропія набору змінних є меншою за суму окремих ентропій змінних цього набору, або дорівнює їй. Це є прикладом Шаблон:Нп. Ця нерівність є рівністю, якщо і лише якщо $X$ та $Y$ є статистично незалежними.

$H(X,Y)\le H(X)+H(Y)$

$H(X_1,...,X_n)\le H(X_1)+...+H(X_n)$

Відношення до інших мір ентропії

Спільна ентропія використовується у визначенні умовної ентропії

$H(X|Y)=H(Y,X)-H(Y)$,

і

$H(X_1,\dots ,X_n)=\sum _{k=1}^{N}H(X_k|X_{k-1},\dots ,X_1)$

Вона також використовується у визначенні взаємної інформації

$I(X;Y)=H(X)+H(Y)-H(X,Y)$

У квантовій теорії інформації спільна ентропія узагальнюється до Шаблон:Нп.

Джерела

• Шаблон:Cite book Шаблон:Ref-en