Диференціальна ентропія

Шаблон:Теорія інформації Диференціальна ентропія (Шаблон:Lang-en, також Шаблон:Lang-en) — функціонал, визначений на множині абсолютно неперервних розподілів імовірностей, формальний аналог поняття інформаційної ентропії Шеннона для випадку неперервної випадкової величини. У теорії інформації функціонал евристично ввів К. ШеннонШаблон:Sfn, однак він не є автором терміна «диференціальна ентропія». Сам термін уведено А. М. Колмогоровим спільно з І. М. Гельфандом і Шаблон:Нп, він підкреслює, що це поняття має інший зміст, ніж ентропія дискретних розподілів. Вони ж отримали строге виведення диференціальної ентропії як першого члена асимптотичного розкладу ентропії, в якому проявляється залежність від розподілу випадкової величиниШаблон:SfnШаблон:SfnШаблон:Sfn. Для неперервної випадкової величини $\xi$, розподіленої на $X\subseteq R^n$ ($n<\mathrm{\infty }$), диференціальна ентропія визначається як

$H(\xi )=-\underset{X}{\int }f\left(x\right)\log f\left(x\right)dx$ ,

де $f\left(x\right)$ — густина розподілу випадкової величини (або сигналу неперервного джерела як випадкової величини). Вибір основи логарифма в цій формулі (яка має бути більшою від 1) визначає одиницю вимірювання відповідної кількості інформації. Так, у теорії інформації часто використовують двійковий логарифм, що відповідає одиниці кількості інформації біт, а функціонал інтерпретується як середня інформація неперервного джерела. У математичній статистиці у визначенні диференціальної ентропії з міркувань зручності зазвичай використовують натуральний логарифм (відповідна одиниця нат), функціонал інтерпретується як міра невизначеності неперервного розподілу.

Диференціальна ентропія не інваріантна відносно перетворень координат випадкової величини і не має самостійного сенсу. Більш того, якщо випадкова величина має розмірність, то функціонал диференціальної ентропії буде некоректним з точки зору розмірності (оскільки під знаком логарифма виявляється розмірна величина). Однак різниця диференціальних ентропій двох випадкових величин, розподілених на одній множині, є коректною, причому безрозмірною величиною і збігається з різницею їхніх ентропій (оскільки ентропія будь-якої неперервної випадкової величини нескінченна, при взятті різниці ентропій потрібно розкрити невизначеність, скориставшись асимптотичним розкладом)Шаблон:SfnШаблон:SfnШаблон:Sfn.

Таким чином, можливість виражати диференціальну ентропію в бітах (або інших одиницях) досить умовна: ситуація тут подібна до вимірювання температури в градусах Цельсія, які, хоча й збігаються за величиною з кельвінами, але не є абсолютною шкалою температури, а мають відносно неї деякий зсув (тому диференціальна ентропія, як і температура за шкалою Цельсія, може бути від'ємною). Відмінність полягає в тому, що у випадку з диференціальною ентропією цей зсув є нескінченним відносно абсолютної шкали, яка визначається значеннями ентропії. Тобто, абсолютну шкалу для ентропії неперервних розподілів обрати неможливо, але за допомогою диференціальної ентропії можна порівнювати ентропії різних розподілів.

У деяких джерелахШаблон:Sfn диференціальну ентропію розподілу інтерпретують як його ентропію відносно ентропії рівномірного розподілу на проміжку одиничної довжини, оскільки останній має рівну нулю диференціальну ентропію. Потрібно зауважити, що такий підхід не зовсім коректний, оскільки ентропія в неперервному випадку залежить від того, яким чином крок дискретизації при розбитті проміжку прямує до нуля. Лише в разі, коли розглядається один і той самий проміжок, можна вважати, що при обчисленні ентропії використовується однакова його дискретизація для кожного з розподілів, тоді різниця ентропій прямує до скінченної границі. У загальному випадку (за довільної дискретизації) різниця ентропій неперервних випадкових величин не прямує до жодної границі.

Умовна диференціальна ентропія

Умовна диференціальна ентропія для величини $X$ при заданій величині $Y$ визначається такою формулою:

$H\left(X|Y=y\right)=-\underset{-\mathrm{\infty }}{\overset{+\mathrm{\infty }}{\int }}{f}_{X|Y}\left(x\right)\log f_{X|Y}\left(x\right)dx$ .

Безумовна і умовна диференціальні ентропії можуть бути як додатними, так і від'ємними величинами, а також можуть дорівнювати нескінченності. Ця обставина також вказує на те, що диференціальна ентропія (умовна і безумовна) має дещо інший сенс, ніж ентропія, яка завжди невід'ємна.

Для диференціальної ентропії виконуються рівності, аналогічні ентропії дискретного джерела:

$H\left(X\right)\ge H\left(X|Y\right)$ (для незалежних джерел — рівність)

$H\left(X,Y\right)=H\left(X\right)+H\left(Y|X\right)=H\left(Y\right)+H\left(X|Y\right)$

Приклади

У наведених нижче прикладах у визначенні диференціальної ентропії використовується натуральний логарифм, ${\sigma }^2$ — дисперсія розподілу.

• Можна показати, що диференціальна ентропія розподілів з обмеженою дисперсією найбільша в разі гауссового розподілу ймовірностей і дорівнює

$H=\frac{1}{2}\ln \left(2\pi {\sigma }^{2}e\right)$ .

• Серед розподілів, заданих на обмеженому проміжку, максимум диференціальної ентропії досягається для рівномірного розподілу і дорівнює

$H=\ln \left(2\sqrt{3}\sigma \right)$ .

• Для розподілу Лапласа

$H=\ln \left(\sqrt{2}\sigma e\right)$ .

Приклади з конкретними одиницями вимірювання

Візьмемо для визначеності біти. Отже основою логарифма буде 2.

• Для рівномірного розподілу від $0$ до $1$:

$f(x)=1$

$H(f)=-\underset{0}{\overset{1}{\int }}dx1{\log }_{2}1=0\mathrm{b}\mathrm{i}\mathrm{t}$

• Для рівномірного розподілу від $0$ до $2$:

$f(x)=\frac{1}{2}$

$H(f)=-\underset{0}{\overset{2}{\int }}dx\frac{1}{2}{\log }_2\frac{1}{2}=1\mathrm{b}\mathrm{i}\mathrm{t}$

• Для рівномірного розподілу від $0$ до $4$ :

$f(x)=\frac{1}{4}$

$H(f)=-\underset{0}{\overset{4}{\int }}dx\frac{1}{4}{\log }_2\frac{1}{4}=2\mathrm{b}\mathrm{i}\mathrm{t}$

Література

• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга
• Шаблон:Книга

Посилання

• Ентропія неперервної випадкової величини та її властивості Шаблон:Webarchive Шаблон:Ref-ru