Ентропія Реньї

У теорії інформації ентропія Реньї — узагальнення ентропії Шеннона — є сімейством функціоналів, використовуваних як міра кількісної різноманітності, невизначеності або випадковості деякої системи. Названо на честь Альфреда Реньї.

Якщо деяка система має дискретну множину доступних станів $X=\{x_1,...,x_n\}$, якій відповідає розподіл імовірностей $p_i$ для $i=1,...,n$ (тобто $p_i$ — ймовірності перебування системи в станах $x_i$), то ентропія Реньї з параметром $\alpha$ (при $\alpha \ge 0$ і $\alpha \ne 1$) системи визначається як

${\mathrm{H}}_{\alpha }(X)=\frac{1}{1-\alpha }\log \sum _{i=1}^n{p}_i^{\alpha }=\frac{1}{1-\alpha }\log ⟨p^{\alpha -1}⟩$ ,

де кутовими дужками позначено математичне очікування за розподілом $p_i$ ($p$ — ймовірність перебування системи в деякому стані як випадкова величина), логарифм береться за основою 2 (для рахунку в бітах) чи іншою зручною основою (більшою від 1). Основа логарифма визначає одиницю вимірювання ентропії. Так, у математичній статистиці зазвичай використовується натуральний логарифм.

Якщо всі ймовірності $p_i=1/n$, тоді за будь-якого $\alpha$ ентропія Реньї ${\mathrm{H}}_{\alpha }(X)=\log n$. Інакше $\alpha$-ентропія спадає як функція $\alpha$. Причому вищі значення $\alpha$ (що прямують до нескінченності) надають ентропії Реньї значення, більшою мірою визначені лише найвищими ймовірностями подій (тобто внесок в ентропію малоймовірних станів зменшується). Проміжний випадок $\alpha =1$ у границі дає ентропію Шеннона, яка має особливі властивості. Нижчі значення $\alpha$ (що прямують до нуля), дають значення ентропії Реньї, яке зважує можливі події рівномірніше, менше залежно від їх імовірностей. А при $\alpha =0$ отримуємо максимально можливу $\alpha$-ентропію, рівну $\log n$ незалежно від розподілу (тільки аби $p_i\ne 0$).

Сенс параметра $\alpha$ можна описати, кажучи неформальною мовою, як сприйнятливість функціоналу до відхилення стану системи від рівноважного: що більше $\alpha$, то швидше зменшується ентропія за відхилення системи від рівноважного стану. Сенс обмеження $\alpha \ge 0$ полягає в тому, щоб забезпечувалося збільшення ентропії за наближення системи до рівноважного (більш імовірного) стану. Ця вимога є природною для поняття «ентропія». Слід зауважити, що для ентропії Цалліса, яка еквівалентна ентропії Реньї з точністю до незалежного від $X$ Шаблон:Нп, відповідне обмеження часто опускають, при цьому для від'ємних значень параметра замість максимізації ентропії використовують її мінімізацію.

Ентропія Реньї відіграє важливу роль в екології і статистиці, визначаючи так звані індекси різноманітності. Ентропія Реньї також важлива в квантовій інформації, її можна використовувати як міру складності. У ланцюжку Гейзенберга $XY$ ентропію Реньї розраховано в термінах модулярних функцій, що залежать від $\alpha$. Вони також призводять до спектру показників фрактальної розмірності.

Η_α для деяких конкретних значень α

Деякі окремі випадки

• при $\alpha =0$ ентропія Реньї не залежить від імовірностей станів (вироджений випадок) і дорівнює логарифму числа станів (логарифму потужності множини $X$):

${\mathrm{H}}_0(X)=\log n=\log |X|$ .

Цю ентропію іноді називають Шаблон:Нп. Вона використовується, наприклад, у формулюванні принципу Больцмана.

• У границі при $\alpha \to 1$, можна показати, використовуючи правило Лопіталя, що ${\mathrm{H}}_{\alpha }$ збігається до ентропії Шеннона. Таким чином, сімейство ентропій Реньї можна довизначити функціоналом

${\mathrm{H}}_1(X)\stackrel{\mathrm{d}\mathrm{f}}{=}\underset{\alpha \to 1}{\lim }{\mathrm{H}}_{\alpha }(X)=\mathrm{H}(X)=-\sum _{i=1}^n{p}_i\log p_i$ .

• Квадратична ентропія, іноді звана ентропією зіткнень, — це ентропія Реньї з параметром $\alpha =2$:

${\mathrm{H}}_2(X)=-\log \sum _{i=1}^n{p}_i^2=-\log \mathrm{Prob}\{x=y\}$ ,

де $x$ і $y$ — незалежні випадкові величини, однаково розподілені на множині $X$ з імовірністю $p_i$ ($i=1,...,n$). Квадратична ентропія використовується у фізиці, обробці сигналів, економіці.

• Існує границя

${\mathrm{H}}_{\mathrm{\infty }}(X)\stackrel{\mathrm{d}\mathrm{f}}{=}\underset{\alpha \to \mathrm{\infty }}{\lim }{\mathrm{H}}_{\alpha }(X)=-\log \underset{i}{\sup }{p}_i$ ,

яку називають Шаблон:Нп, тому що це найменше значення ${\mathrm{H}}_{\alpha }$. Ця ентропія також є виродженим випадком, оскільки її значення визначається тільки найбільш імовірним станом.

Нерівності для різних значень α

Два останніх випадки пов'язані співвідношенням ${\mathrm{H}}_{\mathrm{\infty }}<{\mathrm{H}}_2<2{\mathrm{H}}_{\mathrm{\infty }}$. З іншого боку, ентропія Шеннона ${\mathrm{H}}_1(X)$ може бути як завгодно високою для розподілу X із фіксованою min-ентропією.

${\mathrm{H}}_2<2{\mathrm{H}}_{\mathrm{\infty }}$ тому що $\log \sum _{i=1}^n{p}_i^2\ge \log \underset{i}{\sup }{p}_i^2=2\log \underset{i}{\sup }{p}_i$ .

${\mathrm{H}}_{\mathrm{\infty }}<{\mathrm{H}}_2$, тому що $\log \sum _{i=1}^n{p}_i^2<\log \underset{i}{\sup }{p}_i\left(\sum _{i=1}^n{p}_i\right)=\log \underset{i}{\sup }{p}_i$ .

${\mathrm{H}}_1\ge {\mathrm{H}}_2$ відповідно до нерівності Єнсена $\sum _{i=1}^n{p}_i\log p_i\le \log \sum _{i=1}^n{p}_i^2$ .

Розходження (дивергенції) Реньї

Крім сімейства ентропій, Реньї також визначив спектр мір розходжень (дивергенцій), які узагальнюють розходження Кульбака — Лейблера. Формули цього розділу записано в загальному вигляді — через логарифм за довільною основою. Тому потрібно розуміти, що кожна наведена формула являє собою сімейство еквівалентних функціоналів, визначених з точністю до сталого (додатного) множника.

Розходження Реньї з параметром $\alpha$, де $\alpha >0$ і $\alpha \ne 1$, розподілу $Q$ відносно розподілу $P$ (або «відстань від $P$ до $Q$») визначається як

$D_{\alpha }(P\Vert Q)=\frac{1}{\alpha -1}\log \sum _{i=1}^n{p}_i^{\alpha }{q}_i^{1-\alpha }=\frac{1}{\alpha -1}\log ⟨(p/q{)}^{\alpha -1}::P⟩$

або (формально, без урахування нормування ймовірностей)

$D_{\alpha }(P\Vert Q)=-{\mathrm{H}}_{\alpha }\left(\frac{p}{q^{1-1/\alpha }}\right)$ ,

${\mathrm{H}}_{\alpha }(P)=-{D_{\alpha }(P\Vert Q)|}_{q=1}$.

Як і розходження Кульбака — Лейблера, розходження Реньї є невід'ємним для $\alpha >0$.

Деякі окремі випадки

• При $\alpha =0$ дивергенція Реньї не визначена, однак сімейство дивергенцій можна довизначити елементом

$D_0(P\Vert Q)\stackrel{\mathrm{d}\mathrm{f}}{=}\underset{\alpha \to 0}{\lim }{D}_{\alpha }(P\Vert Q)=-\log \sum _{i=1}^n{q}_i\mathrm{sgn}{p}_i$ : мінус логарифм від суми ймовірностей $q$, таких що відповідні $p>0$.

• $D_{1/2}(P\Vert Q)=-2\log \sum _{i=1}^n\sqrt{p_i{q}_i}$ : відстань Бгаттачар'я (мінус логарифм від коефіцієнта Бгаттачар'я, несуттєвим множником $2$ нехтуємо). Це розходження, з точністю до Шаблон:Нп, еквівалентне Шаблон:Нп та Шаблон:Нп, проте на відміну від них не задовольняє нерівності трикутника, а тому не є метрикою в просторі розподілів.

• $D_1(P\Vert Q)\stackrel{\mathrm{d}\mathrm{f}}{=}\underset{\alpha \to 1}{\lim }{D}_{\alpha }(P\Vert Q)=D_{KL}(P\Vert Q)=\sum _{i=1}^n{p}_i\log \frac{p_i}{q_i}=⟨\log \frac{p}{q}::P⟩$ : розходження Кульбака — Лейблера (дорівнює математичному сподіванню відносно розподілу $P$ логарифма відношення ймовірностей $p/q$).

• $D_2(P\Vert Q)=\log \sum _{i=1}^n\frac{p_i^2}{q_i}=\log ⟨\frac{p}{q}::P⟩$ : логарифм математичного сподівання за розподілом $P$ відношення ймовірностей $p/q$. Це розходження з точністю до монотонного перетворення еквівалентне Шаблон:Нп $D_{{\chi }^2}(Q\Vert P)=\sum _{i=1}^n\frac{(p_i-q_i{)}^2}{q_i}$ .

• $D_{\mathrm{\infty }}(P\Vert Q)\stackrel{\mathrm{d}\mathrm{f}}{=}\underset{\alpha \to \mathrm{\infty }}{\lim }{D}_{\alpha }(P\Vert Q)=\log \underset{i}{\sup }\frac{p_i}{q_i}$ : Логарифм найбільшого відношення ймовірностей $p/q$.

Чому випадок $\alpha =1$ — особливийШаблон:Уточнити

Значення $\alpha =1$, яке відповідає ентропії Шеннона і розходженню Кульбака — Лейблера, є особливим, тому що тільки в цьому випадку можна виділити змінні A і X зі спільного розподілу ймовірностей, такі що виконується

$\mathrm{H}(A,X)=\mathrm{H}(A)+{𝔼}_{p(a)}\{\mathrm{H}(X|a)\}$

для ентропії, і

$D_{\mathrm{K}\mathrm{L}}(p(x|a)p(a)||m(x,a))={𝔼}_{p(a)}\{D_{\mathrm{K}\mathrm{L}}(p(x|a)||m(x|a))\}+D_{\mathrm{K}\mathrm{L}}(p(a)||m(a))$ -

для дивергенції.

Останнє означає, що якщо ми шукатимемо розподіл $p(x,a)$, який зводить до мінімуму розходження деяких основоположних мір $m(x,a)$, і отримаємо нову інформацію, яка впливає тільки на розподіл $a$, то розподіл $p(x|a)$ не буде залежати від змін $m(x|a)$.

У загальному випадку розходження Реньї з довільними значеннями $\alpha$ задовольняють умовам незаперечності, неперервності та інваріантності відносно перетворення координат випадкових величин. Важливою властивістю будь-яких ентропії і дивергенції Реньї є адитивність: коли $A$ і $X$ незалежні, з $p(A,X)=p(A)p(X)$ випливає

${\mathrm{H}}_{\alpha }(A,X)={\mathrm{H}}_{\alpha }(A)+{\mathrm{H}}_{\alpha }(X)$

і

$D_{\alpha }(P(A)P(X)\Vert Q(A)Q(X))=D_{\alpha }(P(A)\Vert Q(A))+D_{\alpha }(P(X)\Vert Q(X))$ .

Найсильніші властивості випадку $\alpha =1$, які передбачають визначення умовної інформації і взаємної інформації з теорії зв'язку, можуть бути дуже важливими в інших застосуваннях або зовсім не важливими, залежно від вимог цих застосувань.

Перехресна ентропія Реньї

Перехресна ентропія ${\mathrm{H}}_{\alpha }(P,Q)$ від двох розподілів з імовірностями $p_i$ і $q_i$ ($i=1,...,n$) в загальному випадку може визначатися по-різному (залежно від застосування), але має задовольняти умові ${\mathrm{H}}_{\alpha }(P,P)={\mathrm{H}}_{\alpha }(P)$. Один з варіантів визначення (аналогічну властивість має перехресна ентропія Шеннона):

${\mathrm{H}}_{\alpha }(P,Q)={\mathrm{H}}_{\alpha }(P)+D_{\alpha }(P,Q)$ .

Інше визначення, запропоноване А. Реньї, можна отримати з таких міркувань. Визначимо ефективне число станів системи як середнє геометричне зважене від величин $1/q_i$ з вагами $p_i$:

$\bar{n}=\prod _{i=1}^n(1/q_i{)}^{p_i}$ .

Звідси випливає вираз для перехресної ентропії Шеннона

$\mathrm{H}(P,Q)=\log \bar{n}=-\sum _{i=1}^n{p}_i\log q_i$ .

Міркуючи аналогічно, визначимо ефективне число станів системи як середнє степеневе зважене від величин $1/q_i$ з вагами $p_i$ і параметром $1-\alpha$:

$\bar{n}={(\sum _{i=1}^n{p}_i(1/q_i{)}^{1-\alpha })}^{\frac{1}{1-\alpha }}={\left(\sum _{i=1}^n{p}_i{q}_i^{\alpha -1}\right)}^{\frac{1}{1-\alpha }}$.

Таким чином, перехресна ентропія Реньї має вигляд

${\mathrm{H}}_{\alpha }(P,Q)=\log \bar{n}=\frac{1}{1-\alpha }\log \sum _{i=1}^n{p}_i{q}_i^{\alpha -1}=\frac{1}{1-\alpha }\log ⟨q^{\alpha -1}::P⟩$ .

• Легко бачити, що в разі, якщо розподіли ймовірностей $p$ і $q$ збігаються, перехресна ентропія Реньї збігається з ентропією Реньї.
• Також при $\alpha \to 1$ перехресна ентропія Реньї збігається до перехресної ентропії Шеннона.
• властивість $\mathrm{H}(P,Q)=\mathrm{H}(P)+D_{KL}(P\Vert Q)\ge \mathrm{H}(P)$, істинна для перехресної ентропії Шеннона, в загальному випадку не має місця. Перехресна ентропія Реньї може бути як більшою, так і меншою від ентропії Реньї.

Неперервний випадок

Для формального узагальнення ентропії Шеннона на випадок неперервного розподілу служить поняття диференціальна ентропія. Цілком аналогічно визначається диференційна ентропія Реньї:

${\mathrm{H}}_{\alpha }(f)=\frac{1}{1-\alpha }\log \underset{X}{\overset{}{\int }}{f}^{\alpha }(x)dx$ .

Розходження (дивергенція) Реньї в неперервному випадку також є узагальненням розходження Кульбака — Лейблера і має вигляд

$D_{\alpha }(g,f)=\frac{1}{\alpha -1}\log \underset{X}{\overset{}{\int }}{g}^{\alpha }(x)f^{1-\alpha }(x)dx$ .

Визначення перехресної ентропії, запропоноване А. Реньї, в неперервному випадку має вигляд

${\mathrm{H}}_{\alpha }(g,f)=\frac{1}{1-\alpha }\log \underset{X}{\overset{}{\int }}g(x)f^{\alpha -1}(x)dx$ .

У наведених формулах $f(x)$ і $g(x)$ — деякі функції густини розподілу ймовірностей, визначені на інтервалі $X\subseteq R$, і покладається $\alpha >0$, $\alpha \ne 1$ .

Література

• Шаблон:Cite conference
• Шаблон:Стаття
• Шаблон:Стаття
• OA Rosso EEG analysis using wavelet-based information tools. Journal of Neuroscience Methods 153 (2006) 163—182
• Rényi entropy as a measure of entanglement in quantum spin chain: F. Franchini, AR Its, VE Korepin, Journal of Physics A: Math. Theor. 41 (2008) 025302 [1]