Перегляд вихідного коду сторінки Розходження Кульбака — Лейблера

{{Теорія інформації}}
{{не плутати2|[[Дивергенція (математика)|дивергенцією]] в [[Векторне числення|векторному численні]]}}
В [[Математична статистика|математичній статистиці]] '''розхо́дження''', '''диверге́нція''' або '''ві́дстань Кульбака&nbsp;— Лейблера''' (що також називають '''відно́сною ентропі́єю''', {{lang-en|Kullback–Leibler divergence, relative entropy}}) є мірою того, наскільки один [[розподіл імовірності]] відрізняється від іншого, еталонного розподілу ймовірності.<ref>{{cite journal
 |last1=Kullback |first1=S. |authorlink1=Соломон Кульбак
 |last2=Leibler |first2=R.A. |authorlink2=Річард Лейблер
 |year = 1951
 |title = On information and sufficiency
 |journal = {{нп|Annals of Mathematical Statistics}}
 |volume = 22 |issue=1
 |pages=79–86
 |doi=10.1214/aoms/1177729694 |mr=39968
}} {{ref-en}}</ref><ref name="Kullback">{{citation|last1=Kullback|first1=S.|title=Information Theory and Statistics |date=1959 |publisher=[[John Wiley & Sons]]}}. Republished by {{нп|Dover Publications}} in 1968; reprinted in 1978: {{isbn|0-8446-5625-9}}. {{ref-en}}</ref> До його застосувань належать '''відно́сна''' [[Інформаційна ентропія|(шеннонова) '''ентропі́я''']] в інформаційних системах, '''випадко́вість''' ({{lang-en|randomness}}) у неперервних [[Часовий ряд|часових рядах]], та '''при́ріст інформа́ції''' ({{lang-en|information gain}}) при порівнюванні статистичних моделей [[висновування]]. На противагу до {{нп|Різновидність інформації|різновидності інформації||Variation of information}}, воно є ''асиметричною'' міжрозподіловою мірою, і відтак не відповідає вимогам статистичної ''метрики'' розкиду. В простому випадку нульове розходження Кульбака&nbsp;— Лейблера показує, що два розглядані розподіли є ідентичними. Простішими словами, воно є мірою несподіваності, з різноманітними застосуваннями, такими як прикладна статистика, [[гідромеханіка]], [[нейронаука]] та [[машинне навчання]].

== Етимологія ==

Розходження Кульбака&nbsp;— Лейблера було запропоновано 1951 року [[Соломон Кульбак|Соломоном Кульбаком]] та {{нп|Річард Лейблер|Річардом Лейблером||Richard Leibler}} як '''орієнто́ване розхо́дження''' ({{lang-en|directed divergence}}) між двома розподілами; Кульбак віддавав перевагу термінові '''інформа́ція розрі́знення''' ({{lang-en|discrimination information}}).<ref>{{cite journal
 |first=S. |last=Kullback |authorlink=Соломон Кульбак
 |year=1987
 |title=Letter to the Editor: The Kullback–Leibler distance
 |journal={{нп|The American Statistician}}
 |volume=41 |issue=4 |pages=340–341
 |jstor=2684769
 |doi=10.1080/00031305.1987.10475510
}} {{ref-en}}</ref> Це розходження обговорено в книзі Кульбака 1959 року «Теорія інформації та статистика».<ref name="Kullback" />

== Означення ==

Для [[Дискретний розподіл ймовірності|дискретних розподілів ймовірності]] <math>P</math> та <math>Q</math>, визначених на одному й тому ж [[Ймовірнісний простір|імовірнісному просторі]], розходженням Кульбака&nbsp;— Лейблера означено<ref>{{cite book| author= MacKay, David J.C.| year=2003|title=Information Theory, Inference, and Learning Algorithms| url= https://archive.org/details/informationtheor00mack_622|publisher=Cambridge University Press|edition=First|page=[https://archive.org/details/informationtheor00mack_622/page/n47 34]}} {{ref-en}}</ref>

{{Equation box 1
|indent =
|title=
|equation = {{NumBlk||<math>D_\text{KL}(P \parallel Q) = -\sum_{x\in\mathcal{X}} P(x) \log\left(\frac{Q(x)}{P(x)}\right)</math>|{{EquationRef|1}}}}
|cellpadding= 6
|border
|border colour = #0073CF
|background colour=#F5FFFA}}

що є рівнозначним

: <math>D_\text{KL}(P \parallel Q) = \sum_{x\in\mathcal{X}} P(x) \log\left(\frac{P(x)}{Q(x)}\right).</math>

Іншими словами, воно є [[Математичне сподівання|математичним сподіванням]] логарифмічної різниці між імовірностями <math>P</math> та <math>Q</math>, де математичне сподівання беруть із застосуванням ймовірностей <math>P</math>. Розходження Кульбака&nbsp;— Лейблера можливо визначити лише якщо <math>Q(x) = 0</math> для будь-якого <math>x</math> означає <math>P(x) = 0</math> ([[абсолютна неперервність]]). Коли <math>P(x)</math> є нулем, внесок відповідного члену розцінюють як нульовий, оскільки

: <math>\lim_{x \to 0^{+}} x \log(x) = 0.</math>

Для розподілів <math>P</math> та <math>Q</math> [[Неперервна випадкова змінна|неперервної випадкової змінної]] розходженням Кульбака&nbsp;— Лейблера означують інтеграл<ref>Bishop C. (2006). ''Pattern Recognition and Machine Learning'' {{ref-en}}</ref>{{rp|с. 55}}

{{Equation box 1
|indent =
|title=
|equation = {{NumBlk||<math>D_\text{KL}(P \parallel Q) = \int_{-\infty}^\infty p(x) \log\left(\frac{p(x)}{q(x)}\right)\, dx</math>|{{EquationRef|2}}}}
|cellpadding= 6
|border
|border colour = #0073CF
|background colour=#F5FFFA}}

де символами <math>p</math> та <math>q</math> позначено [[Густина імовірності|густини імовірності]] <math>P</math> та <math>Q</math>.

Загальніше, якщо <math>P</math> та <math>Q</math> є ймовірнісними [[Міра множини|мірами]] над множиною <math>{\mathcal{X}}</math>, а <math>P</math> є [[Абсолютна неперервність мір|абсолютно неперервною]] щодо <math>Q</math>, то розходженням Кульбака&nbsp;— Лейблера від <math>Q</math> до <math>P</math> означують

: <math>D_\text{KL}(P \parallel Q) = \int_{\mathcal{X}} \log\left(\frac{dP}{dQ}\right)\, dP,</math>

де <math>\frac{dP}{dQ}</math> є [[Похідна Радона — Нікодима|похідною Радона — Нікодима]] <math>P</math> щодо <math>Q</math>, і за умови існування правобічного виразу. Це може бути рівнозначно (згідно [[Ланцюгове правило|ланцюгового правила]]) записано як

: <math>D_\text{KL}(P \parallel Q) = \int_{\mathcal{X}} \log\left(\frac{dP}{dQ}\right) \frac{dP}{dQ}\, dQ,</math>

що є [[Інформаційна ентропія|ентропією]] <math>P</math> відносно <math>Q</math>. У продовження цього випадку, якщо <math>\mu</math> є будь-якою мірою на <math>\mathcal{X}</math>, для якої існують <math>p = \frac{dP}{d\mu}</math> та <math>q = \frac{dQ}{d\mu}</math> (що означає, що <math>p</math> та <math>q</math> є абсолютно неперервними щодо <math>\mu</math>), то розходження Кульбака&nbsp;— Лейблера від <math>Q</math> до <math>P</math> задають як

: <math>D_\text{KL}(P \parallel Q) = \int_{\mathcal{X}} p \log\left(\frac{p}{q}\right)\, d\mu.</math>

Логарифми в цих формулах беруть за [[Основа (піднесення до степеня)|основою]] 2, якщо інформацію вимірюють в одиницях [[біт]]ів, або за основою <math>e</math>, якщо інформацію вимірюють в [[нат (одиниця вимірювання)|натах]]. Більшість формул, що залучають розходження Кульбака&nbsp;— Лейблера, виконуються не залежно від основи логарифму.

Існують різні угоди, як посилатися на <math>D_\text{KL}(P \parallel Q)</math> словами. Часто на нього посилаються як на розходження ''між'' <math>P</math> та <math>Q</math>, проте, це не передає фундаментальної асиметричності в цьому відношенні. Іноді, як у цій статті, можна знайти його опис як розходження <math>P</math> ''від'', або щодо <math>Q</math>. Це віддзеркалює [[Асиметрія|асиметричність]] [[Баєсове висновування|баєсового висновування]], що починається ''від'' [[Апріорний розподіл|апріорного]] <math>Q</math>, і уточнюється ''до'' [[Апостеріорний розподіл|апостеріорного]] <math>P</math>.

== Простий приклад ==

Кульбак<ref name="Kullback" /> наводить простий приклад (таблиця 2.1, приклад 2.1). Нехай <math>P</math> та <math>Q</math> є розподілами, показаними в таблиці й на малюнку. <math>P</math> є розподілом з лівого боку малюнку, [[Біноміальний розподіл|біноміальним розподілом]] з <math>N = 2</math> та <math>p = 0.4</math>. <math>Q</math> є розподілом з правого боку малюнку, дискретним рівномірним розподілом з трьома можливими результатами, <math>x = 0</math>, <math>1</math> чи <math>2</math> (тобто, <math>\mathcal{X}=\{0,1,2\}</math>), кожен з імовірністю <math>p = 1/3</math>.

[[Файл:Kullback–Leibler distributions example 1 uk.svg|400px|Два розподіли для пояснення розходження Кульбака&nbsp;— Лейблера]]
{| class="wikitable"
|-
! x !! 0 !! 1 !! 2 
|-
| Розподіл ''P''(x) || 0.36 || 0.48 || 0.16
|-
| Розподіл ''Q''(x) || 0.333 || 0.333 || 0.333
|}

КЛ-розходження <math>D_\text{KL}(P \parallel Q)</math> та <math>D_\text{KL}(Q \parallel P)</math> обчислюють із застосуванням означення ({{EquationNote|1}}) наступним чином. Цей приклад використовує [[натуральний логарифм]] з основою ''[[e (число)|e]]'', позначуваний <math>\operatorname{ln}</math>, щоби отримати результати в [[нат (одиниця вимірювання)|натах]] (див. [[Одиниці вимірювання інформації]]).

: <math>\begin{align}
D_\text{KL}(P \parallel Q) &= -\sum_{x\in\mathcal{X}} P(x) \ln\left(\frac{P(x)}{Q(x)}\right) \\
 &= -0.36 \ln\left(\frac{0.36}{0.333}\right) - 0.48 \ln\left(\frac{0.48}{0.333}\right) - 0.16 \ln\left(\frac{0.16}{0.333}\right) \\
 &= -0.0852996
\end{align}</math>

: <math>\begin{align}
D_\text{KL}(Q \parallel P) &= -\sum_{x\in\mathcal{X}} Q(x) \ln\left(\frac{Q(x)}{P(x)}\right) \\
 &= -0.333 \ln\left(\frac{0.333}{0.36}\right) - 0.333 \ln\left(\frac{0.333}{0.48}\right) - 0.333 \ln\left(\frac{0.333}{0.16}\right) \\
 &= -0.097455
\end{align}</math>

== Інтерпретації ==

Розходження Кульбака&nbsp;— Лейблера від <math>Q</math> до <math>P</math> часто позначують через <math>D_\text{KL}(P \parallel Q)</math>.

В контексті [[Машинне навчання|машинного навчання]] <math>D_\text{KL}(P \parallel Q)</math> часто називають {{нп|Приріст інформації в деревах рішень|приростом інформації||Information gain in decision trees}}, отримуваним при застосовуванні <math>Q</math> замість <math>P</math>. За аналогією з теорією інформації, його також називають '''відно́сною ентропі́єю''' ({{lang-en|relative entropy}}) <math>P</math> щодо <math>Q</math>. В контексті [[Теорія кодування|теорії кодування]] <math>D_\text{KL}(P \parallel Q)</math> можливо тлумачити як вимірювання математичного сподівання числа додаткових [[біт]]ів, необхідних для [[Код Гаффмана|кодування]] зразків з <math>P</math> із застосуванням коду, оптимізованого для <math>Q</math>, замість коду, оптимізованого для <math>P</math>.

Виражене мовою [[Баєсове висновування|баєсового висновування]], <math>D_\text{KL}(P \parallel Q)</math> є мірою приросту інформації при перегляді переконань від [[Апріорний розподіл імовірності|апріорного розподілу ймовірності]] <math>Q</math> до [[Апостеріорний розподіл імовірності|апостеріорного розподілу ймовірності]] <math>P</math>. Іншими словами, це величина інформації, що втрачається при застосуванні <math>Q</math> для наближення <math>P</math>.<ref>{{cite book |last=Burnham |first=K. P. |last2=Anderson |first2=D. R. |year=2002 |title=Model Selection and Multi-Model Inference |location= |publisher=Springer |edition=2nd |page=51 |url=https://books.google.com/books?id=fT1Iu-h6E-oC&pg=PA51 }} {{ref-en}}</ref> У застосуваннях <math>P</math> зазвичай представляє «істинний» розподіл даних, спостережень, або точно обчислений теоретичний розподіл, тоді як <math>Q</math> зазвичай представляє теорію, модель, опис, або [[Наближення (математика)|наближення]] <math>P</math>. Щоби знаходити розподіл <math>Q</math>, який є найближчим до <math>P</math>, ми можемо мінімізувати КЛ-розходження, обчислюючи {{нп|Інформаційна проєкція|інформаційну проєкцію||Information projection}}.

Розходження Кульбака&nbsp;— Лейблера є окремим випадком ширшого класу {{нп|Розходження (статистика)|розходжень||Divergence (statistics)}}, що називають {{нп|f-розходження|''f''-розходженнями||f-divergence}}, а також класу {{нп|Брегманове розходження|брегманових розходжень||Bregman divergence}}. Воно є єдиним таким розходженням над імовірностями, що належить до обох класів. І хоч його й часто інтуїтивно сприймають як спосіб вимірювання відстані між [[Розподіл імовірності|розподілами ймовірності]], розходження Кульбака&nbsp;— Лейблера не є справжньою [[Метрика (математика)|метрикою]]. З ним не дотримується [[нерівність трикутника]], і в загальному випадку <math>D_\text{KL}(P \parallel Q)</math> не дорівнює <math>D_\text{KL}(Q \parallel P)</math>. Проте, його {{нп|Інфінітезимальний породжувач (стохастичні процеси)|нескінченно малий||Infinitesimal generator (stochastic processes)}} вигляд, а саме його [[гессіан]], дає [[метричний тензор]], відомий як {{нп|фішерова інформаційна метрика|||Fisher information metric}}.

== Характеризування ==

Артур Гобсон довів, що розходження Кульбака&nbsp;— Лейблера є єдиною мірою відмінності між розподілами ймовірності, яка задовольняє деякі бажані властивості, що є канонічним розширенням присутніх у широко вживаному [[Інформаційна ентропія#Характеризування|характеризуванні ентропії]].<ref>{{cite book|last1=Hobson|first1=Arthur|title=Concepts in statistical mechanics.| date=1971| publisher=Gordon and Breach|location=New York|isbn=0677032404}} {{ref-en}}</ref> Отже, [[взаємна інформація]] є єдиною мірою взаємної залежності, яка дотримується певних пов'язаних умов, оскільки її може бути визначено [[Взаємна інформація#Відношення до інших величин|в термінах розходження Кульбака&nbsp;— Лейблера]].

Існує також [[Баєсова статистика|баєсове]] характеризування розходження Кульбака&nbsp;— Лейблера.<ref>{{cite journal| last1=Baez| first1=John| last2=Fritz| first2=Tobias| title=A Bayesian characterization of relative entropy| year=2014| journal=Theory and Application of Categories| volume=29| pages=421–456| eprint=1402.3067| url=http://www.tac.mta.ca/tac/volumes/29/16/29-16abs.html| accessdate=31 грудня 2018| archive-date=20 січня 2019| archive-url=https://web.archive.org/web/20190120025920/http://www.tac.mta.ca/tac/volumes/29/16/29-16abs.html}} {{ref-en}}</ref>

== Обґрунтування ==

[[Файл:KL-Gauss-Example uk.png|thumb|right|320px|Ілюстрація розходження Кульбака&nbsp;— Лейблера (КЛ) для двох [[Нормальний розподіл|нормальних розподілів]]. Чітко видно типову асиметричність розходження Кульбака&nbsp;— Лейблера.]]

В теорії інформації [[Нерівність Крафта — Макміллана|теорема Крафта&nbsp;— Макміллана]] встановлює, що будь-яку безпосередньо розкодовувану схему кодування для кодування повідомлення для виявляння одного значення <math>x_i</math> з ряду можливостей <math>X</math> можливо розглядати як представлення неявного розподілу ймовірності <math>q(x_i)=2^{-l_i}</math> над <math>X</math>, де <math>l_i</math> є довжиною коду для <math>x_i</math> в бітах. Отже, розходження Кульбака&nbsp;— Лейблера можливо інтерпретувати як математичне сподівання додаткової довжини повідомлення над рівнем, яка мусить передаватися, якщо застосовується код, що є оптимальним для заданого (неправильного) розподілу <math>Q</math>, в порівнянні з застосуванням коду, що ґрунтується на істинному розподілі <math>P</math>.

: <math>\begin{align}
D_\text{KL}(P\parallel Q) &= -\sum_{x\in\mathcal{X}} p(x) \log q(x) + \sum_{x\in\mathcal{X}} p(x) \log p(x) \\
 &= \Eta(P, Q) - \Eta(P)
\end{align}</math>

де <math>\Eta(P,Q)</math> є [[Перехресна ентропія|перехресною ентропією]] <math>P</math> та <math>Q</math>, а <math>\Eta(P)</math> є [[Інформаційна ентропія|ентропією]] <math>P</math>.

Зауважте також, що існує зв'язок між розходженням Кульбака&nbsp;— Лейблера та {{нп|Функція відхилень|«функцією відхилень»||Rate function}} в {{нп|Теорія великих відхилень|теорії великих відхилень||Large deviations theory}}.<ref name="Sanov">{{cite journal | last1 = Sanov | first1 = I.N. | year = 1957 | title = On the probability of large deviations of random magnitudes | url = | journal = Matem. Sbornik | volume = 42 | issue = 84| pages = 11–44 }} {{ref-en}}</ref><ref name="Novak">Novak S.Y. (2011), ''Extreme Value Methods with Applications to Finance'' ch. 14.5 ([[Chapman & Hall]]). {{isbn|978-1-4398-3574-6}}. {{ref-en}}</ref>

== Властивості ==

* Розходження Кульбака&nbsp;— Лейблера є завжди [[Невід'ємність|невід'ємним]],
:: <math>D_\text{KL}(P\parallel Q) \geq 0,</math>
: результат, відомий як {{нп|нерівність Гіббза|||Gibbs' inequality}}, з нульовим <math>D_\text{KL}(P\parallel Q)</math> [[якщо і лише якщо]] <math>P = Q</math> [[майже скрізь]]. Ентропія <math>\Eta(P)</math> відтак встановлює мінімальне значення для перехресної ентропії <math>\Eta(P, Q)</math>, [[Математичне сподівання|математичного сподівання]] числа [[біт]]ів, необхідних при використанні коду на основі <math>Q</math> замість <math>P</math>, і, відтак, розходження Кульбака&nbsp;— Лейблера представляє математичне сподівання числа додаткових бітів, що мусять передаватися, щоби ідентифікувати значення <math>x</math>, вибране з <math>X</math>, якщо застосовується код, що відповідає розподілові ймовірності <math>Q</math>, а не «істинному» розподілові <math>P</math>.

* Розходження Кульбака&nbsp;— Лейблера залишається однозначно означеним і для неперервних розподілів, а до того ж ще й інваріантним відносно [[Підстановка|перетворень параметрів]]. Наприклад, якщо здійснюють перетворення змінної <math>x</math> на змінну <math>y(x)</math>, то, оскільки <math>P(x) dx = P(y) dy</math> та <math>Q(x) dx = Q(y) dy</math>, розходження Кульбака&nbsp;— Лейблера може бути переписано:
:: <math>\begin{align}
 D_\text{KL}(P \parallel Q)
 &= \int_{x_a}^{x_b} P(x)\log\left(\frac{P(x)}{Q(x)}\right)\, dx \\[6pt]
 &= \int_{y_a}^{y_b} P(y)\log\left(\frac{P(y)\, \frac{dy}{dx}}{Q(y)\, \frac{dy}{dx}}\right)\, dy
 = \int_{y_a}^{y_b} P(y)\log\left(\frac{P(y)}{Q(y)}\right)\, dy
\end{align}</math>
: де <math>y_a = y(x_a)</math> та <math>y_b = y(x_b)</math>. І хоча й передбачалося, що перетворення було неперервним, але це не є обов'язковим. Це також показує, що розходження Кульбака&nbsp;— Лейблера дає [[Метод аналізу розмірностей|розмірнісно стійку]] величину, оскільки якщо <math>x</math> є змінною з розмірністю, то <math>P(x)</math> та <math>Q(x)</math> також мають розмірності, бо, наприклад, <math>P(x) dx</math> розмірностей не має. Аргумент логарифмічного члену є й залишається безрозмірнісним, як він і мусить. Отже, це можливо розглядати як певним чином фундаментальнішу величину, ніж деякі інші властивості в теорії інформації<ref name="VerduLecture">Див. розділ «differential entropy – 4» у відео-лекції [[Серхіо Верду]] [http://videolectures.net/nips09_verdu_re/ «Relative Entropy»] {{Webarchive|url=https://web.archive.org/web/20181225205234/http://videolectures.net/nips09_verdu_re/ |date=25 грудня 2018 }} з {{нп|Conference on Neural Information Processing Systems|NIPS}} 2009 {{ref-en}}</ref> (такі як [[власна інформація]] та [[шеннонова ентропія]]), що для не дискретних ймовірностей можуть ставати невизначеними або від'ємними.

* Розходження Кульбака&nbsp;— Лейблера є {{нп|Адитивне відображення|адитивним||Additive map}} для [[Незалежність (теорія ймовірностей)|незалежних розподілів]] практично так само, як і шеннонова ентропія. Якщо <math>P_1, P_2</math> є незалежними розподілами, зі спільним розподілом <math>P(x, y) = P_1(x)P_2(y)</math>, і <math>Q, Q_1, Q_2</math> аналогічно, то
:: <math> D_\text{KL}(P \parallel Q) = D_\text{KL}(P_1 \parallel Q_1) + D_\text{KL}(P_2 \parallel Q_2).</math>

* Розходження Кульбака&nbsp;— Лейблера <math> D_\text{KL}(P \parallel Q)</math> є [[Опукла функція|опуклим]] в парі [[Функція маси імовірності|функцій маси ймовірності]] <math>(p,q)</math>, тобто, якщо <math>(p_1,q_1)</math> та <math>(p_2,q_2)</math> є двома парами функцій маси ймовірності, то

:: <math>D_\text{KL}(\lambda p_1 + (1 - \lambda) p_2 \parallel \lambda q_1 + (1 - \lambda) q_2) \le 
\lambda D_\text{KL}(p_1 \parallel q_1) + (1 - \lambda)D_\text{KL}(p_2 \parallel q_2) \text{ for } 0 \le \lambda \le 1.</math>

== Приклади ==

=== Багатовимірні нормальні розподіли ===

Припустімо, що ми маємо два [[Багатовимірний нормальний розподіл|багатовимірні нормальні розподіли]] з середніми <math>\mu_0, \mu_1</math> та з (невиродженими) [[Коваріаційна матриця|коваріаційними матрицями]] <math>\Sigma_0, \Sigma_1.</math> Якщо ці два розподіли мають однакову розмірність, <math>k</math>, то розходження Кульбака&nbsp;— Лейблера між ними є таким:<ref>Duchi J., "[http://web.stanford.edu/~jduchi/projects/general_notes.pdf Derivations for Linear Algebra and Optimization] {{Webarchive|url=https://web.archive.org/web/20180417182505/http://web.stanford.edu/~jduchi/projects/general_notes.pdf |date=17 квітня 2018 }}", {{ref-en}}</ref>{{rp|с. 13}}

: <math>D_\text{KL} (\mathcal{N}_0 \parallel \mathcal{N}_1) = \frac{1}{2}\left( \operatorname{tr} \left(\Sigma_1^{-1}\Sigma_0\right) + (\mu_1 - \mu_0)^\mathsf{T} \Sigma_1^{-1}(\mu_1 - \mu_0) - k + \ln \left(\frac{\det\Sigma_1}{\det\Sigma_0}\right) \right).</math>

[[Логарифм]] в крайньому члені мусить братися за основою ''[[e (число)|e]]'', оскільки всі члени, крім крайнього, є логарифмами за основою ''e'' виразів, що є або коефіцієнтами функції густини, або інакше виникають натурально. Тож це рівняння дає результат, вимірюваний в [[нат (одиниця вимірювання)|натах]]. Ділення всього наведеного вище виразу на <math>ln(2)</math> дає розходження в [[біт]]ах.

Особливим випадком, що є широко вживаною величиною у {{нп|Варіаційне висновування|варіаційному висновуванні||Variational inference}}, є КЛ-розходження між діагональним багатовимірним нормальним, та стандартним нормальним розподілами:

: <math>D_\text{KL}\left(\mathcal{N}\left((\mu_1, \ldots, \mu_k)^\mathsf{T}, \operatorname{diag} (\sigma_1^2, \ldots, \sigma_k^2)\right) \parallel \mathcal{N}\left(\mathbf{0}, \mathbf{I}\right)\right) = {1 \over 2} \sum_{i=1}^k (\sigma_i^2 + \mu_i^2 - \ln(\sigma_i^2) - 1).</math>

== Відношення до метрик ==

Можна було би спокуситися назвати розходження Кульбака&nbsp;— Лейблера «[[Метричний простір|метрикою відстані]]» на просторі розподілів імовірності, але це не буде правильним, оскільки воно не є [[Симетрія|симетричним]], тобто, <math>D_\text{KL}(P\parallel Q) \neq D_\text{KL}(Q\parallel P)</math>, як і не задовольняє воно [[нерівність трикутника]]. Незважаючи на це, будучи {{нп|Дометрика|дометрикою||Premetric}}<!-- Проблема вікіфікації: Сторінка [[:en:Premetric]] (→ [[:en:Metric space#Premetrics]]) перекладена як [[Метричний простір]], хоча хотіли [[Дометрика]] (SashkoR0B0T)-->, воно породжує [[Топологічний простір|топологію]] на просторі [[Розподіл імовірності|розподілів імовірності]]. Конкретніше, якщо <math>\{P_1,P_2,\ldots\}</math> є послідовністю розподілів, такою, що

: <math>\lim_{n \to \infty} D_\text{KL}(P_n\parallel Q) = 0</math>

то кажуть, що

: <math>P_n \xrightarrow{D} Q.</math>

З {{нп|Нерівність Прінскера|нерівності Прінскера||Pinsker's inequality}} випливає, що

: <math>P_n \xrightarrow{D} P \Rightarrow P_n \xrightarrow{TV} P,</math>

де крайнє відповідає звичайній збіжності в [[Повна варіація|повній варіації]].

Далі [[Альфред Реньї|Реньї]] (1970, 1961)<ref>{{cite book | author=Rényi A. |title =Probability Theory|year=1970|pages=Appendix, Sec.4|nopp = y| publisher=Elsevier|isbn = 0-486-45867-9}} {{ref-en}}</ref><ref>{{citation | first=A. | last=Rényi | contribution=On measures of entropy and information | title=Proceedings of the 4th Berkeley Symposium on Mathematics, Statistics and Probability 1960 | year=1961 | pages=547–561 | contribution-url=http://digitalassets.lib.berkeley.edu/math/ucb/text/math_s4_v1_article-27.pdf | accessdate=31 грудня 2018 | archive-date=17 травня 2013 | archive-url=https://web.archive.org/web/20130517085559/http://digitalassets.lib.berkeley.edu/math/ucb/text/math_s4_v1_article-27.pdf }} {{ref-en}}</ref>

=== Інформаційна метрика Фішера ===

Розходження Кульбака&nbsp;— Лейблера є безпосередньо пов'язаним з {{нп|Інформаційна метрика Фішера|інформаційною метрикою Фішера||Fisher information metric}}. Це можна зробити явним наступним чином. Припустімо, що обидва розподіли ймовірності <math>P</math> та <math>Q</math> параметризовано деяким (можливо, багатовимірним) параметром <math>\theta</math>. Розгляньмо тоді два близькі значення <math>P = P(\theta)</math> та <math>Q = P(\theta_0)</math>, такі, що параметр <math>\theta</math> відрізняється лише на невелику величину від значення параметру <math>\theta_0</math>. Конкретно, до першого порядку матимемо (із застосуванням [[Ейнштейнів запис підсумовування|ейнштейнового запису підсумовування]])

: <math>P(\theta) = P(\theta_0) + \Delta\theta^j P_j(\theta_0) + \cdots</math>

де <math>\Delta\theta^j = (\theta - \theta_0)^j</math> є невеличкою зміною <math>\theta</math> в напрямку <math>j</math>, а <math>P_j\left(\theta_0\right) = \frac{\partial P}{\partial \theta^j}(\theta_0)</math> є відповідним темпом зміни в розподілі ймовірності. Оскільки розходження Кульбака&nbsp;— Лейблера має нульовий абсолютний мінімум для <math>P = Q</math>, тобто, <math> \theta = \theta_0 </math>, воно змінюється в маленьких параметрах <math>\Delta\theta^j</math> лише до ''другого'' порядку. Формальніше, як і для будь-якого мінімуму, перша похідна цього розходження зникає

: <math>\left.\frac{\partial}{\partial \theta^j}\right|_{\theta = \theta_0} D_{KL}(P(\theta) \parallel P(\theta_0)) = 0,</math>

і за [[Розклад Тейлора|розкладом Тейлора]] маємо до другого порядку

: <math>D_\text{KL}(P(\theta) \parallel P(\theta_0)) = \frac{1}{2} \Delta\theta^j\Delta\theta^k g_{jk}(\theta_0) + \cdots</math>

де [[матриця Гессе]] розходження

: <math>g_{jk}(\theta_0) = \left.\frac{\partial^2}{\partial\theta^j\, \partial\theta^k} \right|_{\theta = \theta_0} D_\text{KL}(P(\theta) \parallel P(\theta_0))</math>

мусить бути [[Додатно напівозначена матриця|додатно напівозначеною]]. Якщо дозволити <math>\theta_0</math> змінюватися (й опустити підіндекс 0), то гессіан <math>g_{jk}(\theta)</math> визначатиме (можливо, вироджену) [[Ріманова метрика|ріманову метрику]] на просторі параметру {{mvar|&theta;}}, що називають інформаційною метрикою Фішера.

=== Теорема інформаційної метрики Фішера ===

Коли <math>p_{(x, \rho)}</math> задовольняє наступні нормативні умови:

: <math>\tfrac{\partial \log(p)}{\partial \rho}, \tfrac{\partial^2 \log(p)}{\partial \rho^2}, \tfrac{\partial^3 \log(p)}{\partial \rho^3}</math> існують,
: <math>\begin{align}
 \left|\frac{\partial p}{\partial \rho}\right| &< F(x): \int_{x=0}^\infty F(x)\,dx < \infty, \\ 
 \left|\frac{\partial^2 p}{\partial \rho^2}\right| &< G(x): \int_{x=0}^\infty G(x)\,dx < \infty \\ 
 \left|\frac{\partial^3 \log(p)}{\partial \rho^3}\right| &< H(x): \int_{x=0}^\infty p(x, 0)H(x)\,dx < \xi < \infty
\end{align}</math>

де {{mvar|&xi;}} є незалежною від {{mvar|&rho;}}

: <math>
 \left.\int_{x=0}^\infty \frac{\partial p(x, \rho)}{\partial \rho}\right|_{\rho=0}\, dx =
 \left.\int_{x=0}^\infty \frac{\partial^2 p(x, \rho)}{\partial \rho^2}\right|_{\rho=0}\, dx = 0
</math>
 
тоді

: <math>\mathcal{D}(p(x, 0) \parallel p(x, \rho)) = \frac{c\rho^2}{2} + \mathcal{O}(\rho^3) \text{ as } \rho\to0.</math>

== Відношення до інших величин теорії інформації ==

Багато інших величин теорії інформації можливо інтерпретувати як застосування розходження Кульбака&nbsp;— Лейблера до особливих випадків.

=== Власна інформація ===
{{Main|Власна інформація}}

[[Власна інформація|Власну інформацію]], відому також як [[інформаційний вміст]] сигналу, випадкової змінної або [[Випадкова подія|події]], означено як від'ємний логарифм [[Імовірність|імовірності]] трапляння заданого результату.

При застосуванні до [[Дискретна випадкова змінна|дискретної випадкової змінної]] власну інформацію може бути представлено як{{Citation needed|reason=Потребує перевірки|date=грудень 2018}}

: <math>\operatorname \operatorname{I}(m) = D_\text{KL}(\delta_{im} \parallel \{ p_i \}),</math>

є розходженням Кульбака&nbsp;— Лейблера розподілу ймовірності <math>P(i)</math> від [[Дельта Кронекера|дельти Кронекера]], що представляє впевненість, що <math>i = m</math> — тобто, число додаткових біт, що мусить бути передано, щоби ідентифікувати <math>i</math>, якби отримувачеві був доступним розподіл імовірності <math>P(i)</math>, а не той факт, що <math>i = m</math>.

=== Взаємна інформація ===

[[Взаємна інформація]]{{Citation needed|reason=Потребує перевірки|date=грудень 2018}}

: <math>\begin{align}
 \operatorname{I}(X; Y) & = D_\text{KL}(P(X, Y) \parallel P(X)P(Y) ) \\
 & = \operatorname{E}_X \{D_\text{KL}(P(Y\mid X) \parallel P(Y) ) \} \\
 & = \operatorname{E}_Y \{D_\text{KL}(P(X\mid Y) \parallel P(X) ) \}
\end{align}</math>

є розходженням Кульбака&nbsp;— Лейблера добутку <math>P(X)P(Y)</math> двох розподілів [[Відособлена ймовірність|відособлених ймовірностей]] від [[Спільний розподіл імовірності|спільного розподілу ймовірності]] <math>P(X,Y)</math>&nbsp;— тобто, математичним сподіванням числа бітів, яке мусить бути передано, щоби ідентифікувати <math>X</math> та <math>Y</math>, якщо їх кодовано із застосуванням лише їхніх відособлених розподілів замість спільного розподілу. Рівнозначно, якщо спільна ймовірність <math>P(X,Y)</math> ''є'' відомою, то це є математичним сподіванням числа додаткових бітів, які мусить бути в середньому надіслано, щоби ідентифікувати <math>Y</math>, якщо значення <math>X</math> ще не є відомим отримувачеві.

=== Шеннонова ентропія ===
[[Шеннонова ентропія]]{{Citation needed|reason=Потребує перевірки|date=грудень 2018}}

: <math>\begin{align}
 \Eta(X) & = \operatorname{E}[\operatorname{I}_X(x)] \\
 & = \log(N) - D_\text{KL}(p_X(x) \parallel P_U(X) )
\end{align}</math>

є числом бітів, які мало би бути передано, щоби ідентифікувати <math>X</math> з <math>N</math> однаково ймовірних можливостей, ''меншим'' розходженням Кульбака&nbsp;— Лейблера рівномірного розподілу {{нп|Випадкова варіата|випадкових варіат||Random variate}} <math>X</math>, <math>P_U(X)</math>, від істинного розподілу <math>P(X)</math>&nbsp;— тобто, ''меншим'' за математичне сподівання числа заощаджених бітів, які мало би бути передано, якби значення <math>X</math> було закодовано відповідно до рівномірного розподілу <math>P_U(X)</math> замість істинного розподілу <math>P(X)</math>.

=== Умовна ентропія ===

[[Умовна ентропія]]{{Citation needed|reason=Потребує перевірки|date=грудень 2018}}

: <math>\begin{align}
 \Eta(X \mid Y) & = \log(N) - D_\text{KL}(P(X,Y) \parallel P_U(X) P(Y)) \\
 & = \log(N) - D_\text{KL}(P(X,Y) \parallel P(X) P(Y) ) - D_\text{KL}(P(X) \parallel P_U(X)) \\
 & = \Eta(X) - \operatorname{I}(X;Y) \\
 & = \log(N) - \operatorname{E}_Y \bigl[D_\text{KL}(P(X\mid Y) \parallel P_U(X)) \bigr]
\end{align}</math>

є числом бітів, які мало би бути передано, щоби ідентифікувати <math>X</math> з <math>N</math> однаково ймовірних можливостей, ''меншим'' розходженням Кульбака&nbsp;— Лейблера добутку розподілів <math>P_U(X) P(Y)</math> від істинного спільного розподілу <math>P(X,Y)</math>&nbsp;— тобто, ''меншим'' за математичне сподівання числа заощаджених бітів, які мало би бути передано, якби значення <math>X</math> було кодовано відповідно до рівномірного розподілу <math>P_U(X)</math> замість умовного розподілу <math>P(X|Y)</math> змінної <math>X</math> за заданого значення <math>Y</math>.

=== Перехресна ентропія ===

[[Перехресна ентропія]] між двома [[Розподіл імовірності|розподілами ймовірності]] вимірює усереднене числом [[біт]]ів, необхідних, щоби ідентифікувати подію з набору можливостей, якщо застосовувана схема кодування ґрунтується на заданому розподілі ймовірності <math>q</math> замість «істинного» розподілу <math>p</math>. Відтак, перехресну ентропію двох розподілів <math>p</math> та <math>q</math> над одним і тим же [[Ймовірнісний простір|ймовірнісним простором]] означено наступним чином:{{Citation needed| reason=Потребує перевірки|date=грудень 2018}}

: <math>\Eta(p, q) = \operatorname{E}_p[-\log(q)] = \Eta(p) + D_\text{KL}(p \parallel q).</math>

== Баєсове уточнювання ==

У [[Баєсова статистика|баєсовій статистиці]] розходження Кульбака&nbsp;— Лейблера можливо застосовувати як міру приросту інформації при переході від [[Апріорний розподіл|апріорного розподілу]] до [[Апостеріорний розподіл|апостеріорного розподілу]]: <math>p(x) \to p(x\mid I)</math>. Якщо виявлено деякий новий факт <math>Y = y</math>, його може бути використано, щоби уточнити апостеріорний розподіл для <math>X</math> з <math>p(x\mid I)</math> до нового апостеріорного розподілу <math>p(x\mid y,I)</math> із застосуванням [[Теорема Баєса|теореми Баєса]]:

: <math>p(x \mid y, I) = \frac{p(y \mid x, I) p(x \mid I)}{p(y \mid I)}</math>

Цей розподіл має нову {{нп|Ентропія в термодинаміці та теорії інформації|ентропію||Entropy in thermodynamics and information theory}}:

: <math>\Eta\big(p(-\mid y, I)\big) = -\sum_x p(x \mid y, I) \log p(x \mid y, I),</math>

яка може бути меншою або більшою за первинну ентропію <math>\Eta(p(-\mid I))</math>. Проте, з точки зору нового розподілу ймовірності, можливо оцінити, що застосування первинного коду на основі <math>p(x\mid I)</math> замість нового коду на основі <math>p(x\mid y, I)</math> додало би таке очікуване число бітів

: <math> D_\text{KL}\big(p(- \mid y, I) \parallel p(- \mid I) \big) = \sum_x p(x \mid y, I) \log\left(\frac{p(x \mid y, I)}{p(x \mid I)}\right) </math>

до довжини повідомлення. Воно відтак представляє величину корисної інформації, або приріст інформації, про <math>X</math>, що за нашою оцінкою ми дізналися, виявивши <math>Y = y</math>.

Якщо потім надходять подальші дані, <math>Y_2 = y_2</math>, то розподіл імовірності для <math>x</math> може бути уточнено далі, щоби дати нове найкраще припущення <math>p(x \mid y_1,y_2,I)</math>. Якщо повторно дослідити приріст інформації для застосування <math>p(x \mid y_1,I)</math> замість <math>p(x \mid I)</math>, то виявиться, що він може бути як більшим, так і меншим за оцінений минулого разу:

: <math>\sum_x p(x \mid y_1, y_2, I) \log\left(\frac{p(x \mid y_1, y_2, I)}{p(x \mid I)}\right)</math> може бути ≤ або > за <math>\displaystyle \sum_x p(x \mid y_1, I) \log\left(\frac{p(x \mid y_1, I)}{p(x \mid I)}\right)</math>

і, таким чином, об'єднаний приріст інформації ''не'' підкоряється нерівності трикутника:

: <math>D_\text{KL} \big( p(- \mid y_1, y_2, I) \parallel p(- \mid I) \big)</math> може бути <, = або > за <math>D_\text{KL}\big( p(- \mid y_1, y_2, I) \parallel p(- \mid y_1, I)\big) + D_\text{KL}\big(p(- \mid y_1, I) \parallel p(- \mid I)\big)</math>

Все, що можливо сказати, це що ''в середньому'' при усереднюванні із застосуванням <math>p(y_2 \mid y_1, x, I)</math> ці дві сторони будуть приблизно рівними.

=== Баєсове планування експериментів ===

Поширеною метою в {{Не перекладено|Баєсове планування експериментів|баєсовім плануванні експериментів||Bayesian design of experiments}} є максимізувати математичне сподівання розходження Кульбака&nbsp;— Лейблера між апріорним та апостеріорним.<ref>{{cite journal | last1 = Chaloner | first1 = K. | last2 = Verdinelli | first2 = I. | year = 1995 | title = Bayesian experimental design: a review | url = | journal = {{нп|Statistical Science}} | volume = 10 | issue = 3| pages = 273–304 | doi = 10.1214/ss/1177009939 }} {{ref-en}}</ref> Коли апостеріорні наближено вважають нормальними розподілами, то план, що максимізує математичне сподівання розходження Кульбака&nbsp;— Лейблера, називають {{нп|D-оптимальний план|баєсовим ''d''-оптимальним||D-optimal design}}<!-- Проблема вікіфікації: Сторінка [[:en:D-optimal design]] (→ [[:en:Optimal experimental design#D-optimality]]) перекладена як [[Оптимальний план експерименту]], хоча хотіли [[D-оптимальний план]] (SashkoR0B0T)-->.

== Розрізнювальна інформація ==

Розходження Кульбака&nbsp;— Лейблера <math display="inline">D_\text{KL}\bigl(p(x \mid H_1) \parallel p(x \mid H_0)\bigr)</math> можливо також розглядати як очікувану '''розрі́знювальну інформа́цію''' ({{lang-en|discrimination information}}) для <math>H_1</math> над <math>H_0</math>: середню інформацію на зразок для розрізнення на користь гіпотези <math>H_1</math> проти гіпотези <math>H_0</math>, коли гіпотеза <math>H_1</math> є істинною.<ref>{{Cite book | last1=Press | first1=W.H. | last2=Teukolsky | first2=S.A. | last3=Vetterling | first3=W.T. | last4=Flannery | first4=B.P. | year=2007 | title=[[Numerical Recipes: The Art of Scientific Computing]] | edition=3 | publisher=Cambridge University Press | isbn=978-0-521-88068-8 | chapter=Section 14.7.2. Kullback–Leibler Distance }} {{ref-en}}</ref> Іншою назвою цієї величини, даною їй {{нп|І. Дж. Ґуд|І. Дж. Ґудом||I. J. Good}}, є очікувана {{нпні|вага свідчення|||Weight of evidence}} для <math>H_1</math> над <math>H_0</math>, якої варто чекати від кожного зразка.

Очікувана вага свідчення для <math>H_1</math> над <math>H_0</math> '''не''' є тим же, що й приріст інформації про розподіл імовірності <math>p(H)</math> цих гіпотез, очікуваний на зразок,

: <math>D_\text{KL}(p(x \mid H_1) \parallel p(x \mid H_0)) \neq IG = D_\text{KL}(p(H \mid x) \parallel p(H \mid I)).</math>

Як [[Функція корисності|функцію корисності]] в баєсовім плануванні експерименту, щоби обирати оптимальне наступне питання для дослідження, можливо використовувати будь-яку з цих двох величин, але вони загалом вестимуть до дещо різних стратегій експериментування.

На ентропійній шкалі ''приросту інформації'' різниця між майже впевненістю та абсолютною впевненістю є дуже маленькою&nbsp;— кодування відповідно до майже впевненості вимагає заледве більше бітів, ніж кодування відповідно до впевненості абсолютної. З іншого боку, на {{нп|логіт|||Logit}}-шкалі, що випливає з ваги свідчення, різниця між цими двома є величезною&nbsp;— можливо, нескінченною; це може віддзеркалювати різницю між тим, щоби бути майже впевненими (на ймовірнісному рівні), що, скажімо, [[гіпотеза Рімана]] є правильною, в порівнянні з тим, щоби бути впевненими в її правильності, оскільки вона має математичне доведення. Ці дві різні шкали [[Функція втрат|функції втрат]] для невизначеності є корисними ''обидві'', відповідно до того, наскільки добре кожна з них віддзеркалює певні обставини задачі, що розглядають.

=== Принцип мінімальної розрізнювальної інформації ===

Ідея розходження Кульбака&nbsp;— Лейблера як розрізнювальної інформації привела Кульбака до пропозиції принципу '''мініма́льної розрі́знювальної інформа́ції''' (МРІ, {{lang-en|Minimum Discrimination Information, MDI}}): за наявності нових фактів повинно бути обрано новий розподіл <math>f</math>, що є якомога важче розрізнити від первинного розподілу <math>f_0</math>; так що нові дані продукують якомога менший приріст інформації <math>D_\text{KL}(f \parallel f_0)</math>.

Наприклад, якщо був апріорний розподіл <math>p(x,a)</math> над <math>x</math> та <math>a</math>, і згодом дізналися, що істинним розподілом <math>a</math> був <math>u(a)</math>, то розходженням Кульбака&nbsp;— Лейблера між новим спільним розподілом для <math>x</math> та <math>a</math>, <math>q(x\mid a)u(a)</math>, та ранішим апріорним розподілом, буде

: <math>D_\text{KL}(q(x \mid a)u(a) \parallel p(x, a)) = \operatorname{E}_{u(a)}\left\{D_\text{KL}(q(x \mid a) \parallel p(x \mid a))\right\} + D_\text{KL}(u(a) \parallel p(a)),</math>

тобто, сума розходження Кульбака&nbsp;— Лейблера <math>p(a)</math>, апріорного розподілу <math>a</math>, від уточненого розподілу <math>u(a)</math>, та математичного сподівання (із застосуванням розподілу ймовірності <math>u(a)</math>) розходження Кульбака&nbsp;— Лейблера апріорного умовного розподілу <math>p(x\mid a)</math> від нового умовного розподілу <math>q(x\mid a)</math>. (Зауважте, що крайнє математичне сподівання часто називають ''умовним розходженням Кульбака&nbsp;— Лейблера'', {{lang-en|conditional Kullback–Leibler divergence}}, (або ''умовною відносною ентропією'', {{lang-en|conditional relative entropy}}), і позначують <math>D_\text{KL}(q(x\mid a) \parallel p(x\mid a))</math><ref>Thomas M. Cover, Joy A. Thomas (1991) ''Elements of Information Theory'' ([[John Wiley & Sons]]) {{ref-en}}</ref>{{rp|с. 22}}) Вона мінімізується, якщо <math>q(x\mid a)=p(x\mid a)</math> над усім носієм <math>u(a)</math>; і зауважмо, що цей результат включає теорему Баєса, якщо новий розподіл <math>u(a)</math> є фактично δ-функцією, що представляє впевненість у тім, що <math>a</math> має одне певне значення.

МРІ можливо розглядати як розширення {{нп|Принцип недостатнього обґрунтування|принципу недостатнього обґрунтування||Principle of Insufficient Reason}} [[Лаплас]]а, та {{нп|Принцип максимуму ентропії|принципу максимальної ентропії||Principle of Maximum Entropy}} {{нп|Е. Т. Джейнс|Е. Т. Джейнса||E.T. Jaynes}}. Зокрема, вона є природним розширенням принципу максимальної ентропії з дискретних на неперервні розподіли, для яких шеннонова ентропія перестає бути настільки корисною (див. [[Диференціальна ентропія|''диференціальну ентропію'']]), але розходження Кульбака&nbsp;— Лейблера залишається настільки ж відповідним.

В інженерній літературі МРІ іноді називають '''принципом мінімальної перехресної ентропії''' (МПЕ, {{lang-en|Principle of Minimum Cross-Entropy, MCE}}), або, для скорочення, {{lang-en|'''Minxent'''}}. Мінімізування розходження Кульбака&nbsp;— Лейблера від <math>m</math> до <math>p</math> по відношенню до <math>m</math> є рівнозначним мінімізуванню перехресної ентропії <math>p</math> та <math>m</math>, оскільки

: <math>\Eta(p, m) = \Eta(p) + D_\text{KL}(p \parallel m),</math>

що є доречним, якщо намагатися обрати адекватне наближення <math>p</math>. Проте так же часто це й ''не'' є завданням, якого намагаються досягти. Натомість, так же часто це <math>m</math> є деякою незмінною апріорною орієнтирною мірою, а <math>p</math> є тим, що намагаються оптимізувати, мінімізуючи <math>D_\text{KL}(p \parallel m)</math> за деякого обмеження. Це призвело до деякої неоднозначності в літературі, і деякі автори намагаються розв'язати цю невідповідність, переозначуючи перехресну ентропію як <math>D_\text{KL}(p \parallel m)</math> замість <math>\Eta(p,m)</math>.

== Відношення до доступної роботи ==
[[Файл:ArgonKLdivergence.png|thumb|220px|right|Графік залежності від тиску та об'єму доступної роботи молю газу [[аргон]]у відносно [[н. у.]], обчисленої як <math>T_o</math> на розходження Кульбака&nbsp;— Лейблера.]]

Коли ймовірності перемножуються, [[Несподіваність|несподіваності]] додаються.<ref>Myron Tribus (1961), ''Thermodynamics and Thermostatics'' (D. Van Nostrand, New York) {{ref-en}}</ref> Несподіваність для події з імовірністю <math>p</math> означено як <math>s = k \ln(1 / p)</math>. Якщо <math>k</math> є <math>\left\{1, 1/\ln 2, 1.38 \times 10^{-23}\right\}</math>, то несподіваність є в <math>\{</math>натах, бітах, або <math>J/K\}</math>, так що, наприклад, у випадінні всіх аверсів при підкиданні <math>N</math> монет є <math>N</math> бітів несподіваності.

Найкращі припущення про стан (наприклад, для атомів у газі) виводять максимізуванням ''усередненої несподіваності'' ({{lang-en|average surprisal}}) <math>S</math> ([[Ентропія|ентропії]]) для заданого набору контрольних параметрів (таких як тиск <math>P</math> чи об'єм <math>V</math>). Це обмежене {{нп|максимізування ентропії|||Entropy maximization}}, як класично,<ref>{{cite journal | last1 = Jaynes | first1 = E. T. | year = 1957 | title = Information theory and statistical mechanics | url = http://bayes.wustl.edu/etj/articles/theory.1.pdf | journal = Physical Review | volume = 106 | issue =  | pages = 620–630 | doi = 10.1103/physrev.106.620 | bibcode = 1957PhRv..106..620J | accessdate = 31 грудня 2018 | archive-date = 14 травня 2011 | archive-url = https://web.archive.org/web/20110514122539/http://bayes.wustl.edu/etj/articles/theory.1.pdf }} {{ref-en}}</ref> так і квантово-механічно,<ref>{{cite journal | last1 = Jaynes | first1 = E. T. | year = 1957 | title = Information theory and statistical mechanics II | url = http://bayes.wustl.edu/etj/articles/theory.2.pdf | journal = Physical Review | volume = 108 | issue =  | pages = 171–190 | doi = 10.1103/physrev.108.171 | bibcode = 1957PhRv..108..171J | accessdate = 31 грудня 2018 | archive-date = 14 травня 2011 | archive-url = https://web.archive.org/web/20110514123605/http://bayes.wustl.edu/etj/articles/theory.2.pdf }} {{ref-en}}</ref> мінімізує [[Джозая Віллард Ґіббз|ґіббзову]] доступність в одиницях ентропії<ref>J.W. Gibbs (1873), "A method of geometrical representation of thermodynamic properties of substances by means of surfaces", reprinted in ''The Collected Works of J. W. Gibbs, Volume I Thermodynamics'', ed. W. R. Longley and R. G. Van Name (New York: Longmans, Green, 1931) footnote page 52. {{ref-en}}</ref> <math>A \equiv -k\ln(Z)</math>, де <math>Z</math> є обмеженою вкладеністю або {{нп|Статистична сума (математика)|статистичною сумою||Partition function (mathematics)}}.

Коли температура <math>T</math> є фіксованою, вільна енергія (<math>T \times A</math>) також мінімізується. Таким чином, якщо <math>T, V</math> та число молекул <math>N</math> є сталими, то [[вільна енергія Гельмгольца]] <math>F \equiv U - TS</math> (де <math>U</math> є енергією) мінімізується, коли система «врівноважується». Якщо <math>T</math> та <math>P</math> утримуються сталими (скажімо, під час процесів у вашому тілі), то натомість мінімізується [[вільна енергія Ґіббза]] <math>G = U + PV - TS</math>. Зміна у вільній енергії за цих умов є мірою доступної [[Термодинамічна робота|роботи]], яку могло би бути виконано в цьому процесі. Таким чином, доступною роботою для [[Ідеальний газ|ідеального газу]] за сталої температури <math>T_o</math> та тиску <math>P_o</math> є <math>W = \Delta G = NkT_o\Theta(V/V_o)</math>, де <math>V_o = NkT_o/P_o</math> та <math>\Theta(x) = x - 1 - \ln x \ge 0</math> (див. також {{нп|нерівність Ґіббза|||Gibbs inequality}}).

Загальніше,<ref>{{cite journal | last1 = Tribus | first1 = M. | last2 = McIrvine | first2 = E. C. | year = 1971 | title = Energy and information | url = | journal = Scientific American | volume = 224 | issue = | pages = 179–186 | doi=10.1038/scientificamerican0971-179| bibcode = 1971SciAm.225c.179T }} {{ref-en}}</ref> [[Ексергія|доступну роботу]] відносно деяких [[Нормальні умови|нормальних умов]] отримують множенням нормальної температури <math>T_o</math> на розходження Кульбака&nbsp;— Лейблера або ''чисту несподіваність'' ({{lang-en|net surprisal}}) <math>\Delta I \ge 0,</math> означену як усереднене значення <math>k\ln(p/p_o)</math>, де <math>p_o</math> є ймовірністю заданого стану за нормальних умов. Наприклад, доступною роботою у врівноважуванні одноатомного ідеального газу до нормальних значень <math>V_o</math> та <math>T_o</math> відтак є <math>W = T_o \Delta I</math>, де розходження Кульбака&nbsp;— Лейблера

: <math>\Delta I = Nk\left[\Theta\left(\frac{V}{V_o}\right) + \frac{3}{2}\Theta\left(\frac{T}{T_o}\right)\right].</math>

Отримані в результаті контури сталого розходження Кульбака&nbsp;— Лейблера для одного молю аргону за стандартної температури та тиску, показані праворуч, наприклад, встановлюють межі для перетворення гарячого на холодне, як у кондиціюванні повітря із застосуванням полум'я, або в пристрої без живлення для перетворення окропу на крижану воду, обговорених тут.<ref>{{cite journal | last1 = Fraundorf | first1 = P. | year = 2007 | title = Thermal roots of correlation-based complexity | url = http://www3.interscience.wiley.com/cgi-bin/abstract/117861985/ABSTRACT | journal = Complexity | volume = 13 | issue = 3 | pages = 18–26 | doi = 10.1002/cplx.20195 | bibcode = 2008Cmplx..13c..18F | arxiv = 1103.2481 | accessdate = 31 грудня 2018 | archive-date = 13 серпня 2011 | archive-url = https://archive.today/20110813083358/http://www3.interscience.wiley.com/cgi-bin/abstract/117861985/ABSTRACT }} {{ref-en}}</ref> Таким чином розходження Кульбака&nbsp;— Лейблера вимірює термодинамічну доступність в бітах.

== Квантова теорія інформації ==

Для [[Матриця густини|матриць густини]] <math>P</math> та <math>Q</math> на [[Гільбертів простір|гільбертовім просторі]] КЛ-розходження (або {{нп|Квантова відносна ентропія|квантову відносну ентропію||Quantum relative entropy}}, як його часто називають у цьому випадку) від <math>Q</math> до <math>P</math> означено як

: <math>D_\text{KL}(P \parallel Q) = \operatorname{Tr}(P(\log(P) - \log(Q))).</math>

У [[Квантова інформатика|квантовій інформатиці]] мінімум <math> D_\text{KL}(P\parallel Q)</math> над усіма окремими станами <math>Q</math> можливо також використовувати як міру [[Квантова заплутаність|заплутаності]] в стані <math>P</math>.

== Відношення між моделями та дійсністю ==

Подібно до того, як розходження Кульбака&nbsp;— Лейблера «чинного від нормального» вимірює термодинамічну доступність, розходження Кульбака&nbsp;— Лейблера «дійсності від моделі» є також корисним, навіть якщо єдиними підказками про дійсність, що ми маємо, є деякі експериментальні вимірювання. В першому випадку розходження Кульбака&nbsp;— Лейблера описує ''відстань до рівноіваги'', або (будучи домноженим на нормальну температуру) величину ''доступної роботи'', тоді як у другому випадку воно каже про несподіванки, що заховала дійсність у своєму рукаві, або, іншим словами, ''скільки модель ще має вчитися''.

Хоча цей інструмент для оцінювання моделей відносно систем, що є доступними експериментально, можна застосовувати в будь-якій галузі, його застосування для обирання [[Статистична модель|статистичної моделі]] через [[інформаційний критерій Акаіке]] описано особливо добре в працях<ref>{{cite journal | last1 = Burnham | first1 = K.P. | last2 = Anderson | first2 = D.R. | year = 2001 | title = Kullback–Leibler information as a basis for strong inference in ecological studies | url = http://www.publish.csiro.au/paper/WR99107.htm | journal = Wildlife Research | volume = 28 | issue =  | pages = 111–119 | doi = 10.1071/WR99107 | accessdate = 31 грудня 2018 | archive-date = 9 травня 2015 | archive-url = https://web.archive.org/web/20150509110150/http://www.publish.csiro.au/paper/WR99107.htm }} {{ref-en}}</ref> та книзі<ref>Burnham, K. P. and Anderson D. R. (2002), ''Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach, Second Edition'' (Springer Science) {{isbn|978-0-387-95364-9}}. {{ref-en}}</ref> Бернема та Андерсона. У двох словах, розходження Кульбака&nbsp;— Лейблера дійсності від моделі можна оцінювати з точністю до сталого адитивного члену функцією (такою як підсумовані квадрати) відхилень, що спостерігаються між даними та прогнозами моделі. Оцінки таких розходжень для моделей, що поділяють спільний адитивний член, можливо своєю чергою використовувати для здійснення вибору серед моделей.

Існують різноманітні оцінювачі, які намагаються мінімізувати розходження Кульбака&nbsp;— Лейблера при намаганні пристосовувати параметризовані моделі, такі як [[Максимальна правдоподібність|максимально-правдоподібнісні]] та {{нп|Максимально-інтервальний оцінювач|максимально-інтервальні||Maximum spacing estimation}} оцінювачі.

== Усиметрене розходження ==

Самі Кульбак та Лейблер насправді означили це розходження як:

: <math>D_\text{KL}(P \parallel Q) + D_\text{KL}(Q \parallel P)</math>

що є симетричним та невід'ємним. Цю величину іноді використовували для [[обирання ознак]] у задачах [[Статистична класифікація|класифікації]], де <math>P</math> та <math>Q</math> є умовними [[Функція густини імовірності|ФГІ]] ознаки за двох різних випадків.

Альтернатива дається через <math>\lambda</math>-розходження,

: <math>D_\lambda(P \parallel Q) = \lambda D_\text{KL}(P \parallel \lambda P + (1 - \lambda)Q) + (1 - \lambda) D_\text{KL}(Q \parallel \lambda P + (1 - \lambda)Q),</math>

яке можливо інтерпретувати як очікуваний приріст інформації про <math>X</math> від виявлення того, з якого розподілу вибирається <math>X</math>, з <math>P</math> чи з <math>Q</math>, якщо вони поточно мають імовірності <math>\lambda</math> та <math>1-\lambda</math> відповідно.{{Clarify|date=грудень 2018}} {{Citation needed|date=грудень 2018}}

Значення <math>\lambda = 0.5</math> дає {{нп|Розходження Єнсена — Шеннона|розходження Єнсена&nbsp;— Шеннона||Jensen–Shannon divergence}}, означене як

: <math>D_\text{JS} = \frac{1}{2} D_\text{KL} (P \parallel M) + \frac{1}{2} D_\text{KL}(Q \parallel M)</math>

де <math>M</math> є усередненням цих двох розподілів,

: <math>M = \frac{1}{2}(P + Q).</math>

<math>D_{JS}</math> також можливо інтерпретувати як ємність зашумленого інформаційного каналу з двома входами, що дають виходові розподіли <math>P</math> та <math>Q</math>. Розходження Єнсена&nbsp;— Шеннона, як і всі ''f''-розходження, є ''локально'' пропорційним до {{нп|Фішерова інформаційна метрика|фішерової інформаційної метрики||Fisher information metric}}. Воно є подібним до {{нп|Хелінґерова метрика|хелінґерової метрики||Hellinger metric}} (в тому сенсі, що воно зумовлює такий самий афінний зв'язок на {{нп|Статистичний многовид|статистичному многовиді||Statistical manifold}}).

== Відношення до інших мір імовірнісної відстані ==

Існує багато інших важливих мір {{нп|Статистична відстань|ймовірнісної відстані||Statistical distance}}. Деякі з них є особливо пов'язаними з розходженням Кульбака&nbsp;— Лейблера. Наприклад:

* {{нп|Повно-варіаційна відстань|||Total variation distance of probability measures}}, <math>\delta(p,q)</math>. Вона є пов'язаною з цим розходженням через {{нп|нерівність Прінскера|||Pinsker's inequality}}: <math>\delta(P, Q) \le \sqrt{\frac{1}{2} D_\text{KL}(P \parallel Q)}</math>
* Сімейство [[Розходження Реньї|розходжень Реньї]] забезпечує узагальнення розходження Кульбака&nbsp;— Лейблера. Залежно від значення певного параметру, <math>\alpha</math>, може бути виведено різноманітні нерівності.

До інших примітних мір відстані належать {{нп|хелінґерова відстань|||Hellinger distance}}, ''перетин гістограм'' ({{lang-en|histogram intersection}}), ''[[Критерій хі-квадрат|хі-квадратова статистика]]'', ''відстань квадратичного вигляду'' ({{lang-en|quadratic form distance}}), {{нп|Збігова відстань|''збігова відстань''||Matching distance}}, ''[[Критерій Колмогорова — Смирнова|відстань Колмогорова&nbsp;— Смирнова]]'' та {{нп|Бульдозерна відстань|''бульдозерна відстань''||Earth mover's distance}}.<ref name="earth">{{cite journal | last1 = Rubner | first1 = Y. | authorlink3 = Леонідас Ґібас | last2 = Tomasi | first2 = C. | last3 = Guibas | first3 = L. J. | year = 2000 | title = The earth mover's distance as a metric for image retrieval | url = | journal = {{нп|International Journal of Computer Vision}} | volume = 40 | issue = 2| pages = 99–121 }} {{ref-en}}</ref>

== Віднімання даних ==
{{Докладніше1|{{нп|Віднімання даних|||Data differencing}}}}

Так само, як ''абсолютна'' ентропія слугує теоретичною основою для [[Стискання даних|''стискання'' даних]], ''відносна'' ентрпоія слугує теоретичною основою для {{нп|Віднімання даних|''віднімання'' даних||Data differencing}}&nbsp;— де абсолютна ентропія набору даних в цьому сенсі є даними, необхідними для його відтворення (мінімальний стиснений розмір), в той час як відносна ентропія цільового набору даних за заданого первинного набору даних є даними, необхідними для відтворення цільового ''за заданого'' первинного (мінімальний розмір [[Латка|латки]]).

== Див. також ==
{{Div col|colwidth=20em}}
* [[Баєсів інформаційний критерій]]
* {{нп|Брегманове розходження|||Bregman divergence}}
* {{нп|Ентропійна ризикована вартість|||Entropic value at risk}}
* [[Інформаційний критерій Акаіке]]
* {{нп|Інформаційний критерій відхилення|||Deviance information criterion}}
* {{нп|Квантова відносна ентропія|||Quantum relative entropy}}
* {{нп|Коефіцієнт приросту інформації|||Information gain ratio}}
* {{нп|Нерівність ентропійної потужності|||Entropy power inequality}}
* [[Перехресна ентропія]]
* {{нп|Приріст інформації в деревах рішень|||Information gain in decision trees}}
* {{нп|Розходження Єнсена — Шеннона|||Jensen–Shannon divergence}}
* [[Соломон Кульбак]] та {{нп|Річард Лейблер|||Richard Leibler}}
* {{нп|Теорія інформації та теорія міри|||Information theory and measure theory}}
* [[Ентропія Реньї]]
{{div col end}}

== Примітки ==
{{Reflist|30em}}

== Посилання ==
* [https://bitbucket.org/szzoli/ite/ Information Theoretical Estimators Toolbox] {{Webarchive|url=https://web.archive.org/web/20190101051735/https://bitbucket.org/szzoli/ite/ |date=1 січня 2019 }}
* [https://github.com/evansenter/diverge «Камінчик» Ruby для обчислення розходження Кульбака&nbsp;— Лейблера] {{Webarchive|url=https://web.archive.org/web/20180610234557/https://github.com/evansenter/diverge |date=10 червня 2018 }}
* [https://arxiv.org/abs/1404.2000 Посібник Йона Шленза з розходження Кульбака&nbsp;— Лейблера та теорії правдоподібності] {{Webarchive|url=https://web.archive.org/web/20190101051633/https://arxiv.org/abs/1404.2000 |date=1 січня 2019 }} {{ref-en}}
* [http://www.mathworks.com/matlabcentral/fileexchange/loadFile.do?objectId=13089&objectType=file Код Matlab для обчислення розходження Кульбака&nbsp;— Лейблера для дискретних розподілів] {{Webarchive|url=https://web.archive.org/web/20070929155435/http://www.mathworks.com/matlabcentral/fileexchange/loadFile.do?objectId=13089&objectType=file |date=29 вересня 2007 }}
* [[Серхіо Верду]], [http://videolectures.net/nips09_verdu_re/ Відносна ентропія] {{Webarchive|url=https://web.archive.org/web/20181225205234/http://videolectures.net/nips09_verdu_re/ |date=25 грудня 2018 }}, {{нп|Conference on Neural Information Processing Systems|NIPS}} 2009. Одногодинна відеолекція. {{ref-en}}
* [https://arxiv.org/abs/math/0604246 Сучасне резюме теоретико-інформаційних мір розходження] {{Webarchive|url=https://web.archive.org/web/20190101051644/https://arxiv.org/abs/math/0604246 |date=1 січня 2019 }} {{ref-en}}

[[Категорія:Ентропія й інформація]]
[[Категорія:Інформаційна геометрія]]
[[Категорія:Термодинаміка]]