Перегляд вихідного коду сторінки Перехресна ентропія

{{Теорія інформації}}
У [[Теорія інформації|теорії інформації]] '''перехресна ентропія''' між двома [[Розподіл ймовірностей|розподілами ймовірності]] <math>p</math> та <math>q</math> над спільним простором подій вимірює середню кількість [[біт]], необхідних для впізнання події з простору подій, якщо схема кодування, що використовується, базується на розподілі ймовірностей <math>q</math>, замість «істинного» розподілу <math>p</math>.

== Визначення ==
Перехресна ентропія двох розподілів <math>p</math> і <math>q</math> на тому самому [[Ймовірнісний простір|ймовірнісному просторі]] визначається наступним чином:

: <math>\mathrm{H}(p, q) = \mathrm{E}_p[-\log q]</math>.

Вираз можна переформулювати за допомогою <math>D_{\mathrm{KL}}(p || q)</math>&nbsp;— [[Розходження Кульбака — Лейблера|дивергенції Кульбака&nbsp;— Лейблера]] від <math>q</math> до <math>p</math> (також відома як ''відносна ентропія'' <math>p</math> відносно <math>q</math>)
: <math>\mathrm{H}(p, q) = \mathrm{H}(p) + D_{\mathrm{KL}}(p \| q)\!</math>,

де <math>H(p)</math>&nbsp;— [[Інформаційна ентропія|ентропія]] <math>p</math>.

Для [[Випадкова величина#Дискретна випадкова величина|дискретного]] випадку <math>p</math> і <math>q</math> над одним і тим же {{Нп|Носій міри|носієм||Support (measure theory)}} <math>\mathcal{X}</math> це значить, що

{{Equation box 1
|indent =
|title=
|equation = {{NumBlk||<math>H(p,q) = -\sum_{x\in\mathcal{X}} p(x)\, \log q(x)</math>|{{EquationRef|Рів. 1}}}}
|cellpadding= 6
|border
|border colour = #0073CF
|background colour=#F5FFFA}}

Для [[Випадкова величина#Неперервна випадкова величина|неперервного]] розподілу аналогічна ситуація. Ми припускаємо, що <math>p</math> та <math>q</math> [[Абсолютна неперервність|абсолютно неперервні]] відносно деякої [[Міра множини|міри]] <math>r</math> (зазвичай <math>r</math> є [[Міра Лебега|мірою Лебега]] на [[Борелева множина|борелевій]] [[Сигма-алгебра|σ-алгебрі]]). Нехай <math>P</math> та <math>Q</math> будуть функціями густини ймовірностей <math>p</math> та <math>q</math> відносно <math>r</math>. Тоді
{{Equation box 1
|indent =
|title=
|equation = {{NumBlk||<math>H(p,q) = -\int_\mathcal{X} P(x)\, \log Q(x)\, dr(x)</math>|{{EquationRef|Рів.2}}}}
|cellpadding= 6
|border
|border colour = #0073CF
|background colour=#F5FFFA}}

'''NB''': Запис <math>\mathrm{H}(p,q)</math> іноді використовується як для перехресної ентропії, так і для [[спільна ентропія|спільної ентропії]] <math>p</math> і <math>q</math>.

== Мінімізація перехресної ентропії ==

[[Метод перехресної ентропії|Мінімізація перехресної ентропії]] часто використовується під час [[оптимізація|оптимізації]] та для оцінки імовірностей рідкісних випадків.

== Застосування у машинному навчанні ==
У контексті [[Машинне навчання|машинного навчання]] перехресна ентропія &nbsp;— це міра похибки для задачі {{нп|багатокласова класифікація|багатокласової класифікації||Multiclass classification}}. Зазвичай «істинний» розподіл (той, якому намагається відповідати алгоритм машинного навчання) виражається в термінах [[Унітарний код|унітарного кодування]].

Наприклад, припустимо, що для конкретного навчального екземпляра справжньою міткою є B з можливих міток A, B і C. Таким чином, унітарний розподіл для цього навчального екземпляра буде:
{| class="wikitable"
|-
! Pr(Class A) !! Pr(Class B) !! Pr(Class C)
|-
|    0.0 ||         1.0 ||     0.0
|}

Ми можемо інтерпретувати наведений вище істинний розподіл так, що навчальний екземпляр має <nowiki>0%</nowiki> ймовірності бути класом A, <nowiki>100%</nowiki> ймовірності бути класом B і <nowiki>0%</nowiki> ймовірністю бути класом C.

Тепер припустимо, що алгоритм машинного навчання прогнозує такий розподіл ймовірностей:
{| class="wikitable"
|-
! Pr(Class A) !! Pr(Class B) !! Pr(Class C)
|-
|    0.10 ||         0.70 ||     0.20
|}

Наскільки близький прогнозований розподіл до справжнього? Саме це визначає перехресна ентропія, якщо її обрано як [[Функція втрат|функцію втрати]]. Застосуємо формулу (Рів. 1):
: <math>H(p,q) = - (0.0*\ln(0.1) + 1.0*\ln(0.7) + 0.0*\ln(0.2)) = -\ln(0.7) \approx 0.36 </math>

== Див. також ==
* [[Метод перехресної ентропії]]
* [[Інформаційна ентропія]]
* [[Умовна ентропія]]
* [[Метод максимальної правдоподібності]]
* [[Взаємна інформація]]

{{Без джерел|дата=січень 2017}}
{{Перекласти|en|Cross entropy|дата=січень 2017}}
{{Інформатика-доробити|дата=січень 2017}}

[[Категорія:Ентропія й інформація]]
[[Категорія:Функції втрат]]