Логарифмічна ймовірність

Логарифмічна ймовірність (Шаблон:Lang-en) в теорії ймовірностей та інформатиці, це просто логарифм імовірності. Його використання означає представлення ймовірності в логаритмічній шкалі $(-\inf ,0]$, замість звичайного одиничного інтервалу $[0,1]$.

Так як ймовірності незалежних подій перемножуються, а логарифми перетворюють множення на додавання, логарифмічні ймовірності незалежних подій додаються. Через це вони доволі зручні для обчислень, і мають інтуїтивне представлення в теорії інформації: від'ємне значення середньої логарифмічної ймовірності, є інформаційною ентропією події. Подібно, функція правдоподібності перетворюються в логарифмічний масштаб і логарифмічну правдоподібність можна інтерпретувати як міру до якої подія підтримує статистичну модель. Логарифм ймовірності часто застосовується в задачах обробки природньої мови.

Переваги

Представлення ймовірності в цьому форматі має кілька практичних переваг:

1. Швидкість. Множення обчислювально дорожче ніж додавання, тому отримання ймовірності багатьох подій часто швидше, якщо вони представлені в логарифмічній формі. (Саме логарифмічне перетворення складне, але виконується лише раз)
2. Точність. Використання логарифмів покращує числову стійкість, коли ймовірності дуже малі, через формат задання чисел в комп'ютері.
3. Простота. Багато розподілів ймовірностей мають експоненційну форму. Якщо взяти логарифм цих розподілів, експоненційна функція пропадає. Наприклад, логарифм густини ймовірності нормального розподілу це $-((x-m_x)/{\sigma }_m{)}^2+C$ замість $C_2\exp (-((x-m_x)/{\sigma }_m{)}^2)$.

Проблеми з представленням

Функція логарифму не визначена для нуля, тому логарифмічні ймовірності не можуть задавати неможливі події.

Основні операції

Позначимо логарифмічні ймовірності штрихом:

$x^{\prime }=\log (x)\in ℝ$

$y^{\prime }=\log (y)\in ℝ$

Добуток ймовірностей $x\cdot y$ відповідає додаванню в логарифмічному просторі.

$\log (x\cdot y)=\log (x)+\log (y)=x^{\prime }+y^{\prime }.$

Додавання

$\begin{array}{cc}& \log (x+y)\\ =& \log (x+x\cdot y/x)\\ =& \log (x+x\cdot \exp (\log (y/x)))\\ =& \log (x\cdot (1+\exp (\log (y)-\log (x))))\\ =& \log (x)+\log (1+\exp (\log (y)-\log (x)))\\ =& x^{\prime }+\log (1+\exp (y^{\prime }-x^{\prime }))\end{array}$

Формула вище є точнішою за $\log (e^{x^{\prime }}+e^{y^{\prime }})$, особливо якщо скористатися асиметрією. Як $x^{\prime }$ краще використати більше (менш негативне) значення. Правильно обране $x^{\prime }$ також дає коректні значення, якщо один з аргументів - -INF, що відповідає нульовій ймовірності.

$-\mathrm{\infty }+\log (1+\exp (y^{\prime }-(-\mathrm{\infty })))=-\mathrm{\infty }+\mathrm{\infty }$. Це значення невизначене, і дасть NaN.

$x^{\prime }+\log (1+\exp (-\mathrm{\infty }-x^{\prime }))=x^{\prime }+0$. Це правильне значення.

Використання тільки цієї формули даватиме невизначені результати якщо обидва аргументи дорівнюють $-\mathrm{\infty }$. Цей випадок треба розглядати окремо і повертати $-\mathrm{\infty }$.

Також, для обчислення $\log (1+x)$ краще використовувати спеціалізовану функцію log1p.

Див. також

• Власна інформація
• Логарифмічна правдоподібність