Оцінка апостеріорного максимуму

Оці́нка ма́ксимуму апостеріо́рної імові́рності (МАІ, Шаблон:Lang-en) у баєсовій статистиці — це мода апостеріорного розподілу. МАІ може застосовуватися для отримання точкової оцінки неспостережуваної величини на базі емпіричних даних. Вона є тісно пов'язаною з методом максимальної правдоподібності (МП, Шаблон:Lang-en) Фішера, але застосовує розширену цільову функцію, що включає апріорний розподіл оцінюваної величини. Таким чином, МАІ можна розглядати як регуляризацію оцінки МП.

Опис

Припустімо, що ми хочемо оцінити неспостережуваний параметр розподілу $\theta$ на базі спостережень $x$. Нехай $f$ буде вибірковим розподілом $x$, так що $f(x|\theta )$ є ймовірністю $x$, коли підлеглий параметр розподілу є $\theta$. Тоді функція

$\theta \mapsto f(x|\theta )$

є відомою як функція правдоподібності, а оцінка

${\hat{\theta }}_{\mathrm{M}\mathrm{L}}(x)=\underset{\theta }{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}f(x|\theta )$

є оцінкою максимальної правдоподібності $\theta$.

Тепер припустімо, що існує апріорний розподіл $\theta$, $g$. Це дозволяє нам розглядати $\theta$ як випадкову змінну в баєсовій статистиці. Тоді апостеріорний розподіл $\theta$ є наступним:

$\theta \mapsto f(\theta |x)=\frac{f(x|\theta )g(\theta )}{\underset{\vartheta \in \mathrm{\Theta }}{\int }f(x|\vartheta )g(\vartheta )d\vartheta }$

де $g$ є функцією густини $\theta$, а $\mathrm{\Theta }$ є областю визначення $g$. Це є прямим застосуванням теореми Баєса.

Відтак метод оцінки апостеріорного максимуму оцінює $\theta$ як моду апостеріорного розподілу цієї випадкової змінної:

${\hat{\theta }}_{\mathrm{M}\mathrm{A}\mathrm{P}}(x)=\underset{\theta }{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}\frac{f(x|\theta )g(\theta )}{\underset{\vartheta }{\int }f(x|\vartheta )g(\vartheta )d\vartheta }=\underset{\theta }{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}f(x|\theta )g(\theta ).$

Знаменник цього апостеріорного розподілу (так звана Шаблон:Не перекладено) не залежить від $\theta$, і тому не відіграє ролі в оптимізації. Зверніть увагу, що коли апріорне $g$ є рівномірним (тобто сталою функцією), то оцінка $\theta$ МАІ збігається з оцінкою МП. І що коли функція втрат має вигляд

$L(\theta ,a)=\{\begin{array}{cc}0& \text{, if }|a-\theta |<c\\ 1& \text{, otherwise}\end{array}$

та $c$ прямує до 0, то послідовність баєсових оцінок наближається до оцінювача МАІ, за умови, що розподіл $\theta$ є одномодовим. Але в цілому оцінювач МАІ не є баєсовим оцінювачем, хіба що якщо $\theta$ є дискретною.

Обчислення

Оцінку МАІ може було обчислювано кількома шляхами:

1. Аналітичним, коли моду (моди) апостеріорного розподілу може бути задано в Шаблон:Не перекладено. Це той випадок, коли застосовуються спряжені апріорні.
2. Шляхом чисельної оптимізації, такої як метод спряжених градієнтів або метод Ньютона. Це зазвичай вимагає перших або других похідних, що має бути виражено чи то аналітично, чи то чисельно.
3. Шляхом видозміни алгоритму очікування-максимізації. Це не вимагає похідних апостеріорної густини.
4. Методом Монте-Карло із застосуванням імітації відпалу.

Критика

Хоча оцінка МАІ і є границею баєсових оцінок (при функції втрат 0-1), вона не є типовим представником баєсових методів у цілому. Причина в тому, що оцінки МАІ є точковими, тоді як баєсові методи характеризуються використанням розподілів для підсумовування даних та видачі висновків: так, баєсові методи тяжіють замість цього до повідомлення апостеріорного середнього або медіани разом із імовірними інтервалами. В обох випадках причиною є те, що ці оцінки є оптимальними при втратах із квадратичною або лінійною помилкою відповідно, — а вони є характернішими представниками типових функцій втрат, — і те, що апостеріорний розподіл може не мати простої аналітичної форми: в такому випадку цей розподіл може бути симульовано за допомогою методик Монте-Карло марковських ланцюгів, тоді як оптимізація для пошуку цієї моди (мод) може бути складною, або неможливою.Шаблон:Citation needed

Приклад густини бімодального розподілу, в якому найвища мода є не характерною для більшості розподілу

У багатьох типах моделей, як наприклад Шаблон:Не перекладено, апостеріорне може бути бімодальним. У такому разі звичною порадою є обирати найвищу моду: це не завжди є прийнятним (глобальна оптимізація є складною задачею), а в деяких випадках навіть і неможливим (як при виникненні проблем Шаблон:Не перекладено). До того ж, найвища мода може бути не характерною для більшості апостеріорного.

Нарешті, на відміну від оцінок МП, оцінка МАІ не є Шаблон:Не перекладено. Перемикання з однієї параметризації на іншу включає введення якобіану, що впливає на положення максимуму.

Як приклад різниці між згаданими вище баєсовими оцінками (середнього та медіани) та використанням оцінки МАІ, розгляньмо випадок, коли необхідно класифікувати входи $x$ як або позитивні, або негативні (наприклад, позички як ризиковані або безпечні). Припустімо, що існує лише три можливі гіпотези правильного методу класифікації, $h_1$, $h_2$ and $h_3$, з апостеріорними 0.4, 0.3 та 0.3 відповідно. Припустімо, що заданий новий зразок $x$ гіпотеза $h_1$ класифікує як позитивний, тоді як дві інші — як негативний. При застосуванні оцінки МАІ для точного класифікатора $h_1$, $x$ класифікується як позитивний, тоді як баєсові оцінки зробили би усереднення над усіма гіпотезами, та класифікували би $x$ як негативний.

Приклад

Припустімо, що нам дано послідовність $(x_1,\dots ,x_n)$ незалежних однаково розподілених випадкових змінних $N(\mu ,{\sigma }_v^2)$ та апріорний розподіл $\mu$, заданий $N({\mu }_0,{\sigma }_m^2)$. Ми хочемо отримати оцінку МАІ $\mu$.

Функцію, що потрібно максимізувати, задано як

$f(\mu )f(x|\mu )=\pi (\mu )L(\mu )=\frac{1}{\sqrt{2\pi }{\sigma }_m}\exp (-\frac{1}{2}{\left(\frac{\mu -{\mu }_0}{{\sigma }_m}\right)}^2)\prod _{j=1}^n\frac{1}{\sqrt{2\pi }{\sigma }_v}\exp (-\frac{1}{2}{\left(\frac{x_j-\mu }{{\sigma }_v}\right)}^2),$

що є еквівалентним мінімізації наступної функції $\mu$:

$\sum _{j=1}^n{\left(\frac{x_j-\mu }{{\sigma }_v}\right)}^2+{\left(\frac{\mu -{\mu }_0}{{\sigma }_m}\right)}^2.$

Отже, ми бачимо, що оцінка МАІ для μ задається як

${\hat{\mu }}_{MAP}=\frac{n{\sigma }_m^2}{n{\sigma }_m^2+{\sigma }_v^2}\left(\frac{1}{n}\sum _{j=1}^n{x}_j\right)+\frac{{\sigma }_v^2}{n{\sigma }_m^2+{\sigma }_v^2}{\mu }_0,$

що виявляється лінійною інтерполяцією середнього апріорного та середнього вибірки, зважену за їхніми відповідними коваріаціями.

Випадок ${\sigma }_m\to \mathrm{\infty }$ називається неінформативним апріорним, і веде до недовизначеного апріорного розподілу ймовірності; в цьому випадку ${\hat{\mu }}_{MAP}\to {\hat{\mu }}_{ML}.$

Шаблон:Refimprove

Джерела

• M. DeGroot, Optimal Statistical Decisions, McGraw-Hill, (1970). Шаблон:Ref-en
• Harold W. Sorenson, (1980) "Parameter Estimation: Principles and Problems", Marcel Dekker. Шаблон:Ref-en

Шаблон:Статистика