Баєсова оцінка

Шаблон:Баєсова статистика

У теорії оцінювання та теорії рішень ба́єсова оці́нка або ба́єсова дія є оцінкою або Шаблон:Не перекладено, що мінімізує апостеріорне математичне сподівання функції втрат (тобто, апостеріо́рні очі́кувані втра́ти). Рівносильно, вона максимізує апостеріорне математичне сподівання функції корисності. Альтернативним способом формулювання оцінки в баєсовій статистиці є оцінка апостеріорного максимуму.

Визначення

Припустімо, нам відомо, що невідомий параметр θ має апріорний розподіл $\pi$. Нехай $\hat{\theta }=\hat{\theta }(x)$ буде оцінкою θ (на підставі первних вимірювань x), та нехай $L(\theta ,\hat{\theta })$ буде функцією втрат, наприклад, квадратичною похибкою. Ба́єсів ри́зик $\hat{\theta }$ визначають як $E_{\pi }(L(\theta ,\hat{\theta }))$, де береться математичне сподівання від розподілу ймовірності $\theta$: це визначає функцію ризику як функцію від $\hat{\theta }$. Про оцінку $\hat{\theta }$ кажуть, що вона є баєсовою оцінкою, якщо вона мінімізує баєсів ризик серед усіх оцінок. Рівноцінно, оцінка, що мінімізує апостеріорне математичне сподівання втрат $E(L(\theta ,\hat{\theta })|x)$ для кожного x також мінімізує й баєсів ризик, а отже є баєсовою оцінкою.Шаблон:Sfn

Якщо апріорне є некоректним, то оцінка, що мінімізує апостеріорне математичне сподівання втрат для кожного x, називається узага́льненою ба́єсовою оці́нкою.Шаблон:Sfn

Приклади

Оцінка мінімальної середньоквадратичної похибки

Найпоширенішою функцією ризику, що застосовується для баєсової оцінки, є середньоквадратична похибка (СКП, Шаблон:Lang-en), що також називають квадратичним ризиком похибки. СКП визначається як

$\mathrm{M}\mathrm{S}\mathrm{E}=E[(\hat{\theta }(x)-\theta {)}^2],$

де математичне сподівання береться над спільним розподілом $\theta$ та $x$.

Апостеріорне середнє

При використанні СКП як ризику баєсова оцінка невідомого параметру є просто середнім значенням апостеріорного розподілу,

$\hat{\theta }(x)=E[\theta |x]=\int \theta p(\theta |x)d\theta .$

Це відомо як оцінка мінімальної середньоквадратичної похибки (МСКП, Шаблон:Lang-en). Баєсів ризик у цьому випадку є апостеріорною дисперсією.

Баєсові оцінки для спряжених апріорних

Якщо немає неусувної підстави віддавати перевагу одному апріорному розподілові перед іншим, іноді для спрощення обирають спряжений апріорний розподіл. Спряжений апріорний розподіл визначається як апріорний розподіл, що належить до Шаблон:Не перекладено, для якого результатний апостеріорний розподіл також належить до цього ж сімейства. Це є важливою властивістю, оскільки баєсову оцінку, так само як і її статистичні властивості (дисперсію, довірчий інтервал тощо), може бути виведено з апостеріорного розподілу.

Спряжені апріорні є особливо зручними для послідовного оцінювання, коли апостеріорне поточного вимірювання використовується як апріорне в наступному вимірюванні. У послідовному оцінюванні, якщо не використовуються спряжені апріорні, апостеріорний розподіл типово стає складнішим із кожним доданим вимірюванням, і баєсову оцінку зазвичай неможливо обчислювати без удавання до чисельних методів.

Нижче наведено деякі приклади спряжених апріорних.

• Якщо x|θ є нормальним, x|θ ~ N(θ,σ²) та апріорне є нормальним, θ ~ N(μ,τ²), тоді апостеріорне також є нормальним, а баєсова оцінка при СКП задається як

$\hat{\theta }(x)=\frac{{\sigma }^2}{{\sigma }^2+{\tau }^2}\mu +\frac{{\tau }^2}{{\sigma }^2+{\tau }^2}x.$

• Якщо x₁,…,x_n є незалежними однаково розподіленими пуассонівськими випадковими змінними x_i|θ ~ P(θ), та апріорне є гамма-розподіленим θ ~ G(a, b), тоді апостеріорне є також гамма-розподіленим, а баєсова оцінка при СКП задається як

$\hat{\theta }(X)=\frac{n\bar{X}+a}{n+\frac{1}{b}}.$

• Якщо x₁,…,x_n є незалежними однаково розподіленими неперервними рівномірними x_i|θ~U(0,θ), а апріорне є паретівським θ~Pa(θ₀,a), тоді апостеріорне також має розподіл Парето, а баєсова оцінка при СКП задається як

$\hat{\theta }(X)=\frac{(a+n)\max ({\theta }_0,x_1,...,x_n)}{a+n-1}.$

Альтернативні функції ризику

Функції ризику обираються в залежності від способу вимірювання відстані між оцінкою та невідомим параметром. Найпоширенішою функцією ризику у вжитку є СКП, головно завдяки її простоті. Проте іноді використовуються й альтернативні функції ризику. Далі наведено декілька прикладів таких альтернатив. Ми позначаємо функцію апостеріорного узагальненого розподілу через $F$.

Апостеріорна медіана та інші квантилі

• «Лінійна» функція втрат, з $a>0$, що видає як баєсову оцінку Шаблон:Нпні:

$L(\theta ,\hat{\theta })=a|\theta -\hat{\theta }|$

$F(\hat{\theta }(x)|X)=\frac{1}{2}.$

• Інша «лінійна» функція втрат, що призначає різну «вагу» $a,b>0$ для пере- та недооцінки. Вона видає квантиль апостеріорного розподілу, і є узагальненням попередньої функції втрат:

$L(\theta ,\hat{\theta })=\{\begin{array}{cc}a|\theta -\hat{\theta }|,& \text{for }\theta -\hat{\theta }\ge 0\\ b|\theta -\hat{\theta }|,& \text{for }\theta -\hat{\theta }<0\end{array}$

$F(\hat{\theta }(x)|X)=\frac{a}{a+b}.$

Апостеріорна мода

• Наступна функція втрат є хитрішою: вона видає або апостеріорну моду, або близьку до неї точку, в залежності від кривизни та властивостей апостеріорного розподілу. Малі значення параметру $K>0$ рекомендуються для того, щоби використовувати цю моду як наближення ($L>0$):

$L(\theta ,\hat{\theta })=\{\begin{array}{cc}0,& \text{for }|\theta -\hat{\theta }|<K\\ L,& \text{for }|\theta -\hat{\theta }|\ge K.\end{array}$

Може бути задумано й інші функції втрат, незважаючи на те, що середньоквадратична похибка є найширше вживаною й перевіреною.

Узагальнені баєсові оцінки

Апріорний розподіл $p$ досі вважався правильним розподілом ймовірності, в тому сенсі, що

$\int p(\theta )d\theta =1.$

Проте іноді це може бути обмежувальною вимогою. Наприклад, не існує розподілу (що покриває множину R усіх дійсних чисел), для якого будь-яке дійсне число є однаково ймовірним. Ще, у певному сенсі, такий «розподіл» виглядає як природний вибір неінформативного апріорного, тобто такий апріорний розподіл, що не віддає переваги жодному конкретному значенню невідомого параметра. Все ще можна визначити функцію $p(\theta )=1$, але вона вже не буде коректним апріорним розподілом ймовірності, оскільки вона має нескінченну масу,

$\int p(\theta )d\theta =\mathrm{\infty }.$

Такі міри $p(\theta )$, що не є розподілами ймовірності, називаються некоректними апріорними.

Використання некоректного апріорного означає, що баєсів ризик є невизначеним (оскільки апріорне не є розподілом ймовірності, й ми не можемо взяти його математичне сподівання). Як наслідок, вже немає сенсу говорити про баєсову оцінку, що мінімізує баєсів ризик. Тим не менш, у багатьох випадках можна визначити апостеріорний розподіл

$p(\theta |x)=\frac{p(x|\theta )p(\theta )}{\int p(x|\theta )p(\theta )d\theta }.$

Це є визначенням, але не застосуванням теореми Баєса, оскільки теорему Баєса можна застосовувати лише якщо всі розподіли є коректними. Проте для результатного «апостеріорного» не є незвичним бути чинним розподілом ймовірності. В такому випадку апостеріорні очікувані втрати

$\int L(\theta ,a)p(\theta |x)d\theta$

є добре визначеними та скінченними. Нагадаймо, що для коректного апріорного баєсова оцінка мінімізує апостеріорні очікувані втрати. Коли апріорне є некоректним, оцінка, що мінімізує апостеріорні очікувані втрати, називається узага́льненою ба́єсовою оці́нкою.Шаблон:Sfn

Приклад

Типовим прикладом є оцінювання коефіцієнту зсуву з функцією втрат типу $L(a-\theta )$. Тут $\theta$ є коефіцієнтом зсуву, тобто $p(x|\theta )=f(x-\theta )$.

В такому випадку є звичним застосовувати некоректне апріорне $p(\theta )=1$, особливо якщо ніякої іншої суб'єктивнішої інформації немає в наявності. Це дає

$p(\theta |x)=\frac{p(x|\theta )p(\theta )}{p(x)}=\frac{f(x-\theta )}{p(x)}$

таким чином, апостеріорні очікувані втрати дорівнюють

$E[L(a-\theta )|x]=\int L(a-\theta )p(\theta |x)d\theta =\frac{1}{p(x)}\int L(a-\theta )f(x-\theta )d\theta .$

Узагальнена баєсова оцінка є значенням $a(x)$, що мінімізує цей вираз для заданого $x$. Це є еквівалентним мінімізації

$\int L(a-\theta )f(x-\theta )d\theta$ для заданого $x.$        (1)

В цьому випадку може бути показано, що узагальнений баєсів оцінювач може мати вигляд $x+a_0$, для деякої сталої $a_0$. Щоби побачити це, нехай $a_0$ буде значенням, що мінімізує (1), коли $x=0$. Тоді, маючи інше значення $x_1$, ми мусимо мінімізувати

$\int L(a-\theta )f(x_1-\theta )d\theta =\int L(a-x_1-{\theta }^{\prime })f(-{\theta }^{\prime })d{\theta }^{\prime }.$        (2)

Це є ідентичним до (1), крім того, що $a$ було замінено на $a-x_1$. Отже, вираз, що мінімізується, задається як $a-x_1=a_0$, тому оптимальна оцінка має вигляд

$a(x)=a_0+x.$

Емпіричні баєсові оцінки

Баєсова оцінка, виведена Шаблон:Не перекладено, називається емпіри́чною ба́єсовою оці́нкою. Емпіричний баєсів метод дозволяє при побудові баєсової оцінки використовувати додаткові емпіричні дані зі спостережень пов'язаних параметрів. Це робиться із припущення, що оцінювані параметри отримуються зі спільного апріорного. Наприклад, якщо виконуються незалежні спостереження різних параметрів, то продуктивність оцінки певного параметру іноді може бути покращено за рахунок використання даних з інших спостережень.

Існують Шаблон:Не перекладено та Шаблон:Не перекладено підходи до емпіричної баєсової оцінки. Параметричному емпіричному Баєсові зазвичай віддається перевага, оскільки він є застосовнішим та точнішим на малих об'ємах даних.Шаблон:Sfn

Приклад

Далі наведено простий приклад параметричної емпіричної баєсової оцінки. При заданих спостереженнях $x_1,\dots ,x_n$, що мають умовний розподіл $f(x_i|{\theta }_i)$, потрібно оцінити ${\theta }_{n+1}$ на базі $x_{n+1}$. Припустімо, що ${\theta }_i$ мають спільне апріорне $\pi$, що залежить від невідомих параметрів. Наприклад, нехай $\pi$ є нормальним розподілом із невідомим середнім значенням ${\mu }_{\pi }$ та дисперсією ${\sigma }_{\pi }.$ Тоді ми можемо використовувати минулі спостереження для визначення середнього значення та дисперсії $\pi$ наступним чином.

Спочатку ми оцінюємо середнє значення ${\mu }_m$ та дисперсію ${\sigma }_m$ відособленого розподілу $x_1,\dots ,x_n$ за допомогою підходу максимальної правдоподібності:

${\hat{\mu }}_m=\frac{1}{n}\sum x_i,$

${\hat{\sigma }}_m^2=\frac{1}{n}\sum (x_i-{\hat{\mu }}_m{)}^2.$

Далі ми використовуємо відношення

${\mu }_m=E_{\pi }[{\mu }_f(\theta )],$

${\sigma }_m^2=E_{\pi }[{\sigma }_f^2(\theta )]+E_{\pi }[{\mu }_f(\theta )-{\mu }_m],$

де ${\mu }_f(\theta )$ та ${\sigma }_f(\theta )$ є моментами умовного розподілу $f(x_i|{\theta }_i)$, що вважаються відомими. Зокрема, припустімо, що ${\mu }_f(\theta )=\theta$ та ${\sigma }_f^2(\theta )=K$; тоді ми отримуємо

${\mu }_{\pi }={\mu }_m,$

${\sigma }_{\pi }^2={\sigma }_m^2-{\sigma }_f^2={\sigma }_m^2-K.$

Нарешті, ми отримуємо оцінені моменти апріорного,

${\hat{\mu }}_{\pi }={\hat{\mu }}_m,$

${\hat{\sigma }}_{\pi }^2={\hat{\sigma }}_m^2-K.$

Наприклад, якщо $x_i|{\theta }_i\sim N({\theta }_i,1)$, і якщо ми розглядаємо нормальне апріорне (що є спряженим апріорним у даному випадку), ми доходимо висновку, що ${\theta }_{n+1}\sim N({\hat{\mu }}_{\pi },{\hat{\sigma }}_{\pi }^2)$, з чого може бути обчислено баєсову оцінку ${\theta }_{n+1}$ на базі $x_{n+1}$.

Властивості

Прийнятність

Правила Баєса, що мають скінченний баєсів ризик, зазвичай є Шаблон:Не перекладено. Далі наведено деякі конкретні приклади теорем прийнятності.

• Якщо баєсове правило є унікальним, то воно є прийнятним.Шаблон:Sfn Наприклад, як зазначено вище, за середньоквадратичної похибки (СКП) правило Баєса є унікальним, а відтак і прийнятним.
• Якщо θ належить до дискретної множини, то всі правила Баєса є прийнятними.
• Якщо θ належить до неперервної (не дискретної) множини, і якщо функція ризику R(θ,δ) є неперервною за θ для будь-якого δ, то всі правила Баєса є прийнятними.

На противагу до цього, узагальнені правила Баєса часто мають невизначений баєсів ризик у випадку некоректних апріорних. Ці правила часто є неприйнятними, і перевірка їхньої прийнятності може бути складною. Наприклад, узагальнена баєсова оцінка коефіцієнту зсуву θ на базі ґаусових вибірок (описаних у розділі Узагальнені баєсові оцінки вище) є неприйнятною для $p>2$; це є відомим як Шаблон:Не перекладено.

Асимптотична ефективність

Нехай θ буде невідомою випадковою змінною, та припустімо, що $x_1,x_2,\dots$ є незалежними однаково розподіленими пробами з густиною $f(x_i|\theta )$. Нехай ${\delta }_n={\delta }_n(x_1,\dots ,x_n)$ буде послідовністю баєсових оцінок θ на базі збільшуваного числа вимірювань. Нас цікавить аналіз асимптотичної продуктивності цієї послідовності оцінок, тобто продуктивність ${\delta }_n$ для великих n.

Для цього прийнято вважати θ детермінованим параметром, чиїм справжнім значенням є ${\theta }_0$. За особливих умов,Шаблон:Sfn для великих вибірок (великих значень n), апостеріорна густина θ є приблизно нормальною. Іншими словами, для великих n вплив апріорної ймовірності на апостеріорну є незначним. Більше того, якщо δ є баєсовою оцінкою за ризику СКП, то вона є асимптотично незміщеною та збігається за розподілом до нормального розподілу:

$\sqrt{n}({\delta }_n-{\theta }_0)\to N(0,\frac{1}{I({\theta }_0)}),$

де I(θ₀) є інформацією за Фішером θ₀. Звідси випливає, що баєсова оцінка δ_n за СКП є Шаблон:Не перекладено.

Іншою оцінкою, що є асимптотично нормальною та ефективною, є оцінка максимальної правдоподібності (ОМП, Шаблон:Lang-en). Відношення між максимальною правдоподібністю та баєсовими оцінками можна показати на наступному простому прикладі.

Розгляньмо оцінку θ на базі біноміальної вибірки x~b(θ,n), де θ позначає ймовірність успіху. За припущення, що θ розподілене згідно спряженого апріорного, що в даному випадку є бета-розподілом B(a,b), відомо, що апріорним розподілом є B(a+x, b+n-x). Отже, баєсовою оцінкою за СКП є

${\delta }_n(x)=E[\theta |x]=\frac{a+x}{a+b+n}.$

ОМП у даному випадку є x/n, і тому ми отримуємо

${\delta }_n(x)=\frac{a+b}{a+b+n}E[\theta ]+\frac{n}{a+b+n}{\delta }_{MLE}.$

Крайнє рівняння означає, що для n → ∞ баєсова оцінка (в описаній задачі) є близькою до ОМП.

З іншого боку, коли n є малим, апріорна інформація залишається доречною для задачі ухвалення рішення, і впливає на оцінку. Щоби побачити відносну вагу апріорної інформації, припустімо, що a=b; в такому випадку кожне вимірювання привносить 1 біт інформації; формула вище показує, що апостеріорна інформація має таку саму вагу, як a+b бітів нової інформації. На практиці про дрібні деталі апріорного розподілу часто відомо дуже мало; зокрема, нема резону припускати, що він збігається з B(a,b) точно. В такому разі однією з можливих інтерпретацій цього обчислення є: «існує не патологічний апріорний розподіл із середнім значенням 0.5 та стандартним відхиленням d, що дає вагу апріорної інформації, рівну 1/(4d²)-1 бітам нової інформації».

Іншим прикладом того ж явища є випадок, коли апріорна оцінка та вимірювання мають нормальні розподіли. Якщо апріорне відцентровано на B з відхиленням Σ, а вимірювання відцентровано на b із відхиленням σ, то апостеріорне відцентровано на $\frac{\alpha }{\alpha +\beta }B+\frac{\beta }{\alpha +\beta }b$, з вагами у цій зваженій сумі, що є α=σ², β=Σ². Більше того, квадратичним апостеріорним відхиленням є Σ²+σ². Іншими словами, апріорне поєднується з вимірюванням в точності таким же чином, як ніби воно є додатковим вимірюванням, що треба врахувати.

Наприклад, якщо Σ=σ/2, то відхилення поєднаних разом 4 вимірювань відповідає відхиленню апріорного (за припущення, що похибки вимірювань є незалежними). А ваги α,β у формулі апостеріорного відповідають такому: вага апріорного складає 4 ваги вимірювання. Поєднання цього апріорного з n вимірюваннями із середнім v призводить до апостеріорного, відцентрованого у $\frac{4}{4+n}V+\frac{n}{4+n}v$; зокрема, це апріорне відіграє таку ж роль, як і 4 вимірювання, зроблені завчасно. У загальному випадку апріорне має вагу (σ/Σ)² вимірювань.

Порівняйте це із прикладом біноміального розподілу: там апріорне має вагу (σ/Σ)²−1 вимірювань. Видно, що точна вага дійсно залежить від деталей розподілу, але при σ≫Σ відмінність стає малою.

Практичний приклад баєсових оцінок

Internet Movie Database використовує формулу для обчислення та порівняння рейтингів фільмів її користувачами, включно з їхніми 250 найрейтинговішими фільмами, що претендує на надання «справжньої баєсової оцінки». Початково для обчислення зваженого середнього балу найкращих 250 фільмів використовувалася наступна формула, хоча її відтоді було змінено:

$W=\frac{Rv+Cm}{v+m}$

де:

$W$ = зважений рейтинг

$R$ = зважений рейтинг фільму як число від 1 до 10 (середній) = (Шаблон:Lang-en)

$v$ = кількість голосів за фільм = (Шаблон:Lang-en)

$m$ = вага, надана апріорній оцінці (що базується на розподілі середніх рейтингів серед усього фонду фільмів)

$C$ = середній голос серед усього фонду (наразі 7.0)

Зауважте, що W є просто зваженим арифметичним середнім R та C з вектором ваг (v, m). Із переважанням кількості вимірів над m довіра до середнього рейтингу переважає довіру до апріорного знання, і зважений баєсів рейтинг (W) наближається до простого середнього (R). Що ближчим є v (кількість оцінок фільму) до нуля, то ближчим стає W до C, де W є зваженим рейтингом, а C є середнім рейтингом по всіх фільмах. Отже, простішими термінами, фільми із дуже нечисленними оцінками/голосами матимуть рейтинг, зважений в бік середнього по всіх фільмах, в той час як фільми з багатьма оцінками/голосами матимуть рейтинг, зважений в бік їхніх середніх оцінок.

Підхід IMDb гарантує, що фільм із лише декількома сотнями оцінок, всі по 10, не займе місце вище «Хрещеного батька», наприклад, із середнім 9.2 з понад 500 000 оцінок.

Див. також

• Шаблон:Не перекладено
• Рекурсивне баєсове оцінювання
• Шаблон:Не перекладено
• Спряжений апріорний розподіл
• Шаблон:Не перекладено

Джерела

• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en

Посилання

• Bayesian estimation on cnx.org Шаблон:Webarchive Шаблон:Ref-en
• Шаблон:Springer Шаблон:Ref-en