Баєсове висновування

Ба́єсове висно́вування (Шаблон:Lang-en) — це метод статистичного висновування, за яким для уточнення ймовірності гіпотези при отриманні додаткових Шаблон:Нп або інформації застосовують правило Баєса. Баєсове висновування є важливим прийомом у статистиці, особливо в математичній. Баєсове уточнення є особливо важливим у динамічному аналізі послідовностей даних. Баєсове висновування знайшло застосування в широкому діапазоні галузей, включно із наукою, інженерією, філософією, медициною, спортом та правом. У філософії теорії рішень баєсове висновування тісно пов'язано із суб'єктивною ймовірністю, що її часто називають «баєсовою ймовірністю».

Введення до правила Баєса

Геометричне унаочнення теореми Баєса. Значення 2, 3, 6 та 9 у таблиці задають відносну вагу кожних з відповідних умов та випадків. Фігури позначають клітинки таблиці, залучені до кожного з показників, де ймовірність є затемненою часткою фігури. Це показує, що P (A |B ) P (B ) = P (B |A ) P (A ), тобто, P (A |B ) = Шаблон:Ндріб. Схожі міркування може бути застосовано, щоби показати, що P (Ā|B ) = Шаблон:Ндріб і так далі.

Формальне тлумачення

Баєсове висновування виводить апостеріорну ймовірність як логічний наслідок двох передумов, апріорної ймовірності та «функції правдоподібності», виведеної зі статистичної моделі спостережуваних даних. Баєсове висновування обчислює апостеріорну ймовірність відповідно до теореми Баєса:

$P(H\mid E)=\frac{P(E\mid H)\cdot P(H)}{P(E)}$

де

• $\mid$ позначає «подія за умови» (таким чином, $(A\mid B)$ означає A за умови B).
• $H$ означає будь-яку гіпотезу (Шаблон:Lang-en), на чию ймовірність можуть вплинути Шаблон:Не перекладено (що називаються нижче свідченням). Часто існують конкуруючі гіпотези, і задача полягає у визначенні того, яка з них є найімовірнішою.
• $P(H)$, апріорна ймовірність, є оцінкою ймовірності гіпотези $H$ до спостереження даних $E$, поточного свідчення.
• свідчення (Шаблон:Lang-en) $E$ відповідає новим даним, що не використовувалися при обчисленні апріорної ймовірності.
• $P(H\mid E)$, апостеріорна ймовірність, є ймовірністю $H$ за умови $E$, тобто, після спостереження $E$. Вона є тим, що ми хочемо знати: ймовірністю гіпотези за умови отриманого свідчення.
• $P(E\mid H)$ є ймовірністю спостереження $E$ за умови $H$, і її називають правдоподібністю. Як функція від $E$ при незмінній $H$, вона вказує на сумісність свідчення з даною гіпотезою. Функція правдоподібності є функцією від свідчення, $E$, тоді як апостеріорна ймовірність є функцією від гіпотези, $H$.
• $P(E)$ іноді називають відособленою правдоподібністю, або «свідченням моделі». Цей множник є однаковим для всіх можливих гіпотез, що розглядаються (що очевидно з того факту, що гіпотеза $H$ ніде не з'являється в цьому позначенні, на відміну від усіх інших множників), тож цей множник не входить до визначення відносних ймовірностей різних гіпотез.

Для різних значень $H$ на значення $P(H\mid E)$ впливають лише множники $P(H)$ та $P(E\mid H)$, обидва в чисельнику, — апостеріорна ймовірність гіпотези є пропорційною її апріорній ймовірності (притаманній їй правдоподібності) та новоотриманій правдоподібності (її сумісності з новим спостереженим свідченням).

Правило Баєса також може бути записано наступним чином:

$P(H\mid E)=\frac{P(E\mid H)}{P(E)}\cdot P(H)$

де множник $\frac{P(E\mid H)}{P(E)}$ можна інтерпретувати як вплив $E$ на ймовірність $H$.

Альтернативи баєсовому уточненню

Баєсове уточнення широко застосовується та є обчислювально зручним. Однак, це не єдине правило уточнення, що може вважатися раціональним.

Шаблон:Не перекладено зауважив, що традиційні аргументи Шаблон:Не перекладено не визначали використання саме баєсового уточнення: вони залишили відкритою можливість, що не-баєсові правила уточнення можуть обходити голландську систему ставок. Хакінг написав:

Дійсно, існують не-баєсові правила уточнення, що також обходять голландську систему ставок (як обговорюється в літературі про «кінематику ймовірностей») після публікації правила Шаблон:Не перекладено, що застосовує правило Баєса до випадку, коли свідченню самому встановлюється ймовірність. Додаткові гіпотези, необхідні для однозначної вимоги баєсового уточнення, було визнано значними, складними та незадовільними.

Формальний опис баєсового висновування

Позначення

• $x$, точка даних у загальному сенсі. Фактично це може бути вектор значень.
• $\theta$, параметр розподілу точки даних, тобто, $x\sim p(x\mid \theta )$. Фактично це може бути вектор параметрів.
• $\alpha$, гіперпараметр розподілу параметра, тобто, $\theta \sim p(\theta \mid \alpha )$. Фактично це може бути вектор гіперпараметрів.
• $𝐗$ є вибіркою, набором $n$ спостережуваних точок даних, тобто, $x_1,\dots ,x_n$.
• $\tilde{x}$, нова точка даних, чий розподіл потрібно передбачити.

Баєсове висновування

• Апріорний розподіл — це розподіл параметра (параметрів) до будь-якого спостереження даних, тобто $p(\theta \mid \alpha )$.
• Визначити апріорний розподіл може бути не так легко. У даному випадку ми можемо скористатися Шаблон:Не перекладено, щоби отримати апостеріорний розподіл перед уточненням його подальшими спостереженнями.

• Вибірковий розподіл — це розподіл спостережуваних даних в залежності від його параметрів, тобто, $p(𝐗\mid \theta )$. Його також називають функцією правдоподібності (Шаблон:Lang-en), особливо коли розглядають його як функцію від параметра (параметрів), що іноді записується як $\mathrm{L}(\theta \mid 𝐗)=p(𝐗\mid \theta )$.
• Відособлена правдоподібність (що іноді також називають свідченням) — це розподіл спостережуваних даних, відособлений за параметром (параметрами), тобто, $p(𝐗\mid \alpha )=\int p(𝐗\mid \theta )p(\theta \mid \alpha )\mathrm{d}\theta$.
• Апостеріорний розподіл — це розподіл параметра (параметрів) після взяття до уваги спостережуваних даних. Він визначається за правилом Баєса, що формує серцевину баєсового висновування:

$p(\theta \mid 𝐗,\alpha )=\frac{p(𝐗\mid \theta )p(\theta \mid \alpha )}{p(𝐗\mid \alpha )}\propto p(𝐗\mid \theta )p(\theta \mid \alpha )$

Зауважте, що словами це виражається як «апостеріорне є пропорційним апріорному, помноженому на правдоподібність», або іноді як «апостеріорне = правдоподібність на апріорне, відносно свідчення».

Баєсове передбачування

• Шаблон:Не перекладено — це розподіл нової точки даних, відособлений за апостеріорним:

$p(\tilde{x}\mid 𝐗,\alpha )=\int p(\tilde{x}\mid \theta )p(\theta \mid 𝐗,\alpha )\mathrm{d}\theta$

• Шаблон:Не перекладено — це розподіл нової точки даних, відособлений за апріорним:

$p(\tilde{x}\mid \alpha )=\int p(\tilde{x}\mid \theta )p(\theta \mid \alpha )\mathrm{d}\theta$

Баєсова теорія передбачає використання апостеріорного передбачуваного розподілу для Шаблон:Не перекладено, тобто, для передбачування розподілу ймовірностей нової, ще не спостережуваної точки даних. Тобто, замість фіксованої точки, як передбачення повертається розподіл ймовірностей над можливими точками. Лише в цьому випадку є повний апостеріорний розподіл параметра (параметрів), що використовуються. Для порівняння, передбачування у частотній статистиці часто полягає у знаходженні оптимальної точкової оцінки параметра (параметрів) — наприклад, методом максимальної правдоподібності або оцінки апостеріорного максимуму — і наступному підставленні цієї оцінки до формули розподілу точки даних. Це має той недолік, що воно не враховує жодної невизначеності у значенні параметра, і відтак недооцінюватиме дисперсію передбачуваного розподілу.

(У деяких випадках частотна статистика може обходити цю проблему. Наприклад, коли довірчі та Шаблон:Не перекладено у частотній статистиці будуються з нормального розподілу з невідомим середнім значенням та дисперсією, вони будуються з використанням t-розподілу Стьюдента. Це дає правильну оцінку дисперсії завдяки тому факту, що (1) середнє значення випадкових величин із нормальним розподілом також має нормальний розподіл; (2) передбачуваний розподіл точки даних з нормальним розподілом та невідомими середнім значенням та дисперсією при використанні спряжених або неінформативних апріорних розподілів має t-розподіл Стьюдента. Однак, у баєсовій статистиці апостеріорний передбачуваний розподіл може завжди визначатися точно — чи, принаймні, з довільним рівнем точності, при застосуванні чисельних методів.)

Зауважте, що обидва типи передбачуваних розподілів мають вигляд Шаблон:Не перекладено (так само, як і відособлена правдоподібність). Справді, якщо апріорний розподіл є спряженим апріорним розподілом, і, отже, апріорний та апостеріорний розподіли походять із одного сімейства, то можна легко переконатися, що як апріорний, так і апостеріорний передбачувані розподіли також походять з одного й того ж сімейства складних розподілів. Різниця лише в тім, що апостеріорний передбачуваний розподіл використовує уточнені значення гіперпараметрів (застосовуючи баєсові правила уточнення, наведені у статті про спряжений апріорний розподіл), тоді як апріорний передбачуваний розподіл використовує значення гіперпараметрів, що фігурують в апріорному розподілі.

Висновування над взаємовиключними вичерпними можливими значеннями

Якщо свідчення використовується для одночасного уточнення переконань над набором взаємовиключних вичерпних можливих значень, то баєсове висновування можна розглядати як таке, що діє над розподілом цих переконань у цілому.

Загальне формулювання

Схема, що ілюструє простір подій $\mathrm{\Omega }$ у загальному формулюванні баєсового висновування. І хоча ця схема показує дискретні моделі та події, безперервний випадок може бути візуалізовано так само, з використанням щільностей ймовірностей.

Припустімо, що процес породжує незалежні однаково розподілені події (Шаблон:Lang-en) $E_n$, але розподіл ймовірностей є невідомим. Нехай простір подій $\mathrm{\Omega }$ представляє поточний стан переконань для цього процесу. Кожну модель представляють подією $M_m$. Для визначення моделей вказують умовні ймовірності $P(E_n\mid M_m)$. $P(M_m)$ є мірою переконання в $M_m$. Перед першим кроком висновування $\{P(M_m)\}$ є набором початкових апріорних ймовірностей. Вони повинні в сумі давати 1, а в іншому можуть бути довільними.

Припустімо, що ми спостерігали, що процес породив $E\in \{E_n\}$. Для кожної $M\in \{M_m\}$ апріорна $P(M)$ уточнюється до апостеріорної $P(M\mid E)$. З теореми Баєса:

$P(M\mid E)=\frac{P(E\mid M)}{\sum _{m}P(E\mid M_m)P(M_m)}\cdot P(M)$

Після спостереження подальших свідчень цю процедуру може бути повторено.

Кілька спостережень

Для послідовності незалежних однаково розподілених спостережень $𝐄=(e_1,\dots ,e_n)$ за допомогою індукції може бути показано, що повторне застосування наведеного вище еквівалентне

$P(M\mid 𝐄)=\frac{P(𝐄\mid M)}{\sum _{m}P(𝐄\mid M_m)P(M_m)}\cdot P(M)$

де

$P(𝐄\mid M)=\prod _{k}P(e_k\mid M).$

Для послідовності, в якій умовну незалежність спостережень гарантовано бути не може, Рейчел Бонд, Ян-Хуей Хе та Томас Ормерод показали з квантової механіки, що

$P(M_{\alpha }|E_1\cap E_2\dots \cap E_m)=\frac{\sum _{i,j}\sqrt{E_{i\alpha }{E}_{j\alpha }}{c}_{ij}^{\alpha }}{\sum _{i,j,\beta }\sqrt{E_{i\beta }{E}_{j\beta }}{c}_{ij}^{\beta }}$

отже,

$P(M_1|E_1\cap E_2)=\frac{\frac{P(E_1|M_1)P(E_2|M_1)}{P(E_1|M_2)P(E_2|M_2)}+P(E_1|M_1)+P(E_2|M_1)}{\frac{P(E_1|M_1)P(E_2|M_1)}{P(E_1|M_2)P(E_2|M_2)}+P(E_1|M_1)+P(E_2|M_1)+\frac{P(E_1|M_2)P(E_2|M_2)}{P(E_1|M_1)P(E_2|M_1)}+P(E_1|M_2)+P(E_2|M_2)}$

Параметричне формулювання

При параметризації простору моделей переконання в усіх моделях можуть уточнюватися за один крок. Розподіл переконань над простором моделей може розглядатися як розподіл переконань над простором параметрів. Розподіли в цьому розділі виражаються як безперервні, представлені густинами імовірності, як це й є у звичайній ситуації. Тим не менше, ця методика є так само застосовною й до дискретних розподілів.

Нехай вектор $\mathit{\theta }$ охоплює простір параметрів. Нехай початковим апріорним розподілом над $\mathit{\theta }$ буде $p(\mathit{\theta }\mid \mathit{\alpha })$, де $\mathit{\alpha }$ є набором параметрів самого апріорного розподілу, або гіперпараметрів. Нехай $𝐄=(e_1,\dots ,e_n)$ буде послідовністю незалежних однаково розподілених спостережень подій, де всі $e_i$ розподілено як $p(e\mid \mathit{\theta })$ для деякого $\mathit{\theta }$. Для отримання апостеріорного розподілу над $\mathit{\theta }$ застосовується теорема Баєса:

$\begin{array}{cc}p(\mathit{\theta }\mid 𝐄,\mathit{\alpha })& =\frac{p(𝐄\mid \mathit{\theta },\mathit{\alpha })}{p(𝐄\mid \mathit{\alpha })}\cdot p(\mathit{\theta }\mid \mathit{\alpha })\\ & =\frac{p(𝐄\mid \mathit{\theta },\mathit{\alpha })}{\int p(𝐄|\mathit{\theta },\mathit{\alpha })p(\mathit{\theta }\mid \mathit{\alpha })d\mathit{\theta }}\cdot p(\mathit{\theta }\mid \mathit{\alpha })\end{array}$

де

$p(𝐄\mid \mathit{\theta },\mathit{\alpha })=\prod _{k}p(e_k\mid \mathit{\theta })$

Математичні властивості

Інтерпретація множника

$\frac{P(E\mid M)}{P(E)}>1\Rightarrow P(E\mid M)>P(E)$. Тобто, якщо модель була вірною, то свідчення буде правдоподібнішим, ніж передбачено поточним станом переконання. Зворотня ситуація веде до зменшення переконання. Якщо переконання не змінюється, то $\frac{P(E\mid M)}{P(E)}=1\Rightarrow P(E\mid M)=P(E)$. Тобто, свідчення не залежить від моделі. Якщо модель була вірною, то свідчення буде правдоподібним рівно настільки, наскільки передбачено поточним станом переконання.

Правило Кромвеля

Якщо $P(M)=0$, то $P(M\mid E)=0$. Якщо $P(M)=1$, то $P(M|E)=1$. Це може інтерпретуватися так, що категоричні переконання є нечутливими до контр-доказів.

Перше випливає безпосередньо з теореми Баєса. Друге може бути виведено застосуванням першого правила до події «не $M$» замість «$M$», що дасть «якщо $1-P(M)=0$, то $1-P(M\mid E)=0$», з чого результат випливатиме безпосередньо.

Асимптотична поведінка апостеріорного розподілу

Розгляньмо поведінку розподілу переконання у процесі його уточнення велику кількість разів незалежними однаково розподіленими пробами. Для достатньо гарних апріорних ймовірностей Шаблон:Не перекладено дає те, що на границі нескінченних проб апостеріорний розподіл збігається до нормального, незалежно від початкового апріорного розподілу, за певних умов, вперше окреслених та суворо доведених Шаблон:Не перекладено 1948 року, а саме, якщо випадкова змінна у міркуваннях має скінченний імовірнісний простір. Загальніші результати було отримано пізніше статистиком Шаблон:Не перекладено, який опублікував у двох плідних дослідницьких працях 1963 та 1965 років, коли і за яких обставин гарантується асимптотична поведінка апостеріорного розподілу. Його праця 1963 року, як і праця Дуба 1949 року, розглядає скінченний випадок, і приходить до задовільного результату. Однак, якщо випадкова змінна має нескінченний, але зліченний імовірнісний простір (тобто, відповідає гральній кістці з нескінченною кількістю граней), то праця 1965 року демонструє, що для щільної підмножини апріорних ймовірностей Шаблон:Не перекладено не є застосовною. В цьому випадку асимптотичного збігання майже напевно немає. Пізніше у 1980-х та 1990-х роках Шаблон:Не перекладено та Шаблон:Не перекладено продовжили працювати над випадком нескінченних зліченних імовірнісних просторів. Підсумовуючи, для подолання впливу початкового вибору може бути замало проб, і, особливо у випадку великих (але скінченних) систем, збігання може бути дуже повільним.

Спряжені апріорні розподіли

У параметризованій формі часто вважається, що апріорний розподіл належить до сімейства розподілів, що називається спряженими апріорними розподілами. Корисність спряженого апріорного розподілу полягає в тім, що відповідний апостеріорний розподіл належатиме до того ж сімейства, і його обчислення може бути виражено у замкненому вигляді.

Оцінки параметрів та передбачень

Часто потрібно використовувати апостеріорний розподіл для оцінювання параметра або змінної. Кілька методів баєсового оцінювання вибирають вимірювання центральної тенденції з апостеріорного розподілу.

Для одновимірних задач існує унікальна медіана для практичних безперервних задач. Апостеріорна медіана є привабливою як робастний оцінювач.

Якщо для апостеріорного розподілу існує скінченне середнє значення, тоді апостеріорне середнє є методом оцінювання.

$\tilde{\theta }=\mathrm{E}[\theta ]=\int \theta p(\theta \mid 𝐗,\alpha )d\theta$

Взяття значення із найбільшою ймовірністю визначає оцінки апостеріорного максимуму (Шаблон:Lang-en):

$\{{\theta }_{\text{MAP}}\}\subset \arg \underset{\theta }{\max }p(\theta \mid 𝐗,\alpha ).$

Існують приклади, в яких не досягається жодного максимуму, і в такому випадку множина оцінок апостеріорного максимуму є порожньою.

Існують інші методи оцінювання, що мінімізують апостеріорний ризик (очікувані апостеріорні втрати) відносно функції втрат, і вони становлять інтерес для статистичної теорії рішень з використанням вибіркового розподілу («частотна статистика»).

Шаблон:Не перекладено нового спостереження $\tilde{x}$ (що є незалежним від попередніх спостережень) визначається як

$p(\tilde{x}|𝐗,\alpha )=\int p(\tilde{x},\theta \mid 𝐗,\alpha )d\theta =\int p(\tilde{x}\mid \theta )p(\theta \mid 𝐗,\alpha )d\theta .$

Приклади

Ймовірність гіпотези

Припустімо, є дві повні чаші коржиків. Чаша № 1 містить 10 шоколадних коржиків, і 30 звичайних, тоді як чаша № 2 містить по 20 кожних. Наш друг Петро обирає випадкову чашу, й витягає з неї випадковий коржик. Ми можемо припустити, що немає жодних підстав вважати, що Петро віддає перевагу якійсь із чаш, і аналогічно з коржиками. Коржик виявляється звичайним. Якою є ймовірність того, що Петро взяв його з чаші № 1?

Інтуїтивно здається ясним, що відповідь повинна бути більшою за половину, оскільки простих коржиків у чаші № 1 більше. А точну відповідь дає теорема Баєса. Нехай $H_1$ відповідає чаші № 1, а $H_2$ — чаші № 2. Дано, що з точки зору Петра вони є ідентичними, отже, $P(H_1)=P(H_2)$, і в сумі вони повинні давати 1, тому обидва дорівнюють 0.5. Подія $E$ є спостереженням звичайного коржика. Із вмісту чаш нам відомо, що $P(E\mid H_1)=30/40=0.75$ і $P(E\mid H_2)=20/40=0.5$. Формула Баєса відтак дає

$\begin{array}{cc}P(H_1\mid E)& =\frac{P(E\mid H_1)P(H_1)}{P(E\mid H_1)P(H_1)+P(E\mid H_2)P(H_2)}\\ \\ & =\frac{0.75\times 0.5}{0.75\times 0.5+0.5\times 0.5}\\ \\ & =0.6\end{array}$

До того, як ми побачили коржик, ймовірність, яку ми призначили виборові Петром чаші № 1, була апріорною ймовірністю, $P(H_1)$, що дорівнювала 0.5. Після спостереження того коржика ми мусимо переглянути ймовірність до $P(H_1\mid E)$, що дорівнює 0.6.

Здійснення передбачування

Приклад результатів для археологічного прикладу. Цю симуляцію було згенеровано з використанням c=15.2.

Археолог працює на розкопках поселення припусти́мо середньовічного періоду, між XI та XVI століттями. Тим не менш, залишається не ясним, коли саме протягом цього періоду поселення було заселеним. Знайдено уламки кераміки, деякі з них глазуровані, і деякі розписні. Очікується, що якщо поселення було заселеним протягом раннього середньовіччя, то 1 % кераміки буде глазурованим, і 50 % його поверхні буде розписано, тоді як якщо воно було заселеним пізнього середньовіччя, то 81 % буде глазурованим, і 5 % його площі буде розписано. Наскільки впевненим може бути археолог у даті заселення у процесі викопування уламків?

Необхідно обчислювати міру переконання у безперервній змінній $C$ (століття), маючи дискретний набір подій $\{GD,G\overline{D},\overline{G}D,\overline{G}\overline{D}\}$ (де $G$ — глазурованість, а $D$ — наявність розпису) як свідчення. Припускаючи лінійну зміну глазурованості та розпису протягом часу та те, що ці змінні є незалежними,

$P(E=GD\mid C=c)=(0.01+\frac{0.81-0.01}{16-11}(c-11))(0.5-\frac{0.5-0.05}{16-11}(c-11))$

$P(E=G\overline{D}\mid C=c)=(0.01+\frac{0.81-0.01}{16-11}(c-11))(0.5+\frac{0.5-0.05}{16-11}(c-11))$

$P(E=\overline{G}D\mid C=c)=((1-0.01)-\frac{0.81-0.01}{16-11}(c-11))(0.5-\frac{0.5-0.05}{16-11}(c-11))$

$P(E=\overline{G}\overline{D}\mid C=c)=((1-0.01)-\frac{0.81-0.01}{16-11}(c-11))(0.5+\frac{0.5-0.05}{16-11}(c-11))$

Припустімо, що апріорним є неперервний рівномірний розподіл $f_C(c)=0.2$, і що проби є незалежними однаково розподіленими. Коли виявляється новий уламок типу $e$, застосовується теорема Баєса для уточнення міри переконання у кожному $c$:

$f_C(c\mid E=e)=\frac{P(E=e\mid C=c)}{P(E=e)}{f}_C(c)=\frac{P(E=e\mid C=c)}{\underset{11}{\overset{16}{\int }}P(E=e\mid C=c)f_C(c)dc}{f}_C(c)$

На графіку зображено комп'ютерну симуляцію зміни переконання в процесі викопування 50 уламків. У цій симуляції поселення було заселено близько 1420 року, або $c=15.2$. За допомогою обчислення площі під відповідною частиною цього графіка для 50 проб археолог може стверджувати, що практично немає шансів, що це поселення було заселеним в XI та XII століттях, близько 1 % складає шанс того, що воно було заселеним протягом XIII століття, 63 % шансів протягом XIV століття та 36 % протягом XV століття. Зауважте, що Шаблон:Не перекладено стверджує, що тут має місце асимптотичне збігання до «справжнього» розподілу, оскільки ймовірнісний простір, що відповідає дискретному наборові подій $\{GD,G\overline{D},\overline{G}D,\overline{G}\overline{D}\}$, є скінченним (див. вище розділ про асимптотичну поведінку апостеріорного розподілу).

У частотній статистиці та теорії рішень

Обґрунтування використання баєсового висновування в теорії рішень було зроблено Абрахамом Вальдом, який довів, що будь-яка унікальна баєсова процедура є Шаблон:Не перекладено. І навпаки, кожна Шаблон:Не перекладено статистична процедура є або баєсовою процедурою, або границею баєсових процедур.

Валд охарактеризував прийнятні процедури як баєсові процедури (та границі баєсових процедур), зробивши баєсів формалізм центральною методикою в таких галузях частотного висновування як оцінювання параметрів, перевірка гіпотез та обчислення довірчих інтервалів. Наприклад:

Застосування

Комп'ютерні застосування

Баєсове висновування має застосування в штучному інтелекті та експертних системах. Методики баєсового висновування були фундаментальною частиною методик комп'ютеризованого розпізнавання образів з кінця 1950-х років. Також існує й постійно зростає зв'язок між баєсовими методами та методиками Монте Карло на основі симуляцій, оскільки складні моделі не можуть оброблюватися в замкненому вигляді баєсовим аналізом, тоді як структури графових моделей можуть уможливлювати ефективні симуляційні алгоритми, такі як Шаблон:Не перекладено та інші схеми алгоритму Метрополіса — Гастінгса. З цих причин баєсове висновування нещодавно завоювало популярність серед спільноти філогенетиків; деякі із застосувань дозволяють одночасно оцінювати багато демографічних та еволюційних параметрів.

Що стосується статистичної класифікації, то баєсове висновування застосовувалося у нещодавні роки для розробки алгоритмів ідентифікації Шаблон:Не перекладено. До застосунків, що використовують баєсове висновування для фільтрування спаму, належать Шаблон:Не перекладено, Шаблон:Не перекладено, Шаблон:Не перекладено, SpamAssassin, Mozilla, XEAMS та інші. Класифікація спаму розглядається докладніше у статті про наївний баєсів класифікатор.

Шаблон:Не перекладено є теорією передбачування, що ґрунтується на спостереженнях; наприклад, передбачення наступного символу ґрунтується на заданій серії символів. Єдиним припущенням є те, що середовище слідує якомусь невідомому, проте обчислюваному розподілу ймовірності. Це є формальна індуктивна структура, що поєднує в собі два гарно вивчені принципи індуктивного висновування: баєсову статистику та бритву Оккама. Універсальна апріорна ймовірність Соломонова будь-якого префіксу p обчислюваної послідовності x — це сума ймовірностей усіх програм (для універсального комп'ютера), що обчислюють щось, що починається з p. При заданому деякому p та будь-якому обчислюваному але невідомому розподілі ймовірності, з якого вибирається x, для передбачування ще небачених частин x оптимальним чином можуть використовуватися універсальний апріорний розподіл та теорема Баєса.

У залі суду

Баєсове висновування може застосовуватися присяжними, щоби послідовно накопичувати свідчення за та проти підсудного, і бачити, чи вони в сукупності відповідають їхньому особистому порогові «поза розумним сумнівом». Теорема Баєса застосовується послідовно до усіх представлених свідчень так, що апостеріорне переконання з однієї стадії стає апріорним для наступної. Баєсів підхід корисний тим, що він надає присяжному неупереджений раціональний механізм для поєднання свідчень. Пояснювати теорему Баєса присяжним може бути доречно у формі шансів, оскільки Шаблон:Не перекладено є зрозумілими ширшому загалові, аніж імовірності. Крім того, для присяжного може бути зрозумілішим Шаблон:Не перекладено, що замінює множення додаванням.

Шаблон:Center

Якщо в існуванні злочину сумніву немає, а є лише в особі обвинуваченого, то радять як апріорний використовувати рівномірний розподіл над визначеною сукупністю. Наприклад, якщо 1 000 людей могли скоїти цей злочин, то апріорною ймовірністю провинності буде 1/1000.

Використання теореми Баєса присяжними є дискусійним. У Сполученому Королівстві судовий експерт захисту пояснив теорему Баєса суду присяжних у справі Шаблон:Не перекладено. Суд присяжних визнав відповідача винним, але на це рішення було подано апеляцію на тій підставі, що не було надано засобів акумулювання свідчень для тих присяжних, що не хотіли використовувати теорему Баєса. Апеляційний суд залишив вирок у силі, але також зробив висновок, що

Гарднер-Медвін переконує, що критерієм, на якому повинен базуватися вирок у кримінальній справі, є не ймовірність провини, а швидше ймовірність свідчення за умови невинності відповідача (близька до частотного p-значення). Він стверджує, що якщо апостеріорна ймовірність провини має обчислюватися за теоремою Баєса, то мусить бути відомою апріорна ймовірність провини. А вона залежатиме від сфери злочину, яка є незвичним свідченням для розгляду в кримінальній справі. Розгляньмо наступні три твердження:

А Відомі факти та показання свідків могли би виникнути, якби відповідач був винним

Б Відомі факти та показання свідків могли би виникнути, якби відповідач був невинним

В Відповідач є винним.

Гарднер-Медвін стверджує, що для винесення обвинувального вироку суд присяжних повинен переконатися як в А, так і в не-Б. З А та не-Б випливає істинність В, але зворотнє не є вірним. Існує можливість, що вірними є Б та В, але в цьому випадку він стверджує, що суд присяжних повинен винести виправдувальний вирок, незважаючи на те, що вони знають, що дозволяють звільнитися деяким винним людям. Див. також парадокс Ліндлі.

Баєсова епістемологія

Баєсова епістемологія є рухом, що виступає за баєсове висновування як засіб обґрунтування правил індуктивної логіки.

Карл Поппер та Шаблон:Не перекладено відкинули нібито раціональність баєсовизму, тобто використання правила Баєса для здійснення епістемологічного висновування: він схильний до того ж порочного кола, що й будь-яка інша виправдовувальна епістемологія, оскільки спирається на те, що намагається виправдати. Відповідно до цієї точки зору, раціональна інтерпретація баєсового висновування бачитиме його лише як імовірнісну версію фальсифікаціонізму, заперечуючи переконання, поширене серед баєсовистів, що висока правдоподібність, досягнута послідовністю баєсових уточнень, доводитиме гіпотезу поза розумним сумнівом, чи навіть із правдоподібністю, більшою за 0.

Інші

• Науковий метод іноді інтерпретують як застосування баєсового висновування. З цієї точки зору правило Баєса скеровує (або повинне скеровувати) уточнення ймовірностей гіпотези в залежності від нових спостережень або експериментів. Баєсове висновування також було застосовувано Цаєм та ін. (2009) до задач Шаблон:Нп з неповною інформацією.
• Шаблон:Не перекладено застосовується для пошуку загублених об'єктів.
• Шаблон:Не перекладено
• Шаблон:Не перекладено
• Шаблон:Нп досліджують мозок як баєсів механізм.
• Баєсове висновування в екологічних дослідженнях
• Баєсове висновування застосовують для оцінювання параметрів у стохастичних хімічних кінетичних моделях

Баєс та баєсове висновування

Задачею, розглянутою Баєсом у Пропозиції 9 його «Шаблон:Не перекладено», є апостеріорний розподіл параметра a (доля успішних спроб) біноміального розподілу.

Історія

Термін баєсів стосується Томаса Баєса (1702—1761), який довів окремий випадок того, що зараз називають теоремою Баєса. Однак, впровадив загальну версію цієї теореми та застосовував її для підходу до задач небесної механіки, медичної статистики, надійності та юриспруденції П'єр-Симон Лаплас (1749—1827). Раннє баєсове висновування, що використовувало рівномірний апріорний розподіл згідно лапласового Шаблон:Не перекладено, називалося «Шаблон:Не перекладено» (оскільки воно здійснює зворотне висновування від спостережень до параметрів, або від наслідків до причин). Після 1920-х років «зворотну ймовірність» було значною мірою витіснено набором методів, що стали називати частотною статистикою.

У XX столітті ідеї Лапласа отримали подальший розвиток у двох різних напрямках, давши початок об'єктивній та суб'єктивній течіям у баєсовій практиці. В об'єктивній, або «неінформативній» течії статистичний аналіз покладається лише на передбачувану модель, аналізовані дані та метод призначення апріорного розподілу, що відрізняється від одного об'єктивного баєсового висновування до іншого. У суб'єктивній, або «інформативній» течії визначення апріорного розподілу залежить від переконання (тобто тверджень, для дії на яких готується аналіз), що може підсумовувати інформацію від експертів, попередніх досліджень тощо.

У 1980-х роках відбувся різкий ріст досліджень та застосувань баєсових методів, обумовлений головним чином відкриттям методів Монте-Карло марковських ланцюгів, що усунули багато обчислювальних проблем, і ростом зацікавлення у нестандартних, складних застосуваннях. Незважаючи на зростання баєсових досліджень, більшість викладання студентам і досі ґрунтується на частотній статистиці. Тим не менше, баєсові методи є широко визнаними та застосовуваними, як наприклад у галузі машинного навчання.

Див. також

• Теорема Баєса
• Шаблон:Не перекладено, журнал ISBA
• Баєсове ієрархічне моделювання
• Баєсова ймовірність
• Баєсова регресія
• Баєсів структурний часовий ряд (БСЧР, Шаблон:Lang-en)
• Частотницьке висновування
• Шаблон:Не перекладено
• Шаблон:Не перекладено (Шаблон:Lang-en)
• Шаблон:Не перекладено
• Парадокс Монті Голла
• Шаблон:Нп

Джерела

• Aster, Richard; Borchers, Brian, та Thurber, Clifford (2012). Parameter Estimation and Inverse Problems, Second Edition, Elsevier. Шаблон:ISBN, Шаблон:ISBN Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Не перекладено та Tiao, G. C. (1973) Bayesian Inference in Statistical Analysis, Wiley, Шаблон:ISBN Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite journal Шаблон:Ref-en
• Шаблон:Не перекладено (2003) Probability Theory: The Logic of Science, CUP. Шаблон:ISBN (Link to Fragmentary Edition of March 1996 Шаблон:Webarchive). Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en

Література

• Повний звіт з історії баєсової статистики та дебати з частотними підходами читайте у Шаблон:Cite book Шаблон:Ref-en

Початкова

Наступні книги перелічено у порядку зростання статистичної складності:

• Stone, JV (2013), «Bayes’ Rule: A Tutorial Introduction to Bayesian Analysis», Download first chapter here Шаблон:Webarchive, Sebtel Press, England. Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Bolstad, William M. (2007) Introduction to Bayesian Statistics: Second Edition, John Wiley Шаблон:ISBN Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en Оновлений класичний підручник. Чітко представлено баєсову теорію.
• Lee, Peter M. Bayesian Statistics: An Introduction. Fourth Edition (2012), John Wiley Шаблон:ISBN Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en

Середнього рівня або просунута

• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Не перекладено, Optimal Statistical Decisions. Wiley Classics Library. 2004. (початково опублікована (1970) McGraw-Hill.) Шаблон:ISBN. Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Jaynes, E. T. (1998) Probability Theory: The Logic of Science Шаблон:Webarchive. Шаблон:Ref-en
• O'Hagan, A. та Forster, J. (2003) Kendall's Advanced Theory of Statistics, Volume 2B: Bayesian Inference. Arnold, New York. Шаблон:ISBN. Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Не перекладено та Pearl, Judea, eds. (1988) Probabilistic Reasoning in Intelligent Systems, San Mateo, CA: Morgan Kaufmann. Шаблон:Ref-en
• Pierre Bessière et al. (2013), «Bayesian Programming Шаблон:Webarchive», CRC Press. Шаблон:ISBN Шаблон:Ref-en
• Francisco J. Samaniego (2010), «A Comparison of the Bayesian and Frequentist Approaches to Estimation» Springer, New York, Шаблон:ISBN Шаблон:Ref-en

Посилання

• Шаблон:Springer Шаблон:Ref-en
• Bayesian Statistics Шаблон:Webarchive зі Scholarpedia. Шаблон:Ref-en
• Введення до баєсової ймовірності Шаблон:Webarchive від Лондонського університету королеви Марії Шаблон:Ref-en
• Mathematical Notes on Bayesian Statistics and Markov Chain Monte Carlo Шаблон:Webarchive Шаблон:Ref-en
• Баєсова рекомендована бібліографія Шаблон:Webarchive, категоризована та анотована Томом Ґриффітсом Шаблон:Ref-en
• A. Hajek та S. Hartmann: Bayesian Epistemology, у: J. Dancy et al. (eds.), A Companion to Epistemology. Oxford: Blackwell 2010, 93-106. Шаблон:Ref-en
• S. Hartmann та J. Sprenger: Bayesian Epistemology, у: S. Bernecker and D. Pritchard (eds.), Routledge Companion to Epistemology. London: Routledge 2010, 609—620. Шаблон:Ref-en
• Stanford Encyclopedia of Philosophy: «Inductive Logic» Шаблон:Webarchive Шаблон:Ref-en
• Bayesian Confirmation Theory Шаблон:Ref-en
• What Is Bayesian Learning? Шаблон:Webarchive Шаблон:Ref-en