Перегляд вихідного коду сторінки Спряжений апріорний розподіл

{{Баєсова статистика}}
У [[Баєсова ймовірність|баєсівській]] [[Теорія ймовірностей|теорії ймовірностей]], якщо [[Апостеріорна ймовірність|апостеріорні розподіли]] ''p''(''θ''&nbsp;|&nbsp;''x'') належать до того ж сімейства розподілу ймовірностей, що і [[Апріорна ймовірність|апріорний розподіл ймовірностей]] ''p''(θ), то апріорний і постеріорний розподіли називають '''спряженими розподілами,''' а апріорний розподіл називають '''спряженим апріором''' (або '''апріорним спряженням''') [[Функція правдоподібності|функції правдоподібности]] ''p''(x|''θ''). 

Наприклад, [[Нормальний розподіл|сімейство Гаусса]] є спряженим до себе (або ''самосопряженим'') відносно функції правдоподібності Гаусса: якщо функція правдоподібності є Гауссівською, вибір гауссового апріору на противагу простому середньому значенню гарантує, що постеріорний розподіл буде також Гауссівським. Це означає, що розподіл Гауса є спряженим апріором для Гаусівської функції правдоподібности. 

Поняття, а також термін "спряжений апріор" запроваджено Говардом Райффою та Робертом Шлайфером в їхній роботі з [[Баєсова оцінка|Баєсівської теорії прийняття рішень]]<ref name="raiffa_schlaifer">[[Howard Raiffa]] and [[Robert Schlaifer]]. ''Applied Statistical Decision Theory''. Division of Research, Graduate School of Business Administration, Harvard University, 1961.</ref>. Подібну концепцію незалежно описав Джордж Альфред Барнард<ref name="miller">Jeff Miller et al. [http://jeff560.tripod.com/mathword.html Earliest Known Uses of Some of the Words of Mathematics] {{Webarchive|url=https://web.archive.org/web/20090304032905/http://jeff560.tripod.com/mathword.html |date=4 березня 2009 }}, [http://jeff560.tripod.com/c.html "conjugate prior distributions"] {{Webarchive|url=https://web.archive.org/web/20110501074959/http://jeff560.tripod.com/c.html |date=1 травня 2011 }}. Electronic document, revision of November 13, 2005, retrieved December 2, 2005.</ref>.

Розглянемо загальну задачу виведення (неперервного) розподілу параметра θ з урахуванням деякого даного чи даних ''x'' . За [[Теорема Баєса|теоремою Баєса]] постеріорний розподіл дорівнює добутку функції правдоподібності <math>\theta \mapsto p(x\mid\theta)\!</math> і апраіорного розподілу <math>p( \theta )\!</math>, нормованого ймовірністю даних <math>p( x )\!</math> :

: <math>\begin{align} 
p(\theta \mid x) 
&= \frac{p(x\mid\theta) \, p(\theta)} {p( x )} \\
& = \frac{p(x\mid\theta) \, p(\theta)} {\int_{\theta'} p(x, \theta') \, d\theta'} \\
& = \frac{p(x\mid\theta) \, p(\theta)} {\int_{\theta'} p(x\mid\theta') \, p(\theta') \, d\theta'} 
\end{align}</math>

Зафіксуємо функцію правдоподібності; функція правдоподібності, як правило, добре визначається на основі запису про твірний процес даних. Зрозуміло, що різні варіанти попереднього розподілу ''p'' ( ''θ'' ) можуть ускладнити обчислення інтегралу, а добуток ''p'' ( ''x'' | ''θ'' )&nbsp;×&nbsp;''p'' ( ''θ'' ) може приймати ту чи іншу алгебраїчну форму. Для певного вибору пріоритета, задній має ту саму алгебраїчну форму, що і пріоритет (як правило, з різними значеннями параметрів). Такий вибір є ''спряженим пріоритетом'' .

Спряжений апріор використовують для алгебричної зручности, за його допомогою можна отримати формулу для постеріорного розподілу; без нього може знадобитися [[Чисельне інтегрування|чисельне інтегрування.]] Далі, спряжені апріори можуть давати інтуїтивне трактування, більш прозоро показуючи, як функція правдоподібності оновлює апріорний розподіл.

Усі члени експоненційної сім'ї мають спряжені апріори<ref name="gelman_et_al">For a catalog, see {{Cite book
|title=Bayesian Data Analysis
|last=Gelman
|first=Andrew
|authorlink1=Andrew Gelman
|last2=Carlin
|first2=John B.
|last3=Stern
|first3=Hal S.
|last4=Rubin
|first4=Donald B.
|year=2003
|publisher=CRC Press
|edition=2nd
|isbn=1-58488-388-X
}}</ref>.

== Приклад ==
Форму спряженого апріора як правило, можне визначити шляхом перевірки [[Густина ймовірності|густини ймовірності]] чи [[Функція ймовірностей|функції ймовірності]] розподілу. Наприклад, розглянемо [[Випадкова величина|випадкову величину,]] що складається з кількості успіхів <math>s</math> в <math>n</math> [[Схема Бернуллі|випробуваннях Бернуллі]] з невідомою ймовірністю успіху <math>q</math> в [0,1]. Ця випадкова величина має [[біноміальний розподіл]] з функцією ймовірності у вигляді

: <math>p(s) = {n \choose s}q^s (1-q)^{n-s}</math>

Звичайним спряженим апріором такої функції є функція ймовірності [[Бета-розподіл|бета-розподілу]] з параметрами ( <math>\alpha</math>, <math>\beta</math> ):

: <math>p(q) = {q^{\alpha-1}(1-q)^{\beta-1} \over \Beta(\alpha,\beta)}</math>

де <math>\alpha</math> і <math>\beta</math> вибираються для відображення будь-яких наявних переконань чи інформації ( <math>\alpha</math> = 1 і <math>\beta</math> = 1 дасть [[Неперервний рівномірний розподіл|рівномірний розподіл]] ) і ''Β'' ( <math>\alpha</math> ,&nbsp;<math>\beta</math> ) — [[Бета-функція|бета-функція, яка]] діє як нормалізуюча константа .

У цьому контексті, <math>\alpha</math> і <math>\beta</math> називаються ''гіперпараметрами'' (параметрами апріора), щоб відрізнити їх від параметрів базової моделі (тут ''q''). Типовою характеристикою спряжених апріорів є те, що розмірність гіперпараметрів на одиницю більша, ніж розмірність параметрів вихідного розподілу. Якщо всі параметри є скалярними значеннями, то це означає, що буде на один гіперпараметр більше, ніж параметр; але це також стосується параметрів із векторними та матричними значеннями. (Див. загальну статтю про експоненційну сім’ю, а також розглянемо розподіл Вішарта, спряжений апріор [[Коваріаційна матриця|коваріаційної матриці]] [[Багатовимірний нормальний розподіл|багатовимірного нормального розподілу]], для прикладу, коли маємо справу з великою розмірністю).

Якщо ми потім виберемо цю випадкову величину і отримаємо ''s'' успіхів і ''f'' невдач, ми маємо

: <math>\begin{align}
 P(s, f \mid q=x) &= {s+f \choose s} x^s(1-x)^f,\\
       P(q=x) &= {x^{\alpha-1}(1-x)^{\beta-1} \over \Beta(\alpha,\beta)},\\
  P(q=x \mid s,f) &= \frac{P(s, f \mid x)P(x)}{\int P(s, f \mid y)P(y)dy}\\
          & = {{{s+f \choose s} x^{s+\alpha-1}(1-x)^{f+\beta-1} / \Beta(\alpha,\beta)} \over \int_{y=0}^1 \left({s+f \choose s} y^{s+\alpha-1}(1-y)^{f+\beta-1} / \Beta(\alpha,\beta)\right) dy} \\
          & = {x^{s+\alpha-1}(1-x)^{f+\beta-1} \over \Beta(s+\alpha,f+\beta)},
\end{align}</math>

тобто ще один бета-розподіл з параметрами ( <math>\alpha</math> + ''s'', <math>\beta</math> + ''f'' ). Цей апостеріорний розподіл можна було б використовувати як апріор для більшої кількості вибірок, при цьому гіперпараметри просто щоразу додають додаткову порцію інформації щойно вона надходить.

== Псевдоспостереження ==
Часто корисно вважати гіперпараметри спряженого апріора розподілу як відповідні спостереженню певної кількості ''псевдоспостережень'' із властивостями, заданими параметрами. Наприклад, значення <math>\alpha</math> і <math>\beta</math> [[Бета-розподіл|бета-розподілу]] можна вважати відповідним <math>\alpha-1</math> успіхам і <math>\beta-1</math> невдачам, якщо постеріорний режим використовується для вибору оптимального параметра, або <math>\alpha</math> успіхів і <math>\beta</math> невдач, якщо для вибору оптимального параметра використовується постеріорне середнє значенняя. Загалом, для майже всіх спряжених апріорів розподілів гіперпараметри можна інтерпретувати в термінах псевдоспостережень. Це може допомогти як в інтуїтивному трактуванні часто заплутаних оновлень рівняннянь, так і для вибору розумних гіперпараметрів для апріора.

== Інтерпретації ==

=== Аналогія з власними функціями  ===
Спряжені апріори аналогічні [[Власна функція|власним функціям]] в [[Теорія операторів|теорії операторів]], оскільки вони є розподілами, на які «оператор зумовлення» діє зрозумілим чином. Для цього треба розглянути процес перетворення апріорного в апостеріорний розподіл як оператор.

І у випадку власних функцій, і у випадку спряжених апріорів ''скінченновимірні'' простори зберігаються при дії оператора: результат виражається тією ж формою (в тому самому просторі), що й вхідні дані. Це значно спрощує аналіз, оскільки в іншому випадку матимемо справу з нескінченновимірним простором (усіх функцій, чи усіх розподілів).

А проте процеси лише аналогічні, не ідентичні: оператор зумовлення не лінійний, оскільки простір розподілів не замкнений відносто [[Лінійна комбінація|лінійної комбінації]], а тільки відносно [[Опукла комбінація|опуклою комбінацією]], а апостеріор має лише ту саму ''форму'', що й апріор, але не є його лінійним перетворенням.

Подібно до того, як можна побачити, як виявляється лінійна комбінація власних функцій при застосуванні оператора (оскільки щодо цих функцій оператор [[Діагоналізовна матриця|діагоналізований]]), можна легко проаналізувати, як опукла комбінація спряжених апріорів розвивається в зумовности; це називається використання ''гіпер-апріорного'' і є відповідником використання щільності суміші спряжених апріорів, а не одного спряженого апріора.

=== Динамічна система ===
Можна розглядати умовність спряжених апріорів як задання певного роду (в дискретному часі) [[Динамічна система|динамічної системи]]: із заданого набору гіперпараметрів вхідні дані оновлюють ці гіперпараметри, тож можна розглядати зміну гіперпараметрів як свого роду «еволюцію в часі» системи, яку можна вважати «навчанням». Різні початкові умови спричинюються до різних траєкторій. Знову ж таки таке трактування аналогічне динамічній системі, визначеній лінійним оператором, однак зауважте, що оскільки різні вибірки призводять до різних результатів, тут маємо не просто залежність від часу, а скоріше від потоку даних у часі. Для пов’язаних підходів див. [[Рекурсивне баєсове оцінювання|Рекурсивна байєсівська оцінка]] та Засвоєння даних .

== Практичний приклад ==
Припустимо, у вашому місті працює служба прокату автомобілів. Водії можуть залишати та брати автомобілі в будь-якому місці в межах міста. Ви можете знайти та орендувати авто за допомогою програми.

Припустимо, ви хочете знайти ймовірність того, що ви зможете знайти авто для оренди на невеликій відстані від вашої домашньої адреси в будь-який час доби.

Протягом трьох днів ви переглядаєте додаток і знаходите таку кількість автомобілів на невеликій відстані від вашої домашньої адреси: <math>\mathbf{x} = [3,4,1]</math>

Якщо ми припустимо, що дані отримані з [[Розподіл Пуассона|розподілу Пуассона]], ми можемо обчислити [[Метод максимальної правдоподібності|оцінку максимальної правдоподібності]] параметра моделі <math display="inline">\lambda = \frac{3+4+1}{3} \approx 2.67.</math> Використовуючи цю оцінку максимальної ймовірності, ми можемо обчислити ймовірність того, що в певний день буде принаймні один автомобіль: <math display="inline">p(x>0 | \lambda \approx 2.67) = 1 - p(x=0 | \lambda \approx 2.67) = 1-\frac{2.67^0 e^{-2.67}}{0!} \approx 0.93</math>

Цей розподіл Пуассона, ''який,'' скоріш за все, породив бачені нами дані <math>\mathbf{x}</math> . Але дані також могли бути отримані з іншого розподілу Пуассона, наприклад, з <math>\lambda = 3</math>, або <math>\lambda = 2</math>, тощо Насправді існує нескінченна кількість розподілів Пуассона, які ''могли'' б генерувати спостережувані дані, і з відносно невеликою кількістю спостережень ми не можемо бути досить впевнені щодо того, який саме розподіл Пуассона згенерував ці дані. Інтуїтивно ми повинні замість цього взяти середнє зважене значення ймовірності <math>p(x>0| \lambda)</math> для кожного з цих розподілів Пуассона, зважених значенням того наскільки вони ймовірні, враховуючи дані, які ми спостерігали <math>\mathbf{x}</math> .

Як правило, ця величина відома як апостеріорний прогнозний розподіл <math>p(x|\mathbf{x}) = \int_\theta p(x|\theta)p(\theta|\mathbf{x})d\theta\,,</math> де <math>x</math> це нова точка даних, <math>\mathbf{x}</math> є спостережуваними даними і <math>\theta</math> є параметрами моделі. Використовуючи [[Теорема Баєса|теорему Баєса,]] можна розширити <math>p(\theta|\mathbf{x}) = \frac{p(\mathbf{x}|\theta)p(\theta)}{p(\mathbf{x})}\,,</math> тому <math>p(x|\mathbf{x}) = \int_\theta p(x|\theta)\frac{p(\mathbf{x}|\theta)p(\theta)}{p(\mathbf{x})}d\theta\,.</math> Як правило, цей інтеграл важко обчислити. Однак, якщо ви виберете спряжений апріорний розподіл <math>p(\theta)</math>, можна отримати явну формулу. Її можна знайти в останньому стовпці в таблицях нижче.

Повертаючись до нашого прикладу, якщо виберемо [[гамма-розподіл]] як наш апріорний розподіл параметра <math>\lambda</math> в розподілі Пуассона, то постеріорним розподілом для передбачення буде [[Від'ємний біноміальний розподіл|негативний біноміальний розподіл,]] як видно з останнього стовпця таблиці нижче. Гамма-розподіл параметризується двома гіперпараметрами <math>\alpha, \beta</math> які ми маємо вибрати. Зважаючи на графіки гамма-розподілу, вибираємо <math>\alpha = \beta = 2</math>, що, видається обґрунтованим апріором для середньої кількості автівок. Вибір апріорних гіперпараметрів за своєю суттю є суб’єктивним і заснований на попередніх знаннях і досвіді.

Враховуючи апріорні гіперпараметри <math>\alpha</math> і <math>\beta</math> ми можемо обчислити постеріорні гіперпараметри <math display="inline">\alpha' = \alpha + \sum_i x_i = 2 + 3+4+1 = 10</math> і <math display="inline">\beta' = \beta + n = 2+3 = 5</math>

Враховуючи постеріорні гіперпараметри, ми можемо нарешті обчислити апостеріорний прогноз <math display="inline">p(x>0|\mathbf{x}) = 1-p(x=0|\mathbf{x}) = 1 - NB\left(0\, |\, 10, \frac{1}{1+5}\right) \approx 0.84</math>

Ця набагато більш консервативна оцінка відображає невизначеність параметрів моделі, яку враховує постеріорний прогноз.

== Таблиця спряжених розподілів ==
Нехай ''n'' - кількість спостережень. У всіх нижченаведених випадках передбачається, що дані складаються з ''n'' точок <math>x_1,\ldots,x_n</math> (які будуть [[Багатовимірна випадкова величина|випадковими векторами]] у багатовимірних випадках).

Якщо функція правдоподібності належить експоненціальному сімейству, то спряжений апріор існує, часто також з експоненціального сімейства.

=== Коли функція правдоподібності є дискретним розподілом ===
{| class="wikitable"

!Правдоподібність
!Параметри моделі
!Розподіл спряженого апріора
!Гіперпараметри апріора
!Гіперпараметри постреріора<ref group=note name="posterior-hyperparameters">Позначається тими ж символами що й апріорні гіперпараметри з апострофами('). Наприклад <math>\alpha</math> позначається <math>\alpha'</math></ref>
!Інтерпретація гіперпараметрів
!Постеріорний прогнозний розподіл<ref group="note" name="postpred">Це постеріорний прогнозний розподіл нової точки <math>\tilde{x}</math> зумовлений спостереженими точками (наявною інформацією), що мають парпметри [[Граничний розподіл|граничного розподілу]]. Змінні з апострофами позначають постеріорні значення параметрів.</ref>
|-
| [[Розподіл Бернуллі|Бернуллі]] || ''p'' (ймовірність) || [[Бета-розподіл|Бета]] || <math>\alpha,\, \beta\in\mathbb{R}\!</math> || <math>\alpha + \sum_{i=1}^n x_i,\, \beta + n - \sum_{i=1}^n x_i\!</math>
| <math>\alpha</math> успіхи, <math>\beta</math> невдачі<ref group=note name="beta-interp">Точна інтерпретація параметрів [[бета-розподіл]]у з точки зору кількості успіхів і невдач залежить від того, яка функція використовується для отримання точкової оцінки з розподілу.  Матсподівання бета-розподілу обчислюється як <math>\frac{\alpha}{\alpha + \beta},</math> що відповідає <math>\alpha</math> успіхам і <math>\beta</math> невдачам, тоді як його мода дорівнює <math>\frac{\alpha - 1}{\alpha + \beta - 2},</math> що відповідає <math>\alpha - 1</math> успіхам і  <math>\beta - 1</math> невдачам. У Баєсівських обчисленнях точкових оцінок віддають перевагу постеріорному матсподіванню перед постеріорною модою, ґрунтуючись на квадратичній функції втрат, до того ж використання <math>\alpha</math> і <math>\beta</math> математично зручніше, тоді як перевагою використання <math>\alpha - 1</math> і <math>\beta - 1</math> є те, що рівномірний апріор <math>{\rm Beta}(1,1)</math> відповідає випадку коли маємо 0 успіхів і 0 невдач. Аналогічні міркування мають місце при використанні [[Розподіл Діріхле|розподілу Діріхле]].</ref>
| <math>p(\tilde{x}=1) = \frac{\alpha'}{\alpha'+\beta'}</math>
|-
| [[Біноміальний розподіл|Біноміальний]] || ''p'' (ймовірність) || [[Бета-розподіл|Бета]] || <math>\alpha,\, \beta\in\mathbb{R}\!</math>  || <math>\alpha + \sum_{i=1}^n x_i,\, \beta + \sum_{i=1}^nN_i - \sum_{i=1}^n x_i\!</math>
| <math>\alpha</math> успіхи, <math>\beta</math> невдачі<ref group=note name="beta-interp"/>
| <math>\operatorname{BetaBin}(\tilde{x}|\alpha',\beta')</math><br/>([[Бета-біноміальний розподіл|Бета-біноміальний]])
|-
| [[Від'ємний біноміальний розподіл|Від'ємний біноміальний]]<br/>з відомою кількістю невдач, ''r'' || ''p'' (ймовірність) || [[Бета-розподіл|Бета]] || <math>\alpha,\, \beta\in\mathbb{R}\!</math>  || <math>\alpha + rn ,\, \beta + \sum_{i=1}^n x_i\!</math>
| <math>\alpha</math> число всіх успіхів, <math>\beta</math> невдачі<ref group=note name="beta-interp"/> (тобто, <math>\frac{\beta}{r}</math> експериментів, за умови, що <math>r</math> фіксоване)
|<math>\operatorname{BetaNegBin}(\tilde{x}|\alpha',\beta')</math>
([[Бета-негативний біноміальний розподіл|Бета-негативний біноміальний]])
|-
| rowspan=2 | [[Розподіл Пуассона|Пуассон]]
| rowspan=2 | ''λ'' (темп)
| rowspan=2 | [[Гамма-розподіл|Гамма]]
| <math>k,\, \theta\in\mathbb{R}\!</math> || <math>k + \sum_{i=1}^n x_i,\ \frac {\theta} {n \theta  + 1}\!</math>
| <math>k</math> загальна кількість випадань в <math>\frac{1}{\theta}</math> інтервалах
| <math>\operatorname{NB}\left(\tilde{x}\mid k', \frac{\theta'}{\theta'+1}\right)</math><br />([[Від'ємний біноміальний розподіл|Від'ємний біноміальний]])
|-
| <math>\alpha,\, \beta\!</math>  <ref group=note name="beta_rate">''β'' темп зміни чи обернений до параметра масштабу. В параметризації [[Гамма-розподіл]], ''θ'' = 1/''β'' і ''k'' = ''α''.</ref> || <math>\alpha + \sum_{i=1}^n x_i ,\ \beta + n\!</math>
| <math>\alpha</math> загальна кількість випадань в <math>\beta</math> інтервалах
| <math>\operatorname{NB}\left(\tilde{x}\mid\alpha', \frac{1}{1 + \beta'}\right)</math><br />([[Від'ємний біноміальний розподіл|Від'ємний біноміальний]])
|-
| [[Категорійний розподіл|Категорійний]] || '''''p''''' (вектор ймовірності), ''k'' (число категорій; тобто, розмірність '''''p''''') || [[Розподіл Діріхле|Діріхле]] || <math>\boldsymbol\alpha\in\mathbb{R}^k\!</math> || <math>\boldsymbol\alpha + (c_1, \ldots, c_k),</math> де <math>c_i</math> число спостережень в категорії ''i''
| <math>\alpha_i</math> число випадінь категорії <math>i</math><ref group=note name="beta-interp"/>
| <math>\begin{align}
    p(\tilde{x}=i) &= \frac{{\alpha_i}'}{\sum_i {\alpha_i}'} \\
                   &= \frac{\alpha_i + c_i}{\sum_i \alpha_i + n}
 \end{align}</math>
|-
| [[Поліноміальний розподіл|Поліноміальний]] || '''''p''''' (вектор ймовірності), ''k'' (число категорій; тобто, розмірність '''''p''''') || [[Розподіл Діріхле|Діріхле]] || <math>\boldsymbol\alpha\in\mathbb{R}^k\!</math> || <math>\boldsymbol\alpha + \sum_{i=1}^n\mathbf{x}_i\!</math>
| <math>\alpha_i</math> число випадінь категорії <math>i</math><ref group=note name="beta-interp"/>
| <math>\operatorname{DirMult}(\tilde{\mathbf{x}}\mid\boldsymbol\alpha')</math><br />({{iw|Dirichlet-multinomial distribution|Dirichlet-multinomial}})
|-
| [[Гіпергеометричний розподіл|Гіпергеометричний]]<br />з відомим розміром загальної популяції, ''N'' || ''M'' (цільове число членів) || [[Бета-біноміальний розподіл|Бета-біноміальний]]<ref name="Fink"/>|| <math>n=N, \alpha,\, \beta\!</math> || <math>\alpha + \sum_{i=1}^n x_i,\, \beta + \sum_{i=1}^nN_i - \sum_{i=1}^n x_i\!</math>
| <math>\alpha</math> успіхи, <math>\beta</math> невдачі<ref group=note name="beta-interp"/>
|
|-
| [[Геометричний розподіл|Геометричний]] || ''p<sub>0</sub>'' (ймовірність) || [[Бета-розподіл|Бета]] || <math>\alpha,\, \beta\in\mathbb{R}\!</math> || <math>\alpha + n,\, \beta + \sum_{i=1}^n x_i\!</math>
| <math>\alpha</math> експерименти, <math>\beta</math> всі невдачі<ref group=note name="beta-interp"/>
|
|}

=== Коли функція ймовірності є безперервним розподілом ===
{{переклад}}
{| class="wikitable"
!Правдоподібність
!Параметри моделі
!Розподіл спряженого апріора
!Гіперпараметри апріора
!Гіперпараметри постреріора<ref group=note name="posterior-hyperparameters"/>
!Інтерпретація гіперпараметрів
!Постеріорний прогнозний розподіл<ref group="note" name="ppredNt">Це постеріорний прогнозний розподіл нової точки <math>\tilde{x}</math> зумовлений спостереженими точками (наявною інформацією), що мають парпметри [[Граничний розподіл|граничного розподілу]]. Змінні з апострофами позначають постеріорні значення параметрів. <math>\mathcal{N}</math> and <math>t_n</math> позначають [[нормальний розподіл]] і [[t-розподіл Стьюдента]] або ж [[багатовимірний нормальний розподіл]] і [[багатовимірний t-розподіл Стьюдента]] у багатовиміних випадках відповідно.</ref>
|-
|[[Нормальний розподіл|Нормальний]]<br/> з відомою дисперсією ''σ''<sup>2</sup>
|''μ'' (середнє)
|[[Нормальний розподіл|Нормальний]]
|<math>\mu_0,\, \sigma_0^2\!</math>
|<math>\frac{1}{\frac{1}{\sigma_0^2} + \frac{n}{\sigma^2}}\left(\frac{\mu_0}{\sigma_0^2} + \frac{\sum_{i=1}^n x_i}{\sigma^2}\right),
\left(\frac{1}{\sigma_0^2} + \frac{n}{\sigma^2}\right)^{-1}</math>
|mean was estimated from observations with total precision (sum of all individual precisions)<math>1/\sigma_0^2</math> and with sample mean <math>\mu_0</math>
|<math>\mathcal{N}(\tilde{x}|\mu_0', {\sigma_0^2}' +\sigma^2)</math><ref name="murphy">{{Citation|last=Murphy|first=Kevin P.|year=2007|title=Conjugate Bayesian analysis of the Gaussian distribution|url=http://www.cs.ubc.ca/~murphyk/Papers/bayesGauss.pdf|accessdate=18 січня 2022|archive-date=18 січня 2022|archive-url=https://web.archive.org/web/20220118144943/https://www.cs.ubc.ca/~murphyk/Papers/bayesGauss.pdf}}</ref>
|-
|[[Нормальний розподіл|Нормальний]]<br /><br />with known precision ''τ''
|''μ'' (середнє)
|[[Нормальний розподіл|Нормальний]]
|<math>\mu_0,\, \tau_0\!</math>
|<math> \frac{\tau_0 \mu_0 + \tau \sum_{i=1}^n x_i}{\tau_0 + n \tau},\, \left(\tau_0 + n \tau\right)^{-1}</math>
|mean was estimated from observations with total precision (sum of all individual precisions)<math>\tau_0</math> and with sample mean <math>\mu_0</math>
|<math>\mathcal{N}\left(\tilde{x}\mid\mu_0', \frac{1}{\tau_0'} +\frac{1}{\tau}\right)</math>
|-
|[[Нормальний розподіл|Нормальний]]<br/>з відомим середнім ''μ''
|''σ''<sup>2</sup> (дисперсія)
|[[Обернений гамма розподіл|Обернений гамма]]
|<math> \mathbf{\alpha,\, \beta} </math> 
|<math> \mathbf{\alpha}+\frac{n}{2},\, \mathbf{\beta} + \frac{\sum_{i=1}^n{(x_i-\mu)^2}}{2} </math>
|variance was estimated from <math>2\alpha</math> observations with sample variance <math>\beta/\alpha</math> (i.e. with sum of squared deviations <math>2\beta</math>, where deviations are from known mean <math>\mu</math>)
|<math>t_{2\alpha'}(\tilde{x}|\mu,\sigma^2 = \beta'/\alpha')</math>
|-
|[[Нормальний розподіл|Нормальний]]<br/>з відомим середнім ''μ''
|''σ''<sup>2</sup> (дисперсія)
|Scaled inverse chi-squared
|<math>\nu,\, \sigma_0^2\!</math>
|<math>\nu+n,\, \frac{\nu\sigma_0^2 + \sum_{i=1}^n (x_i-\mu)^2}{\nu+n}\!</math>
|variance was estimated from <math>\nu</math> observations with sample variance <math>\sigma_0^2</math>
|<math>t_{\nu'}(\tilde{x}|\mu,{\sigma_0^2}')</math>
|-
|[[Нормальний розподіл|Нормальний]]<br/>з відомим середнім ''μ''
|''τ'' (прецизійність)
|[[Гамма-розподіл|Гамма]]
|<math>\alpha,\, \beta\!</math>
|<math>\alpha + \frac{n}{2},\, \beta + \frac{\sum_{i=1}^n (x_i-\mu)^2}{2}\!</math>
|precision was estimated from <math>2\alpha</math> observations with sample variance <math>\beta/\alpha</math> (i.e. with sum of squared deviations <math>2\beta</math>, where deviations are from known mean <math>\mu</math>)
|<math>t_{2\alpha'}(\tilde{x}\mid\mu,\sigma^2 = \beta'/\alpha')</math>
|-
|[[Нормальний розподіл|Нормальний]]
|''μ'' і ''σ<sup>2</sup>''<br /><br />за умови взаємозамінности
|Normal-inverse gamma
|<math> \mu_0 ,\, \nu ,\, \alpha ,\, \beta</math>
|<math>\frac{\nu\mu_0+n\bar{x}}{\nu+n} ,\, \nu+n,\, \alpha+\frac{n}{2} ,\, </math><br /><br /><math>
\beta + \tfrac{1}{2} \sum_{i=1}^n (x_i - \bar{x})^2 + \frac{n\nu}{\nu+n}\frac{(\bar{x}-\mu_0)^2}{2} </math>

* <math> \bar{x} </math> середнє вибірки
|mean was estimated from <math>\nu</math> observations with sample mean <math>\mu_0</math>; variance was estimated from <math>2\alpha</math> observations with sample mean <math>\mu_0</math> and sum of squared deviations <math>2\beta</math>
|<math>t_{2\alpha'}\left(\tilde{x}\mid\mu',\frac{\beta'(\nu'+1)}{\nu' \alpha'}\right)</math>
|-
|[[Нормальний розподіл|Нормальний]]
|''μ'' і ''τ''<br /><br />за умови взаємозамінности
|Normal-gamma
|<math> \mu_0 ,\, \nu ,\, \alpha ,\, \beta</math>
|<math>\frac{\nu\mu_0+n\bar{x}}{\nu+n} ,\, \nu+n,\, \alpha+\frac{n}{2} ,\, </math><br /><br /><math>
\beta + \tfrac{1}{2} \sum_{i=1}^n (x_i - \bar{x})^2 + \frac{n\nu}{\nu+n}\frac{(\bar{x}-\mu_0)^2}{2} </math>

* <math> \bar{x} </math> середнє вибірки
|mean was estimated from <math>\nu</math> observations with sample mean <math>\mu_0</math>, and precision was estimated from <math>2\alpha</math> observations with sample mean <math>\mu_0</math> and sum of squared deviations <math>2\beta</math>
|<math>t_{2\alpha'}\left(\tilde{x}\mid\mu',\frac{\beta'(\nu'+1)}{\alpha'\nu'}\right)</math>
|-
|[[Багатовимірний нормальний розподіл|Багатовимірний нормальний]] з відомою матрицею коваріації '''''Σ'''''
|'''''μ''''' (вектор середнього)
|[[Багатовимірний нормальний розподіл|Багатовимірний нормальний]]
|<math>\boldsymbol{\boldsymbol\mu}_0,\, \boldsymbol\Sigma_0</math>
|<math>\left(\boldsymbol\Sigma_0^{-1} + n\boldsymbol\Sigma^{-1}\right)^{-1}\left( \boldsymbol\Sigma_0^{-1}\boldsymbol\mu_0 + n \boldsymbol\Sigma^{-1} \mathbf{\bar{x}} \right),</math><br /><br /><math>\left(\boldsymbol\Sigma_0^{-1} + n\boldsymbol\Sigma^{-1}\right)^{-1}</math>

* <math>\mathbf{\bar{x}}</math> середнє вибірки
|mean was estimated from observations with total precision (sum of all individual precisions)<math>\boldsymbol\Sigma_0^{-1}</math> and with sample mean <math>\boldsymbol\mu_0</math>
|<math>\mathcal{N}(\tilde{\mathbf{x}}\mid{\boldsymbol\mu_0}', {\boldsymbol\Sigma_0}' +\boldsymbol\Sigma)</math>
|-
|[[Багатовимірний нормальний розподіл|Багатовимірний нормальний]] з відомою матрицею прецизійності '''''Λ'''''
|'''''μ''''' (вектор середнього)
|[[Багатовимірний нормальний розподіл|Багатовимірний нормальний]]
|<math>\mathbf{\boldsymbol\mu}_0,\, \boldsymbol\Lambda_0</math>
|<math>\left(\boldsymbol\Lambda_0 + n\boldsymbol\Lambda\right)^{-1}\left( \boldsymbol\Lambda_0\boldsymbol\mu_0 + n \boldsymbol\Lambda \mathbf{\bar{x}} \right),\, \left(\boldsymbol\Lambda_0 + n\boldsymbol\Lambda\right)</math>

* <math>\mathbf{\bar{x}}</math> середнє вибірки
|mean was estimated from observations with total precision (sum of all individual precisions)<math>\boldsymbol\Lambda_0</math> and with sample mean <math>\boldsymbol\mu_0</math>
|<math>\mathcal{N}\left(\tilde{\mathbf{x}}\mid{\boldsymbol\mu_0}', {{\boldsymbol\Lambda_0}'}^{-1} + \boldsymbol\Lambda^{-1}\right)</math>
|-
|[[Багатовимірний нормальний розподіл|Багатовимірний нормальний]] з відомим середнім '''''μ'''''
|'''''Σ''''' (матриця коваріації)
|Inverse-Wishart
|<math>\nu ,\, \boldsymbol\Psi</math>
|<math>n+\nu ,\, \boldsymbol\Psi + \sum_{i=1}^n (\mathbf{x_i} - \boldsymbol\mu) (\mathbf{x_i} - \boldsymbol\mu)^T  </math>
|covariance matrix was estimated from <math>\nu</math> observations with sum of pairwise deviation products <math>\boldsymbol\Psi</math>
|<math>t_{\nu'-p+1}\left(\tilde{\mathbf{x}}|\boldsymbol\mu,\frac{1}{\nu'-p+1}\boldsymbol\Psi'\right)</math>
|-
|[[Багатовимірний нормальний розподіл|Багатовимірний нормальний]] з відомим середнім '''''μ'''''
|'''''Λ''''' (матриця прецизійності)
|Wishart
|<math>\nu ,\, \mathbf{V}</math>
|<math>n+\nu ,\, \left(\mathbf{V}^{-1} + \sum_{i=1}^n (\mathbf{x_i} - \boldsymbol\mu) (\mathbf{x_i} - \boldsymbol\mu)^T\right)^{-1}  </math>
|covariance matrix was estimated from <math>\nu</math> observations with sum of pairwise deviation products <math>\mathbf{V}^{-1}</math>
|<math>t_{\nu'-p+1}\left(\tilde{\mathbf{x}}\mid\boldsymbol\mu,\frac{1}{\nu'-p+1}{\mathbf{V}'}^{-1}\right)</math>
|-
|[[Багатовимірний нормальний розподіл|Багатовимірний нормальний]]
|'''''μ''''' (вектор середнього) і '''''Σ''''' (матриця коваріації)
|normal-inverse-Wishart
|<math>\boldsymbol\mu_0 ,\, \kappa_0 ,\, \nu_0 ,\, \boldsymbol\Psi</math>
|<math>\frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\,</math><br /><br /><math>  \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T </math>

* <math> \mathbf{\bar{x}} </math> середнє вибірки
* <math>\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T</math>
|mean was estimated from <math>\kappa_0</math> observations with sample mean <math>\boldsymbol\mu_0</math>; covariance matrix was estimated from <math>\nu_0</math> observations with sample mean <math>\boldsymbol\mu_0</math> and with sum of pairwise deviation products <math>\boldsymbol\Psi=\nu_0\boldsymbol\Sigma_0</math>
|<math>t_{{\nu_0}'-p+1}\left(\tilde{\mathbf{x}}|{\boldsymbol\mu_0}',\frac{{\kappa_0}'+1}{{\kappa_0}'({\nu_0}'-p+1)}\boldsymbol\Psi'\right)</math>
|-
|[[Багатовимірний нормальний розподіл|Багатовимірний нормальний]]
|'''''μ''''' (вектор середнього) і '''''Λ''''' (матриця прецизійності)
|normal-Wishart
|<math>\boldsymbol\mu_0 ,\, \kappa_0 ,\, \nu_0 ,\, \mathbf{V}</math>
|<math>\frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\,</math><br /><br /><math>  \left(\mathbf{V}^{-1} + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T\right)^{-1} </math>

* <math> \mathbf{\bar{x}} </math> середнє вибірки
* <math>\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T</math>
|mean was estimated from <math>\kappa_0</math> observations with sample mean <math>\boldsymbol\mu_0</math>; covariance matrix was estimated from <math>\nu_0</math> observations with sample mean <math>\boldsymbol\mu_0</math> and with sum of pairwise deviation products <math>\mathbf{V}^{-1}</math>
|<math>t_{{\nu_0}'-p+1}\left(\tilde{\mathbf{x}}\mid {\boldsymbol\mu_0}', \frac{{\kappa_0}'+1}{{\kappa_0}'({\nu_0}'-p+1)}{\mathbf{V}'}^{-1}\right)</math>
|-
|[[Неперервний рівномірний розподіл|Рівномірний]]
|<math> U(0,\theta)\!</math>
|[[Розподіл Парето|Парето]]
|<math> x_{m},\, k\!</math>
|<math> \max\{\,x_1,\ldots,x_n,x_\mathrm{m}\},\, k+n\!</math>
|<math>k</math> observations with maximum value <math>x_m</math>
|
|-
|[[Розподіл Парето|Парето]] <br /><br /> з відомим мінімумом ''x''<sub>''m''</sub>
|''k'' (форма)
|[[Гамма-розподіл|Гамма]]
|<math>\alpha,\, \beta\!</math>
|<math>\alpha+n,\, \beta+\sum_{i=1}^n \ln\frac{x_i}{x_{\mathrm{m}}}\!</math>
|<math>\alpha</math> observations with sum <math>\beta</math> of the [[Порядок величини|order of magnitude]] of each observation (i.e. the logarithm of the ratio of each observation to the minimum <math>x_m</math>)
|
|-
|[[Розподіл Вейбула|Weibull]] <br /><br /> з відомим параметром форми ''β''
|''θ'' (масштаб)
|Обернений гамма
|<math>a, b\!</math>
|<math>a+n,\, b+\sum_{i=1}^n x_i^{\beta}\!</math>
|<math>a</math> observations with sum <math>b</math> of the ''β'''th power of each observation
|
|-
|[[Логнормальний розподіл|Логнормальний]]
| colspan="6" |Same as for the normal distribution after applying the natural logarithm to the data for the posterior hyperparameters. Please refer to page 21 and 22 <ref name="Fink">{{Cite web|url=https://courses.physics.ucsd.edu/2018/Fall/physics210b/REFERENCES/conjugate_priors.pdf|title=A Compendium of Conjugate Priors|author=Daniel Fink|accessdate=16 січня 2022|дата=May 1997|archive-date=4 травня 2021|archive-url=https://web.archive.org/web/20210504005817/https://courses.physics.ucsd.edu/2018/Fall/physics210b/REFERENCES/conjugate_priors.pdf}} {{ref-en}}</ref> to see the details.
|
|-
|[[Експоненційний розподіл|Експоненційний]]
|''λ'' (темп)
|[[Гамма-розподіл|Гамма]]
|<math>\alpha,\, \beta\!</math> 
|<math>\alpha+n,\, \beta+\sum_{i=1}^n x_i\!</math>
|<math>\alpha-1</math> observations that sum to <math>\beta</math> 
|<math>\operatorname{Lomax}(\tilde{x}\mid\beta',\alpha')</math><br /><br />(Lomax distribution)
|-
|[[Гамма-розподіл|Гамма]] <br/>з відомим параметром ''α''
|''β'' (темп)
|[[Гамма-розподіл|Гамма]]
|<math>\alpha_0,\, \beta_0\!</math>
|<math>\alpha_0+n\alpha,\, \beta_0+\sum_{i=1}^n x_i\!</math>
|<math>\alpha_0/\alpha</math> observations with sum <math>\beta_0</math>
|<math>\operatorname{CG}(\tilde{\mathbf{x}}\mid\alpha,{\alpha_0}',{\beta_0}')=\operatorname{\beta'}(\tilde{\mathbf{x}}|\alpha,{\alpha_0}',1,{\beta_0}')</math> 
|-
|Обернений гамма <br /><br />з відомим параметром форми ''α''
|''β'' (обернений масштаб)
|[[Гамма-розподіл|Гамма]]
|<math>\alpha_0,\, \beta_0\!</math>
|<math>\alpha_0+n\alpha,\, \beta_0+\sum_{i=1}^n \frac{1}{x_i}\!</math>
|<math>\alpha_0/\alpha</math> observations with sum <math>\beta_0</math>
|
|-
|[[Гамма-розподіл|Гамма]] <br /><br /> з відомим параметром темпу ''β''
|''α'' (форма)
|<math>\propto \frac{a^{\alpha-1} \beta^{\alpha c}}{\Gamma(\alpha)^b}</math>
|<math>a,\, b,\, c\!</math>
|<math>a \prod_{i=1}^n x_i,\, b + n,\, c + n\!</math>
|<math>b</math> or <math>c</math> observations (<math>b</math> for estimating <math>\alpha</math>, <math>c</math> for estimating <math>\beta</math>) with product <math>a</math>
|
|-
|[[Гамма-розподіл|Гамма]]
|''α'' (форма), ''β'' (обернений масштаб)
|<math>\propto \frac{p^{\alpha-1} e^{-\beta q}}{\Gamma(\alpha)^r \beta^{-\alpha s}}</math>
|<math>p,\, q,\, r,\, s \!</math>
|<math>p \prod_{i=1}^n x_i,\, q + \sum_{i=1}^n x_i,\, r + n,\, s + n \!</math>
|<math>\alpha</math> was estimated from <math>r</math> observations with product <math>p</math>; <math>\beta</math> was estimated from <math>s</math> observations with sum <math>q</math>
|
|-
|[[Бета-розподіл|Beta]]
|''α'', ''β''
|<math>\propto \frac{\Gamma(\alpha+\beta)^k \, p^\alpha \, q^\beta}{\Gamma(\alpha)^k\,\Gamma(\beta)^k}</math>
|<math>p,\, q,\, k \!</math>
|<math>p \prod_{i=1}^n x_i,\, q \prod_{i=1}^n (1-x_i),\, k + n \!</math>
|<math>\alpha</math> and <math>\beta</math> were estimated from <math>k</math> observations with product <math>p</math> and product of the complements <math>q</math>
|
|-
|}

== Див. також ==
* [[Бета-біноміальний розподіл]]

== Примітки ==
<references group="note"/>
== Джерела ==
{{reflist|2}}

[[Категорія:Спряжені апріорні розподіли]]
[[Категорія:Баєсова статистика]]
[[Категорія:Сторінки з неперевіреними перекладами]]