Бета-біноміальний розподіл

Шаблон:Розподіл ймовірностей У теорії ймовірностей і статистиці, бета-біноміальний розподіл являє собою сімейство дискретних імовірнісних розподілів на скінченному носії невід'ємних цілих чисел, що виникає коли ймовірність успіху в кожному з фіксованих чи відомого числа випробувань Бернуллі або невідома, або є випадковою. Бета-біноміальний розподіл — це біноміальний розподіл, у якому ймовірність успіху в кожному з n випробувань не є фіксованою, а є випадковою реалізацією бета-розподіленої випадкової величини. Розподіл часто використовується в байєсівській статистиці, емпіричних методах Байєса та класичній статистиці для виявлення наддисперсії в біноміально розподілених даних.

Він зводиться до звичайного розподілу Бернуллі, коли n=1. Для α=β=1, це дискретний рівномірний розподіл від 0 до n. Він також як завгодно добре наближує біноміальний розподіл для великих α і β . Аналогічно, зводиться негативного біноміального розподілу при великими значеннями β і n. Бета-біноміальний є одновимірною версією мультиноміального розподілу Діріхле, оскільки біноміальний та бета-розподіл є одновимірними версіями мультиноміального та розподілу Діріхле відповідно.

Особливий випадок, коли α і β є цілими числами, також відомий як негативний гіпергеометричний розподіл.

Мотивація та виведення

Як складений розподіл

Бета-розподіл — це спряжений розподіл біноміального розподілу . Цей факт дозволяє аналітично вивести складений розподіл, якщо вважати параметр $p$ у біноміальному розподілі як випадкову реалізацію бета-розподіленої випадкової величини. А саме, якщо

$X\sim \mathrm{Bin}(n,p)$

тоді

$P(X=k\mid p,n)=L(p\mid k)=(\genfrac{}{}{0ex}{}{n}{k})p^k(1-p{)}^{n-k}$

де Bin( n, p ) означає біноміальний розподіл, а де p — випадкова величина з бета-розподілом.

$\begin{array}{cc}\pi (p\mid \alpha ,\beta )& =\mathrm{B}\mathrm{e}\mathrm{t}\mathrm{a}(\alpha ,\beta )\\ & =\frac{p^{\alpha -1}(1-p{)}^{\beta -1}}{\mathrm{B}(\alpha ,\beta )}\text{for }0\le p\le 1,\end{array}$

тоді складений розподіл визначається як

$\begin{array}{cc}f(k\mid n,\alpha ,\beta )& =\underset{0}{\overset{1}{\int }}L(p\mid k)\pi (p\mid \alpha ,\beta )dp\\ & =(\genfrac{}{}{0ex}{}{n}{k})\frac{1}{\mathrm{B}(\alpha ,\beta )}\underset{0}{\overset{1}{\int }}{p}^{k+\alpha -1}(1-p{)}^{n-k+\beta -1}dp\\ & =(\genfrac{}{}{0ex}{}{n}{k})\frac{\mathrm{B}(k+\alpha ,n-k+\beta )}{\mathrm{B}(\alpha ,\beta )}.\end{array}$

Використовуючи властивості бета-функції, вираз можна переписати

$f(k\mid n,\alpha ,\beta )=\frac{\mathrm{\Gamma }(n+1)}{\mathrm{\Gamma }(k+1)\mathrm{\Gamma }(n-k+1)}\frac{\mathrm{\Gamma }(k+\alpha )\mathrm{\Gamma }(n-k+\beta )}{\mathrm{\Gamma }(n+\alpha +\beta )}\frac{\mathrm{\Gamma }(\alpha +\beta )}{\mathrm{\Gamma }(\alpha )\mathrm{\Gamma }(\beta )}.$

Бета-біноміал як модель урни

Бета-біноміальний розподіл також можна пояснити за допомогою моделі урн для цілих додатних значень α і β, відомої як модель урни Полі. Зокрема, уявіть собі урну, що містить α червоних кульок та β чорних кульок, звідки їх виймають навмання. Якщо дістали червону кульку, то до урни повертають дві червоні кульки. Аналогічно з чорними кульками, якщо дістають чорну кулю, то натомість в урну повертають дві чорні. Якщо експеримент повторити n разів, то ймовірність отримати k червоних куль буде мати бета-біноміальний розподіл з параметрами n, α і β .

Якщо випадкові випробування здійснюються з простою заміною (повертають тільки одну, ту що щойно дістали, кульку), то маємо справу з біноміальним розподілом, а якщо експеримент здійснюються без заміни, то спостерігаємо реалізацію гіпергеометрично розподіленої випадкової величини.

Моменти та властивості

Перші три моменти

$\begin{array}{cc}{\mu }_1& =\frac{n\alpha }{\alpha +\beta }\\ {\mu }_2& =\frac{n\alpha [n(1+\alpha )+\beta ]}{(\alpha +\beta )(1+\alpha +\beta )}\\ {\mu }_3& =\frac{n\alpha [n^2(1+\alpha )(2+\alpha )+3n(1+\alpha )\beta +\beta (\beta -\alpha )]}{(\alpha +\beta )(1+\alpha +\beta )(2+\alpha +\beta )}\end{array}$

Ексцес задається формулою

${\beta }_2=\frac{(\alpha +\beta {)}^2(1+\alpha +\beta )}{n\alpha \beta (\alpha +\beta +2)(\alpha +\beta +3)(\alpha +\beta +n)}[(\alpha +\beta )(\alpha +\beta -1+6n)+3\alpha \beta (n-2)+6n^2-\frac{3\alpha \beta n(6-n)}{\alpha +\beta }-\frac{18\alpha \beta n^2}{(\alpha +\beta {)}^2}].$

Позначимо $\pi =\frac{\alpha }{\alpha +\beta }$, тоді середнє можна записати як

$\mu =\frac{n\alpha }{\alpha +\beta }=n\pi$

і дисперсія як

${\sigma }^2=\frac{n\alpha \beta (\alpha +\beta +n)}{(\alpha +\beta {)}^2(\alpha +\beta +1)}=n\pi (1-\pi )\frac{\alpha +\beta +n}{\alpha +\beta +1}=n\pi (1-\pi )[1+(n-1)\rho ]$

де $\rho =\frac{1}{\alpha +\beta +1}$. Параметр $\rho$ відомий як кореляція «всередині класу» або «внутрішньокластерна» кореляція. Саме ця позитивна кореляція призводить до надмірної дисперсії.

Точкові оцінки

Метод моментів

Методом моментів можна отримати оцінки, а саме запишемо перший і другий моменти бета-біноміального розподілу

$\begin{array}{cc}{\mu }_1& =\frac{n\alpha }{\alpha +\beta }\\ {\mu }_2& =\frac{n\alpha [n(1+\alpha )+\beta ]}{(\alpha +\beta )(1+\alpha +\beta )}\end{array}$

і прирівняємо ці нецентральні моменти до першого та другого нецентрального моменту вибірки відповідно

$\begin{array}{cc}{\hat{\mu }}_1& :=m_1=\frac{1}{N}\sum _{i=1}^N{X}_i\\ {\hat{\mu }}_2& :=m_2=\frac{1}{N}\sum _{i=1}^N{X}_i^2\end{array}$

розв’яжемо для α і β і отримуємо

$\begin{array}{cc}\hat{\alpha }& =\frac{n{m}_1-m_2}{n(\frac{m_2}{m_1}-m_1-1)+m_1}\\ \hat{\beta }& =\frac{(n-m_1)(n-\frac{m_2}{m_1})}{n(\frac{m_2}{m_1}-m_1-1)+m_1}.\end{array}$

Ці оцінки можуть виглядати безглуздо негативними, що є доказом того, що дані є або нерозподілені зовсім або розподілені недостатньо у порівнянні до біноміального розподілу. У цьому випадку біноміальний розподіл і гіпергеометричний розподіл є альтернативними кандидатами відповідно.

Оцінка максимальної ймовірності

Хоч формула оцінки методом максимальної правдоподібності є непрактичною, враховуючи, що щільність складається із звичних функцій (гамма-функції та/або бета-функції), їх можна легко знайти за допомогою прямої чисельної оптимізації. Оцінки максимальної правдоподібності на основі емпіричних даних можуть бути обчислені за допомогою загальних методів підгонки мультиноміальних розподілів Полі, методи для яких описані в (Minka 2003). Пакет R VGAM через функцію vglm, використовуючи метод максимальної правдоподібності, полегшує оцінку УЛМ моделей з результатами, розподіленими за бета-біноміальним розподілом. Немає явної вимоги аби n було фіксованим впродовж спостережень.

Приклад

Наведені нижче дані показують кількість дітей чоловічої статі серед перших 12 дітей у 6115 сім'ях з 13-ма дітьми, взятих із лікарняних карт Саксонії 19 століття (Sokal and Rohlf, с.59 від Ліндсі). 13-ту дитину ігнорують, щоб пом’якшити ефект від того, що родина перестала пробувати завести дитину за умови досягнення бажаної статі.

Хлопчики	0	1	2	3	4	5	6	7	8	9	10	11	12
Родини	3	24	104	286	670	1033	1343	1112	829	478	181	45	7

Перші два емпіричні моменти

$\begin{array}{cc}{m}_1& =6.23\\ m_2& =42.31\\ n& =12\end{array}$

тому оцінка методом моментів

$\begin{array}{cc}\hat{\alpha }& =34.1350\\ \hat{\beta }& =31.6085.\end{array}$

Оцінка методом максимальної ймовірності можна вирахувати чисельними методами

$\begin{array}{cc}{\hat{\alpha }}_{\mathrm{m}\mathrm{l}\mathrm{e}}& =34.09558\\ {\hat{\beta }}_{\mathrm{m}\mathrm{l}\mathrm{e}}& =31.5715\end{array}$

і максимальна логарифмічна правдоподібність

$\log ℒ=-12492.9$

звідси знаходимо AIC

$𝐴𝐼𝐶=24989.74.$

AIC для конкуруючої біноміальної моделі є AIC = 25070.34, таким чином, бачимо, що бета-біноміальна модель забезпечує кращу відповідність даним, тобто присутні докази надмірної дисперсії. Трайверс і Віллард висувають теоретичне обгрунтування гетерогенності (також відомої як «розривність») у гендерній схильності нащадків ссавців (тобто надмірна дисперсність).

Краща припасовка особливо добре помітна в хвостах

Хлопці	0	1	2	3	4	5	6	7	8	9	10	11	12
Спостережувані родини	3	24	104	286	670	1033	1343	1112	829	478	181	45	7
Очікуваний число (бета-біноміальний)	2.3	22.6	104.8	310.9	655.7	1036.2	1257.9	1182.1	853.6	461.9	177,9	43.8	5.2
Очікуваний число ( біноміальний p = 0,519215)	0.9	12.1	71.8	258.5	628.1	1085.2	1367.3	1265.6	854.2	410,0	132.8	26.1	2.3

Подальші байєсівські міркування

Зручно перепараметризувати розподіли так, щоб очікуване середнє значення апріорного розподілу було одним параметром, нехай

$\begin{array}{cc}\pi (\theta \mid \mu ,M)& =\mathrm{Beta}(M\mu ,M(1-\mu ))\\ & =\frac{\mathrm{\Gamma }(M)}{\mathrm{\Gamma }(M\mu )\mathrm{\Gamma }(M(1-\mu ))}{\theta }^{M\mu -1}(1-\theta {)}^{M(1-\mu )-1}\end{array}$

де

$\begin{array}{cc}\mu & =\frac{\alpha }{\alpha +\beta }\\ M& =\alpha +\beta \end{array}$

таким чином

$\begin{array}{cc}\mathrm{E}(\theta \mid \mu ,M)& =\mu \\ \mathrm{Var}(\theta \mid \mu ,M)& =\frac{\mu (1-\mu )}{M+1}.\end{array}$

Апостеріорний розподіл ρ ( θ | k ) також є бета-розподілом:

$\begin{array}{cc}\rho (\theta \mid k)& \propto \ell (k\mid \theta )\pi (\theta \mid \mu ,M)\\ & =\mathrm{Beta}(k+M\mu ,n-k+M(1-\mu ))\\ & =\frac{\mathrm{\Gamma }(M)}{\mathrm{\Gamma }(M\mu )\mathrm{\Gamma }(M(1-\mu ))}(\genfrac{}{}{0ex}{}{n}{k}){\theta }^{k+M\mu -1}(1-\theta {)}^{n-k+M(1-\mu )-1}\end{array}$

І

$\mathrm{E}(\theta \mid k)=\frac{k+M\mu }{n+M}.$

тоді як граничний розподіл m ( k | μ, M ) визначається як

$\begin{array}{cc}m(k\mid \mu ,M)& =\underset{0}{\overset{1}{\int }}\ell (k\mid \theta )\pi (\theta \mid \mu ,M)d\theta \\ & =\frac{\mathrm{\Gamma }(M)}{\mathrm{\Gamma }(M\mu )\mathrm{\Gamma }(M(1-\mu ))}(\genfrac{}{}{0ex}{}{n}{k})\underset{0}{\overset{1}{\int }}{\theta }^{k+M\mu -1}(1-\theta {)}^{n-k+M(1-\mu )-1}d\theta \\ & =\frac{\mathrm{\Gamma }(M)}{\mathrm{\Gamma }(M\mu )\mathrm{\Gamma }(M(1-\mu ))}(\genfrac{}{}{0ex}{}{n}{k})\frac{\mathrm{\Gamma }(k+M\mu )\mathrm{\Gamma }(n-k+M(1-\mu ))}{\mathrm{\Gamma }(n+M)}.\end{array}$

Підставляючи назад M і μ, в термінах $\alpha$ і $\beta$, отримаємо:

$m(k\mid \alpha ,\beta )=\frac{\mathrm{\Gamma }(n+1)}{\mathrm{\Gamma }(k+1)\mathrm{\Gamma }(n-k+1)}\frac{\mathrm{\Gamma }(k+\alpha )\mathrm{\Gamma }(n-k+\beta )}{\mathrm{\Gamma }(n+\alpha +\beta )}\frac{\mathrm{\Gamma }(\alpha +\beta )}{\mathrm{\Gamma }(\alpha )\mathrm{\Gamma }(\beta )}.$

який і є очікуваним бета-біноміальним розподілом з параметрами $n,\alpha$ і $\beta$ .

Ми також можемо використати метод повторних матсподівань, щоб знайти очікуване значення граничних моментів. Запишемо нашу модель як двоступеневу модель складної вибірки. Нехай k _i — кількість успіхів із n _i спроб для події i :

$\begin{array}{cc}{k}_i& \sim \mathrm{Bin}(n_i,{\theta }_i)\\ {\theta }_i& \sim \mathrm{Beta}(\mu ,M),\mathrm{i}\mathrm{.}\mathrm{i}\mathrm{.}\mathrm{d}\mathrm{.}\end{array}$

Можемо знайти покрокові оцінки моментів для середнього та дисперсії, використовуючи моменти для розподілів у двокроковій моделі:

$\mathrm{E}\left(\frac{k}{n}\right)=\mathrm{E}[\mathrm{E}\left(\frac{k}{n}|\theta \right)]=\mathrm{E}(\theta )=\mu$

$\begin{array}{cc}\mathrm{var}\left(\frac{k}{n}\right)& =\mathrm{E}[\mathrm{var}\left(\frac{k}{n}|\theta \right)]+\mathrm{var}[\mathrm{E}\left(\frac{k}{n}|\theta \right)]\\ & =\mathrm{E}[(\frac{1}{n})\theta (1-\theta )|\mu ,M]+\mathrm{var}(\theta \mid \mu ,M)\\ & =\frac{1}{n}(\mu (1-\mu ))+\frac{n-1}{n}\frac{(\mu (1-\mu ))}{M+1}\\ & =\frac{\mu (1-\mu )}{n}(1+\frac{n-1}{M+1}).\end{array}$

(Тут ми використовували закон повного матсподівання і закон повної дисперсії.)

Знайдемо точкові оцінки $\mu$ і $M$ . Розрахункове середнє $\hat{\mu }$ розраховується з вибірки

$\hat{\mu }=\frac{\sum _{i=1}^N{k}_i}{\sum _{i=1}^N{n}_i}.$

Оцінку гіперпараметра M можна обчислити використовуючи оцінки моментів для дисперсії з двокрокової моделі:

$s^2=\frac{1}{N}\sum _{i=1}^N\mathrm{var}\left(\frac{k_i}{n_i}\right)=\frac{1}{N}\sum _{i=1}^N\frac{\hat{\mu }(1-\hat{\mu })}{n_i}[1+\frac{n_i-1}{\hat{M}+1}]$

І розв'яжемо для М:

$\hat{M}=\frac{\hat{\mu }(1-\hat{\mu })-s^2}{s^2-\frac{\hat{\mu }(1-\hat{\mu })}{N}\sum _{i=1}^{N}1/n_i},$

де

$s^2=\frac{N\sum _{i=1}^N{n}_i(\widehat{{\theta }_i}-\hat{\mu }{)}^2}{(N-1)\sum _{i=1}^N{n}_i}.$

Оскільки тепер ми маємо оцінки параметрів, $\hat{\mu }$ і $\hat{M}$, для основного розподілу можемо знайти точкову оцінку ${\tilde{\theta }}_i$ для ймовірності успіху події i . Її можна обчислити як середнє зважене значення оцінки події $\widehat{{\theta }_i}=k_i/n_i$ і $\hat{\mu }$ . Враховуючи наші точкові оцінки для апріора, можна підставити їхні значення, щоб знайти точкову оцінку для апостеріору

$\widetilde{{\theta }_i}=\mathrm{E}(\theta \mid k_i)=\frac{k_i+\hat{M}\hat{\mu }}{n_i+\hat{M}}=\frac{\hat{M}}{n_i+\hat{M}}\hat{\mu }+\frac{n_i}{n_i+\hat{M}}\frac{k_i}{n_i}.$

Фактори усадки

Можемо записати апостеріорну оцінку як середньозважене:

${\tilde{\theta }}_i={\hat{B}}_i\hat{\mu }+(1-{\hat{B}}_i){\hat{\theta }}_i$

де ${\hat{B}}_i$ називається коефіцієнтом усадки .

$\widehat{B_i}=\frac{\hat{M}}{\hat{M}+n_i}$

Пов'язані розподіли

• $BB(1,1,n)\sim U(0,n)$ де $U(a,b)$ є дискретним рівномірним розподілом .

Див. також

• Мультиноміальний розподіл Діріхле

Посилання

• Minka, Thomas P. (2003). Estimating a Dirichlet distribution Шаблон:Webarchive. Microsoft Technical Report.

Зовнішні посилання

• Using the Beta-binomial distribution to assess performance of a biometric identification device Шаблон:Webarchive
• Fastfit Шаблон:Webarchive contains Matlab code for fitting Beta-Binomial distributions (in the form of two-dimensional Pólya distributions) to data.
• Interactive graphic: Univariate Distribution Relationships Шаблон:Webarchive
• Beta-binomial functions in VGAM R package Шаблон:Webarchive
• Beta-binomial distribution in Sandia National Labs Cognitive Foundry Java library Шаблон:Webarchive