Розподіл Діріхле

Шаблон:Розподіл ймовірностей У теорії імовірностей і математичній статистиці розподіл Діріхле (за іменем Йоганна Петера Густава Лежьона-Діріхле), позначають часто $Dir(\alpha )$ — це сімейство безупинних багатовимірних імовірних розподілів невід’ємних дійсних чисел, параметризованих вектором $\alpha$. Розподіл Діріхле є узагальненням Бета-розподілу на багатовимірний випадок. Тобто, його функція щільності повертає значення імовірності того, що імовірність кожного з K взаємновиключних подій дорівнює $x_i$ за умови, що кожна подія спостерігалася ${\alpha }_i-1$ раз.

Функція щільності імовірності

Функція щільності імовірності для розподілу Діріхле порядку K має вигляд:

$f(x_1,\dots ,x_K;{\alpha }_1,\dots ,{\alpha }_K)=\frac{1}{\mathrm{B}(\alpha )}\prod _{i=1}^K{x}_i^{{\alpha }_i-1}$

де $x_i\ge 0$, $\sum _{i=1}^K{x}_i=1$, i ${\alpha }_i\ge 0$.

Властивості

Нехай $X=(X_1,\dots ,X_K)\sim \mathrm{Dir}(\alpha )$ i ${\alpha }_0=\sum _{i=1}^K{\alpha }_i,$ тоді

$\mathrm{E}[X_i|\alpha ]=\frac{{\alpha }_i}{{\alpha }_0},$

$\mathrm{V}\mathrm{a}\mathrm{r}[X_i|\alpha ]=\frac{{\alpha }_i({\alpha }_0-{\alpha }_i)}{{\alpha }_0^2({\alpha }_0+1)},$

$\mathrm{C}\mathrm{o}\mathrm{v}[X_i{X}_j|\alpha ]=\frac{-{\alpha }_i{\alpha }_j}{{\alpha }_0^2({\alpha }_0+1)}.$

Модою розподілу є вектор $X=(X_1,X_2,\dots ,X_K)$ з

$x_i=\frac{{\alpha }_i-1}{{\alpha }_0-K},{\alpha }_i>1.$

Розподіл Діріхле є сполученим апріорним розподілом до мультиноміального розподілу, а саме: якщо

$\beta |X=({\beta }_1,\dots ,{\beta }_K)|X\sim \mathrm{Mult}(X),$

де ${\beta }_i$ - число входжень і у вибірку з n точок дискретного розподілу на {1, ..., K}, визначеного через X, то

$X|\beta \sim \mathrm{Dir}(\alpha +\beta ).$

Цей зв'язок використовується в Байєсівській статистиці для того, щоб оцінити приховані параметри дискретного імовірносного розподілу $X$, маючи набір з n вибірок. Очевидно, якщо апріорний розподіл позначений як $Dir(\alpha )$, то $Dir(\alpha +\beta )$ - це апостеріорний розподіл після серії спостережень з гістограмою $\beta$.

Зв'язок з іншими розподілами

Якщо для $i\in \{1,2,\dots ,K\},$

$Y_i\sim \mathrm{Gamma}(\text{shape}={\alpha }_i,\text{scale}=1)$ незалежні, то

$V=\sum _{i=1}^K{Y}_i\sim \mathrm{Gamma}(\text{shape}=\sum _{i=1}^K{\alpha }_i,\text{scale}=1),$

і

$(X_1,\dots ,X_K)=(Y_1/V,\dots ,Y_K/V)\sim \mathrm{Dir}({\alpha }_1,\dots ,{\alpha }_K).$

Попри те, що X_і не є незалежними один від одного, вони можуть бути згенерованні з набору з $K$ незалежних гама випадкових величин. Однак, тому що сума $V$ губиться в процесі формування $X=(X_1,X_2,\dots ,X_K)$, стає неможливо відновити початкові значення гамма-випадкових величин тільки за цими значеннями. Проте, завдяки тому, що працювати з незалежними випадковими величинами простіше, це перетворення параметрів може бути корисно при доведенні властивостей розподілу Діріхле.

Генерація випадкових чисел

Метод побудови випадкового вектора $x=(x_1,\dots ,x_K)$ для розподілу Діріхле розмірності K з параметрами $({\alpha }_1,\dots ,{\alpha }_K)$ випливає безпосередньо з цього зв'язку. Спочатку одержимо K незалежних випадкових вибірок $y_1,\dots ,y_K$ з гамма-розподілів, кожен з який має щільність

$\frac{y_i^{{\alpha }_i-1}{e}^{-y_i}}{\mathrm{\Gamma }({\alpha }_i)},$

а потім покладемо

$x_i=y_i/\sum _{j=1}^K{y}_j.$

Наочне трактування параметрів

Як приклад використання розподілу Діріхле можна запропонувати задачу, у якій потрібно розрізати нитки (кожна початкової довжини 1.0) на K частин з різними довжинами так, щоб усі частини мали задану середню довжину, але з можливістю деякої варіації відносних довжин частин. Значення α/α₀ визначають середні довжини частин нитки, що вийшли з розподілу. Дисперсія навколо середнього значення зворотньо пропорційна α₀.

Ланки

• Шаблон:Springer
• Dirichlet Distribution Шаблон:Webarchive
• How to estimate the parameters of the compound Dirichlet distribution (Pólya distribution) using expectation-maximization (EM) Шаблон:Webarchive
• Шаблон:Cite web
• Dirichlet Random Measures, Method of Construction via Compound Poisson Random Variables, and Exchangeability Properties of the resulting Gamma Distribution Шаблон:Webarchive
• SciencesPo Шаблон:Webarchive: R package that contains functions for simulating parameters of the Dirichlet distribution.