Баєсове ієрархічне моделювання

Ба́єсове ієрархі́чне моделюва́ння (Шаблон:Lang-en) — це статистична модель, написана в декілька рівнів (ієрархічний вигляд), яка оцінює Шаблон:Нп апостеріорного розподілу із застосуванням баєсового методу. Підмоделі об'єднуються для утворення ієрархічної моделі, а для поєднання їх в одне ціле зі спостережуваними даними та врахуванням всієї присутньої невизначеності застосовується теорема Баєса. Результатом цього поєднання є апостеріорний розподіл, відомий також як уточнена оцінка ймовірності за отримання додаткового свідчення про апріорний розподіл.

Частотницька статистика, популярніша Шаблон:Нп, може видавати висновки, здавалося би, несумісні з тими, що пропонує баєсова статистика, через баєсове трактування параметрів як випадкових змінних, і використання суб'єктивної інформації у встановленні припущень стосовно цих параметрів. Оскільки ці підходи дають відповіді на різні питання, то формальні результати не є технічно суперечливими, але ці два підходи не погоджуються стосовно того, яка відповідь є доречною для певного застосування. Баєсівці переконують, що доречною інформацією стосовно ухвалення рішень та уточнення переконань нехтувати не можна, і що ієрархічне моделювання має потенціал взяти гору над класичними методами в застосуваннях, в яких доповідачі дають декілька варіантів даних спостережень. Більше того, ця модель довела свою робастність, з меншою чутливістю апостеріорного розподілу до гнучкіших ієрархічних апріорних.

Ієрархічне моделювання застосовують, коли інформація є доступною на декількох різних рівнях одиниць вимірювання. Ієрархічна форма аналізу та організації допомагає в розумінні багатопараметрових задач, а також відіграє важливу роль у розробці обчислювальних стратегій.Шаблон:Sfn

Філософія

Численні статистичні застосування передбачають декілька параметрів, які можливо розглядати як пов'язані або взаємопоєднані таким чином, що ця задача передбачає залежність моделі спільної ймовірності для цих параметрів.Шаблон:Sfn Окремі міри переконань, виражені у вигляді ймовірностей, мають свою невизначеність. Крім цього, є зміна мір переконань з часом. Як було зазначено професором Шаблон:Нп та професором Шаблон:Нп, «Реальність процесу навчання складається з розвитку окремих та суб'єктивних переконань про дійсність.» Ці суб'єктивні ймовірності залучаються в розумі пряміше, ніж фізичні ймовірності. Відтак, саме через цю потребу уточнювати переконання баєсівці сформулювали альтернативну статистичну модель, яка враховує попереднє трапляння певної події.

Теорема Баєса

Передбачуване трапляння реальної події зазвичай змінюватиме переваги між певними варіантами. Це здійснюється змінюванням мір переконання, закріплених особою за подіями, що визначають ці варіанти.Шаблон:Sfn

Припустімо, що в дослідженні дієвості серцевого лікування з пацієнтами лікарні j, що має ймовірність виживання ${\theta }_j$, ймовірність виживання уточнюватиметься траплянням y, події створення гіпотетичної дискусійної сироватки, яка, як дехто вважає, збільшує виживаність серцевих пацієнтів.

Щоби зробити уточнені ймовірнісні твердження про ${\theta }_j$, маючи трапляння події y, ми мусимо почати з моделі, яка забезпечує спільний розподіл імовірності для ${\theta }_j$ та y. Це може бути записано як добуток двох розподілів, які часто називають апріорним розподілом $P(\theta )$ та вибірковим розподілом $P(y\mid \theta )$ відповідно:

$P(\theta ,y)=P(\theta )P(y\mid \theta )$

З використанням основної властивості умовної ймовірності, апостеріорний розподіл дасть:

$P(\theta \mid y)=\frac{P(\theta ,y)}{P(y)}=\frac{P(y\mid \theta )P(\theta )}{P(y)}$

Це рівняння, що показує взаємозв'язок між умовною ймовірністю та окремими подіями, відоме як теорема Баєса. Цей простий вираз містить у собі технічне ядро баєсового висновування, що має на меті конструювання уточненого переконання, $P(\theta \mid y)$, доречними та розв'язними способами.Шаблон:Sfn

Взаємозамінюваність

Звичною відправною точкою статистичного аналізу є припущення, що n значень $y_n$ є взаємозамінюваними. Якщо не доступно жодної інформації, крім даних y, щоби відрізняти будь-яке з ${\theta }_j$ від інших, і неможливо зробити жодного впорядкування чи групування параметрів, то необхідно виходити з симетричності серед параметрів у їхньому апріорному розподілі. Цю симетрію ймовірнісно представлено взаємозамінюваністю. Загалом, маючи деякий невідомий вектор параметрів $\theta$ з розподілом $P(\theta )$, корисно та доречно моделювати дані зі взаємозамінюваного розподілу, як незалежно та однаково розподілені.

Скінченна взаємозамінюваність

Для незмінного числа n набір $y_1,y_2,\dots ,y_n$ є взаємозамінюваним, якщо спільний розподіл $P(y_1,y_2,\dots ,y_n)$ є інваріантним відносно переставляння індексів. Тобто, для кожного переставлення $\pi$ або $({\pi }_1,{\pi }_2,\dots ,{\pi }_n)$ індексів (1, 2, …, n), $P(y_1,y_2,\dots ,y_n)=P(y_{{\pi }_1},y_{{\pi }_2},\dots ,y_{{\pi }_n}).$Шаблон:Sfn

Наступний приклад є взаємозамінюваним, але не незалежним та однаково розподіленим (НОР): Розгляньмо глек із червоною та синьою кулями всередині, з імовірністю $\frac{1}{2}$ витягання кожної. Кулі витягують без повернення, тобто після витягування однієї кулі з n куль для наступного витягування там залишатиметься n − 1 куль.

Нехай $Y_i=\{\begin{array}{c}1,\\ 0,\end{array}$	якщо $i$-та куля є червоною
	інакше.

Оскільки ймовірність обрання червоної кулі в першому витягуванні та синьої кулі у другому витягуванні дорівнює ймовірності обрання синьої кулі в першому витягуванні та червоної кулі в другому, обидві з яких дорівнюють 1/2 (тобто, $[P(y_1=1,y_2=0)=P(y_1=0,y_2=1)=\frac{1}{2}]$), то $y_1$ та $y_2$ є взаємозамінюваними.

Але ймовірністю обрання червоної кулі в другому витягуванні, коли червону кулю вже було обрано в першому, є 0, і вона не дорівнює ймовірності обрання червоної кулі в другому витягуванні, яка дорівнює 1/2 (тобто, $[P(y_2=1\mid y_1=1)=0\ne P(y_2=1)=\frac{1}{2}]$). Таким чином, $y_1$ та $y_2$ не є незалежними.

Якщо $x_1,\dots ,x_n$ є незалежними та однаково розподіленими, то вони є взаємозамінюваними, але обернене є не обов'язково істинним.

Нескінченна взаємозамінюваність

Нескінченна взаємозамінюваність — це така властивість, що кожна скінченна підмножина нескінченної послідовності $y_1$, $y_2,\dots$ є взаємозамінюваною. Тобто, для будь-якого n послідовність $y_1,y_2,\dots ,y_n$ є взаємозамінюваною.

Ієрархічні моделі

Складові

Баєсове ієрархічне моделювання при виведенні апостеріорного розподілу використовує два важливі поняття, а саме:

1. Гіпермараметри: параметри апріорного розподілу
2. Шаблон:Нпні: розподіли гіперпараметрів

Припустімо, що випадкова змінна Y слідує нормальному розподілові з параметром θ як середнє та 1 як дисперсія, тобто, $Y\mid \theta \sim N(\theta ,1)$. Припустімо також, що параметр $\theta$ має розподіл, заданий нормальним розподілом із середнім $\mu$ та дисперсією 1, тобто, $\theta \mid \mu \sim N(\mu ,1)$. Більше того, $\mu$ слідує іншому заданому розподілові, наприклад, стандартному нормальному розподілові, $\text{N}(0,1)$. Параметр $\mu$ називають гіперпараметром, тоді як його розподіл, заданий як $\text{N}(0,1)$, є прикладом гіперапріорного розподілу. Запис розподілу Y змінюється із додаванням нового параметру, тобто, $Y\mid \theta ,\mu \sim N(\theta ,1)$. Якщо є додатковий рівень, скажімо, $\mu$ слідує іншому нормальному розподілові з середнім $\beta$ та дисперсією $ϵ$, що означає $\mu \sim N(\beta ,ϵ)$, то $$$\beta$ та $ϵ$ також може бути названо гіперпараметрами, тоді як їхні розподіли є також гіперапріорними розподілами.Шаблон:Sfn

Система

Нехай $y_j$ є спостереженням, а ${\theta }_j$ — параметром, що регулює процес породжування даних для $y_j$. Припустімо далі, що параметри ${\theta }_1,{\theta }_2,\dots ,{\theta }_j$ породжуються взаємозамінювано зі спільної генеральної сукупності, з розподілом, керованим гіперпараметром $\varphi$.

Ця баєсова ієрархічна модель містить наступні рівні:

Рівень I: $y_j\mid {\theta }_j,\varphi \sim P(y_j\mid {\theta }_j,\varphi )$

Рівень II: ${\theta }_j\mid \varphi \sim P({\theta }_j\mid \varphi )$

Рівень III: $\varphi \sim P(\varphi )$

Правдоподібністю, як видно на рівні I, є $P(y_j\mid {\theta }_j,\varphi )$, з $P({\theta }_j,\varphi )$ як її апріорним розподілом. Зауважте, що ця правдоподібність залежить від $\varphi$ лише через ${\theta }_j$.

Апріорний розподіл з рівня I може бути розбито як

$P({\theta }_j,\varphi )=P({\theta }_j\mid \varphi )P(\varphi )$ [з визначення умовної ймовірності]

з $\varphi$ як його гіперпараметром з гіперапріорним розподілом $P(\varphi )$.

Таким чином, апостеріорний розподіл є пропорційним до:

$P(\varphi ,{\theta }_j\mid y)\propto P(y_j\mid {\theta }_j,\varphi )P({\theta }_j\mid \varphi )$ [із застосуванням теореми Баєса]

$P(\varphi ,{\theta }_j\mid y)\propto P(y_j\mid {\theta }_j)P({\theta }_j,\varphi )$

Приклад

Щоби додатково проілюструвати це, розгляньмо наступний приклад.

Вчитель хоче оцінити, наскільки добре учень виконав свій тест SAT. Щоби оцінити це, він використовує інформацію про бали цього учня в старшій школі, та його поточний середній бал (grade point average, GPA). Його поточний середній бал, позначуваний через $Y$, має правдоподібність, задану деякою функцією ймовірності з параметром $\theta$, наприклад, $Y\mid \theta \sim P(Y\mid \theta )$. Цей параметр $\theta$ є оцінкою SAT учня. Оцінку SAT розглядають як зразок, що береться зі спільного розподілу генеральної сукупності, проіндексованого за іншим параметром $\varphi$, що є балом цього учня зі старшої школи.Шаблон:Sfn Тобто, $\theta \mid \varphi \sim P(\theta \mid \varphi )$. Крім того, гіперпараметр $\varphi$ слідує своєму власному розподілові, заданому $P(\varphi )$, гіперапріорному.

Щоби отримати розв'язок для оцінки SAT, маючи інформацію про GPA,

$P(\theta ,\varphi \mid Y)\propto P(Y\mid \theta ,\varphi )P(\theta ,\varphi )$

$P(\theta ,\varphi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \varphi )P(\varphi )$

Для отримання розв'язку для апостеріорного розподілу буде використано всю інформацію в задачі. Замість розв'язування з використанням лише апріорного розподілу та функції правдоподібності, використання гіперапріорних дає більше інформації для отримування точніших переконань про поведінку параметра.

Дворівнева ієрархічна модель

Загалом, спільним апостеріорним розподілом, що нас цікавить, у дворівневій ієрархічній моделі є:

$P(\theta ,\varphi \mid Y)=\frac{P(Y\mid \theta ,\varphi )P(\theta ,\varphi )}{P(Y)}=\frac{P(Y\mid \theta )P(\theta \mid \varphi )P(\varphi )}{P(Y)}$

$P(\theta ,\varphi \mid Y)\propto P(Y\mid \theta )P(\theta \mid \varphi )P(\varphi )$

Трирівнева ієрархічна модель

Для трирівневої ієрархічної моделі апостеріорний розподіл задається так:

$P(\theta ,\varphi ,X\mid Y)=\frac{P(Y\mid \theta )P(\theta \mid \varphi )P(\varphi \mid X)P(X)}{P(Y)}$

$P(\theta ,\varphi ,X\mid Y)\propto P(Y\mid \theta )P(\theta \mid \varphi )P(\varphi \mid X)P(X)$