Баєсова лінійна регресія

Шаблон:Баєсова статистика Шаблон:Регресійний аналіз Ба́єсова ліні́йна регре́сія в статистиці — це підхід до лінійної регресії, в якому статистичний аналіз застосовується в контексті баєсового висновування. Якщо помилки регресійної моделі мають нормальний розподіл і якщо розглядається певна форма апріорного розподілу, то для апостеріорного розподілу ймовірності параметрів моделі доступні точні результати.

Налаштування моделі

Розгляньмо стандартну задачу лінійної регресії, в якій для $i=1,\mathrm{...},n$ ми вказуємо умовну ймовірність $y_i$ для заданого вектора $k\times 1$ провісників ${𝐱}_i$:

$y_i={𝐱}_i^{\mathrm{T}}𝜷+{ϵ}_i,$

де $𝜷$ є вектором завдовжки $k\times 1$, а ${ϵ}_i$ є незалежними однаково розподіленими випадковими величинами з нормальним розподілом:

${ϵ}_i\sim N(0,{\sigma }^2).$

Це відповідає такій функції правдоподібності:

$\rho (𝐲|𝐗,𝜷,{\sigma }^2)\propto ({\sigma }^2{)}^{-n/2}\exp (-\frac{1}{2{\sigma }^2}(𝐲-𝐗𝜷{)}^{\mathrm{T}}(𝐲-𝐗𝜷)).$

Розв'язком Шаблон:Не перекладено є оцінка вектора коефіцієнтів за допомогою псевдообернення Мура-Пенроуза:

$\widehat{𝜷}=({𝐗}^{\mathrm{T}}𝐗{)}^{-1}{𝐗}^{\mathrm{T}}𝐲$

де $𝐗$ є Шаблон:Не перекладено $n\times k$, кожен з рядків якої є вектором провісників ${𝐱}_i^{\mathrm{T}}$, а $𝐲$ є вектором-стовпцем $[y_1\cdots y_n{]}^{\mathrm{T}}$.

Це є частотним підходом, що передбачає наявність достатньої кількості вимірювань, щоби сказати щось суттєве про $𝜷$. За баєсового ж підходу дані надаються з додатковою інформацією у вигляді апріорного розподілу ймовірності. Ці апріорні переконання про параметри поєднуються з функцією правдоподібності даних згідно з теоремою Баєса для отримання апостеріорного переконання про параметри $𝜷$ та $\sigma$. Це апріорне може мати різний функціональний вигляд в залежності від області визначення та інформації, що доступна апріорі.

Зі спряженими апріорними

Спряжений апріорний розподіл

Для довільного апріорного розподілу може не існувати аналітичного розв'язку задачі пошуку апостеріорного розподілу. В цьому розділі ми розглянемо так зване спряжене апріорне, для якого апостеріорний розподіл може бути виведено аналітично.

Апріорне $\rho (𝜷,{\sigma }^2)$ є спряженим до функції правдоподібності, якщо вона має такий самий функційний вигляд по відношенню до $𝜷$ та $\sigma$. Оскільки логарифмічна правдоподібність є квадратичною в $𝜷$, логарифмічна правдоподібність переписується так, що правдоподібність стає нормальною в $(𝜷-\widehat{𝜷})$. Запишімо

$\begin{array}{cc}(𝐲-𝐗𝜷{)}^{\mathrm{T}}(𝐲-𝐗𝜷)& =(𝐲-𝐗\widehat{𝜷}{)}^{\mathrm{T}}(𝐲-𝐗\widehat{𝜷})\\ & +(𝜷-\widehat{𝜷}{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗)(𝜷-\widehat{𝜷}).\end{array}$

Логарифмічна правдоподібність тепер переписується як

$\begin{array}{cc}\rho (𝐲|𝐗,𝜷,{\sigma }^2)& \propto ({\sigma }^2{)}^{-v/2}\exp (-\frac{v{s}^2}{2{\sigma }^2})({\sigma }^2{)}^{-(n-v)/2}\\ & \times \exp (-\frac{1}{2{\sigma }^2}(𝜷-\widehat{𝜷}{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗)(𝜷-\widehat{𝜷})),\end{array}$

де

$v{s}^2=(𝐲-𝐗\widehat{𝜷}{)}^{\mathrm{T}}(𝐲-𝐗\widehat{𝜷}),$ та $v=n-k,$

де $k$ є кількістю коефіцієнтів регресії.

Це підказує такий вигляд апріорного:

$\rho (𝜷,{\sigma }^2)=\rho ({\sigma }^2)\rho (𝜷|{\sigma }^2),$

де $\rho ({\sigma }^2)$ є оберненим гамма-розподілом

$\rho ({\sigma }^2)\propto ({\sigma }^2{)}^{-(v_0/2+1)}\exp (-\frac{v_0{s}_0^2}{2{\sigma }^2}).$

У записі, запропонованому в статті про обернений гамма-розподіл, це є густиною розподілу $\text{Inv-Gamma}(a_0,b_0)$ з $a_0=v_0/2$ та $b_0=\frac{1}{2}{v}_0{s}_0^2$ з $v_0$ та $s_0^2$ як апріорних значень $v$ та $s^2$ відповідно. Рівносильно, це також може бути описано як Шаблон:Нп, $\text{Scale-inv-}{\chi }^2(v_0,s_0^2).$

Далі густина умовного апріорного $\rho (𝜷|{\sigma }^2)$ є нормальним розподілом,

$\rho (𝜷|{\sigma }^2)\propto ({\sigma }^2{)}^{-k/2}\exp (-\frac{1}{2{\sigma }^2}(𝜷-{𝝁}_0{)}^{\mathrm{T}}{𝜦}_0(𝜷-{𝝁}_0)).$

У записі нормального розподілу густина умовного апріорного є $𝒩({𝝁}_0,{\sigma }^2{𝜦}_0^{-1}).$

Апостеріорний розподіл

Із вже визначеним апріорним, апостеріорний розподіл може бути виражено як

$\rho (𝜷,{\sigma }^2|𝐲,𝐗)\propto \rho (𝐲|𝐗,𝜷,{\sigma }^2)\rho (𝜷|{\sigma }^2)\rho ({\sigma }^2)$

$\propto ({\sigma }^2{)}^{-n/2}\exp (-\frac{1}{2{\sigma }^2}(𝐲-𝐗𝜷{)}^{\mathrm{T}}(𝐲-𝐗𝜷))$

$\times ({\sigma }^2{)}^{-k/2}\exp (-\frac{1}{2{\sigma }^2}(𝜷-{𝝁}_0{)}^{\mathrm{T}}{𝜦}_0(𝜷-{𝝁}_0))$

$\times ({\sigma }^2{)}^{-(a_0+1)}\exp (-\frac{b_0}{{\sigma }^2}).$

За певного переформулювання апостеріорне може бути переписано так, що апостеріорне середнє ${𝝁}_n$ вектора параметрів $𝜷$ може бути виражено в термінах оцінки найменших квадратів $\widehat{𝜷}$ та апріорного середнього ${𝝁}_0$, де підтримка апріорного вказується матрицею точності апріорного ${𝜦}_0$

${𝝁}_n=({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0{)}^{-1}({𝐗}^{\mathrm{T}}𝐗\widehat{𝜷}+{𝜦}_0{𝝁}_0).$

Для підтвердження того, що ${𝝁}_n$ дійсно є апостеріорним середнім, квадратні члени в експоненті може бути переформульовано як Шаблон:Нп в $𝜷-{𝝁}_n$.

$(𝐲-𝐗𝜷{)}^{\mathrm{T}}(𝐲-𝐗𝜷)+(𝜷-{𝝁}_0{)}^{\mathrm{T}}{𝜦}_0(𝜷-{𝝁}_0)=$

$(𝜷-{𝝁}_n{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0)(𝜷-{𝝁}_n)+{𝐲}^{\mathrm{T}}𝐲-{𝝁}_n^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0){𝝁}_n+{𝝁}_0^{\mathrm{T}}{𝜦}_0{𝝁}_0.$

Тепер апостеріорне може бути виражено як добуток нормального розподілу на обернений гамма-розподіл:

$\rho (𝜷,{\sigma }^2|𝐲,𝐗)\propto ({\sigma }^2{)}^{-k/2}\exp (-\frac{1}{2{\sigma }^2}(𝜷-{𝝁}_n{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0)(𝜷-{𝝁}_n))$

$\times ({\sigma }^2{)}^{-(n+2a_0)/2-1}\exp (-\frac{2b_0+{𝐲}^{\mathrm{T}}𝐲-{𝝁}_n^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0){𝝁}_n+{𝝁}_0^{\mathrm{T}}{𝜦}_0{𝝁}_0}{2{\sigma }^2}).$

Отже, апостеріорний розподіл може бути параметризовано таким чином.

$\rho (𝜷,{\sigma }^2|𝐲,𝐗)\propto \rho (𝜷|{\sigma }^2,𝐲,𝐗)\rho ({\sigma }^2|𝐲,𝐗),$

де ці два множники відповідають густинам розподілів $𝒩({𝝁}_n,{\sigma }^2{𝜦}_n^{-1})$ та $\text{Inv-Gamma}(a_n,b_n)$, з їхніми параметрами, що задаються як

${𝜦}_n=({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0),{𝝁}_n=({𝜦}_n{)}^{-1}({𝐗}^{\mathrm{T}}𝐗\widehat{𝜷}+{𝜦}_0{𝝁}_0),$

$a_n=a_0+\frac{n}{2},b_n=b_0+\frac{1}{2}({𝐲}^{\mathrm{T}}𝐲+{𝝁}_0^{\mathrm{T}}{𝜦}_0{𝝁}_0-{𝝁}_n^{\mathrm{T}}{𝜦}_n{𝝁}_n).$

Це може інтерпретуватися як баєсове навчання, де параметри уточнюються відповідно до наступних рівнянь.

${𝝁}_n=({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0{)}^{-1}({𝜦}_0{𝝁}_0+{𝐗}^{\mathrm{T}}𝐗\widehat{𝜷})=({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0{)}^{-1}({𝜦}_0{𝝁}_0+{𝐗}^{\mathrm{T}}𝐲),$

${𝜦}_n=({𝐗}^{\mathrm{T}}𝐗+{𝜦}_0),$

$a_n=a_0+\frac{n}{2},$

$b_n=b_0+\frac{1}{2}({𝐲}^{\mathrm{T}}𝐲+{𝝁}_0^{\mathrm{T}}{𝜦}_0{𝝁}_0-{𝝁}_n^{\mathrm{T}}{𝜦}_n{𝝁}_n).$

Свідчення моделі

Свідчення моделі $p(𝐲|m)$ є ймовірністю даних за заданої моделі $m$. Воно також відоме як відособлена правдоподібність, а також як передбачувана апріорна густина. Тут модель визначається функцією правдоподібності $p(𝐲|𝐗,𝜷,\sigma )$ та апріорним розподілом параметрів, тобто, $p(𝜷,\sigma )$. Свідчення моделі фіксує одним числом, наскільки гарно така модель пояснює ці спостереження. Свідчення моделі баєсової лінійної регресії, представлене в цьому розділі, може застосовуватись для порівняння конкурентних лінійних моделей баєсовим порівнянням моделей. Ці моделі можуть відрізнятися як кількістю та значеннями змінних-провісників, так і своїми апріорними параметрами моделі. Складність моделі вже враховано свідченням моделі, оскільки воно відособлює параметри інтегруванням $p(𝐲,𝜷,\sigma |𝐗)$ над усіма можливими значеннями $𝜷$ та $\sigma$.

$p(𝐲|m)=\int p(𝐲|𝐗,𝜷,\sigma )p(𝜷,\sigma )d𝜷d\sigma$

Цей інтеграл може бути обчислено аналітично, а розв'язок представлено наступним рівнянням.

$p(𝐲|m)=\frac{1}{(2\pi {)}^{n/2}}\sqrt{\frac{\det ({𝜦}_0)}{\det ({𝜦}_n)}}\cdot \frac{b_0^{a_0}}{b_n^{a_n}}\cdot \frac{\Gamma (a_n)}{\Gamma (a_0)}$

Тут $\Gamma$ позначає гамма-функцію. Оскільки ми обрали спряжене апріорне, то відособлену правдоподібність також може бути легко обчислено розв'язанням наступного рівняння для довільних значень $𝜷$ та $\sigma$.

$p(𝐲|m)=\frac{p(𝜷,\sigma |m)p(𝐲|𝐗,𝜷,\sigma ,m)}{p(𝜷,\sigma |𝐲,𝐗,m)}$

Зауважте, що це рівняння є ні чим іншим, як переформулюванням теореми Баєса. Підставлення формул для апріорного, правдоподібності та апостеріорного, та спрощення отримуваного виразу ведуть до аналітичного виразу, наведеного вище.

Інші випадки

Виводити апостеріорний розподіл аналітично в загальному випадку може бути неможливо або непрактично. Проте можливо наближувати апостеріорне методом приблизного баєсового висновування, таким як вибірка Монте-Карло або Шаблон:Нп.

Особливий випадок ${𝝁}_0=0,{𝜦}_0=c𝐈$ називається гребеневою регресією.

Схожий аналіз може виконуватись для загального випадку багатовимірної регресії, і його частина забезпечує баєсову Шаблон:Нп: див. Шаблон:Нп.

Див. також

• Шаблон:Не перекладено
• Регуляризація Тихонова

Джерела

• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite paper Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Thomas P. Minka (2001) Bayesian Linear Regression Шаблон:Webarchive, Microsoft research web page Шаблон:Ref-en

Посилання

• Bayesian estimation of linear models (R programming wikibook). Реалізація баєсової лінійної регресії мовою R.

Шаблон:Статистика