Баєсова лінійна регресія

Шаблон:Баєсова статистика Шаблон:Регресійний аналіз Ба́єсова ліні́йна регре́сія в статистиці — це підхід до лінійної регресії, в якому статистичний аналіз застосовується в контексті баєсового висновування. Якщо помилки регресійної моделі мають нормальний розподіл і якщо розглядається певна форма апріорного розподілу, то для апостеріорного розподілу ймовірності параметрів моделі доступні точні результати.

Налаштування моделі

Розгляньмо стандартну задачу лінійної регресії, в якій для $i=1,...,n$ ми вказуємо умовну ймовірність $y_i$ для заданого вектора $k\times 1$ провісників ${𝐱}_i$:

$y_i={𝐱}_i^{\mathrm{T}}\mathit{\beta }+{ϵ}_i,$

де $\mathit{\beta }$ є вектором завдовжки $k\times 1$, а ${ϵ}_i$ є незалежними однаково розподіленими випадковими величинами з нормальним розподілом:

${ϵ}_i\sim N(0,{\sigma }^2).$

Це відповідає такій функції правдоподібності:

$\rho (𝐲|𝐗,\mathit{\beta },{\sigma }^2)\propto ({\sigma }^2{)}^{-n/2}\exp (-\frac{1}{2{\sigma }^2}(𝐲-𝐗\mathit{\beta }{)}^{\mathrm{T}}(𝐲-𝐗\mathit{\beta })).$

Розв'язком Шаблон:Не перекладено є оцінка вектора коефіцієнтів за допомогою псевдообернення Мура-Пенроуза:

$\hat{\mathit{\beta }}=({𝐗}^{\mathrm{T}}𝐗{)}^{-1}{𝐗}^{\mathrm{T}}𝐲$

де $𝐗$ є Шаблон:Не перекладено $n\times k$, кожен з рядків якої є вектором провісників ${𝐱}_i^{\mathrm{T}}$, а $𝐲$ є вектором-стовпцем $[y_1\cdots y_n{]}^{\mathrm{T}}$.

Це є частотним підходом, що передбачає наявність достатньої кількості вимірювань, щоби сказати щось суттєве про $\mathit{\beta }$. За баєсового ж підходу дані надаються з додатковою інформацією у вигляді апріорного розподілу ймовірності. Ці апріорні переконання про параметри поєднуються з функцією правдоподібності даних згідно з теоремою Баєса для отримання апостеріорного переконання про параметри $\mathit{\beta }$ та $\sigma$. Це апріорне може мати різний функціональний вигляд в залежності від області визначення та інформації, що доступна апріорі.

Зі спряженими апріорними

Спряжений апріорний розподіл

Для довільного апріорного розподілу може не існувати аналітичного розв'язку задачі пошуку апостеріорного розподілу. В цьому розділі ми розглянемо так зване спряжене апріорне, для якого апостеріорний розподіл може бути виведено аналітично.

Апріорне $\rho (\mathit{\beta },{\sigma }^2)$ є спряженим до функції правдоподібності, якщо вона має такий самий функційний вигляд по відношенню до $\mathit{\beta }$ та $\sigma$. Оскільки логарифмічна правдоподібність є квадратичною в $\mathit{\beta }$, логарифмічна правдоподібність переписується так, що правдоподібність стає нормальною в $(\mathit{\beta }-\hat{\mathit{\beta }})$. Запишімо

$\begin{array}{cc}(𝐲-𝐗\mathit{\beta }{)}^{\mathrm{T}}(𝐲-𝐗\mathit{\beta })& =(𝐲-𝐗\hat{\mathit{\beta }}{)}^{\mathrm{T}}(𝐲-𝐗\hat{\mathit{\beta }})\\ & +(\mathit{\beta }-\hat{\mathit{\beta }}{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗)(\mathit{\beta }-\hat{\mathit{\beta }}).\end{array}$

Логарифмічна правдоподібність тепер переписується як

$\begin{array}{cc}\rho (𝐲|𝐗,\mathit{\beta },{\sigma }^2)& \propto ({\sigma }^2{)}^{-v/2}\exp (-\frac{v{s}^2}{2{\sigma }^2})({\sigma }^2{)}^{-(n-v)/2}\\ & \times \exp (-\frac{1}{2{\sigma }^2}(\mathit{\beta }-\hat{\mathit{\beta }}{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗)(\mathit{\beta }-\hat{\mathit{\beta }})),\end{array}$

де

$v{s}^2=(𝐲-𝐗\hat{\mathit{\beta }}{)}^{\mathrm{T}}(𝐲-𝐗\hat{\mathit{\beta }}),$ та $v=n-k,$

де $k$ є кількістю коефіцієнтів регресії.

Це підказує такий вигляд апріорного:

$\rho (\mathit{\beta },{\sigma }^2)=\rho ({\sigma }^2)\rho (\mathit{\beta }|{\sigma }^2),$

де $\rho ({\sigma }^2)$ є оберненим гамма-розподілом

$\rho ({\sigma }^2)\propto ({\sigma }^2{)}^{-(v_0/2+1)}\exp (-\frac{v_0{s}_0^2}{2{\sigma }^2}).$

У записі, запропонованому в статті про обернений гамма-розподіл, це є густиною розподілу $\text{Inv-Gamma}(a_0,b_0)$ з $a_0=v_0/2$ та $b_0=\frac{1}{2}{v}_0{s}_0^2$ з $v_0$ та $s_0^2$ як апріорних значень $v$ та $s^2$ відповідно. Рівносильно, це також може бути описано як Шаблон:Нп, $\text{Scale-inv-}{\chi }^2(v_0,s_0^2).$

Далі густина умовного апріорного $\rho (\mathit{\beta }|{\sigma }^2)$ є нормальним розподілом,

$\rho (\mathit{\beta }|{\sigma }^2)\propto ({\sigma }^2{)}^{-k/2}\exp (-\frac{1}{2{\sigma }^2}(\mathit{\beta }-{\mathit{\mu }}_0{)}^{\mathrm{T}}{\mathrm{\Lambda }}_0(\mathit{\beta }-{\mathit{\mu }}_0)).$

У записі нормального розподілу густина умовного апріорного є $𝒩({\mathit{\mu }}_0,{\sigma }^2{\mathrm{\Lambda }}_0^{-1}).$

Апостеріорний розподіл

Із вже визначеним апріорним, апостеріорний розподіл може бути виражено як

$\rho (\mathit{\beta },{\sigma }^2|𝐲,𝐗)\propto \rho (𝐲|𝐗,\mathit{\beta },{\sigma }^2)\rho (\mathit{\beta }|{\sigma }^2)\rho ({\sigma }^2)$

$\propto ({\sigma }^2{)}^{-n/2}\exp (-\frac{1}{2{\sigma }^2}(𝐲-𝐗\mathit{\beta }{)}^{\mathrm{T}}(𝐲-𝐗\mathit{\beta }))$

$\times ({\sigma }^2{)}^{-k/2}\exp (-\frac{1}{2{\sigma }^2}(\mathit{\beta }-{\mathit{\mu }}_0{)}^{\mathrm{T}}{\mathrm{\Lambda }}_0(\mathit{\beta }-{\mathit{\mu }}_0))$

$\times ({\sigma }^2{)}^{-(a_0+1)}\exp (-\frac{b_0}{{\sigma }^2}).$

За певного переформулювання апостеріорне може бути переписано так, що апостеріорне середнє ${\mathit{\mu }}_n$ вектора параметрів $\mathit{\beta }$ може бути виражено в термінах оцінки найменших квадратів $\hat{\mathit{\beta }}$ та апріорного середнього ${\mathit{\mu }}_0$, де підтримка апріорного вказується матрицею точності апріорного ${\mathrm{\Lambda }}_0$

${\mathit{\mu }}_n=({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0{)}^{-1}({𝐗}^{\mathrm{T}}𝐗\hat{\mathit{\beta }}+{\mathrm{\Lambda }}_0{\mathit{\mu }}_0).$

Для підтвердження того, що ${\mathit{\mu }}_n$ дійсно є апостеріорним середнім, квадратні члени в експоненті може бути переформульовано як Шаблон:Нп в $\mathit{\beta }-{\mathit{\mu }}_n$.

$(𝐲-𝐗\mathit{\beta }{)}^{\mathrm{T}}(𝐲-𝐗\mathit{\beta })+(\mathit{\beta }-{\mathit{\mu }}_0{)}^{\mathrm{T}}{\mathrm{\Lambda }}_0(\mathit{\beta }-{\mathit{\mu }}_0)=$

$(\mathit{\beta }-{\mathit{\mu }}_n{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0)(\mathit{\beta }-{\mathit{\mu }}_n)+{𝐲}^{\mathrm{T}}𝐲-{\mathit{\mu }}_n^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0){\mathit{\mu }}_n+{\mathit{\mu }}_0^{\mathrm{T}}{\mathrm{\Lambda }}_0{\mathit{\mu }}_0.$

Тепер апостеріорне може бути виражено як добуток нормального розподілу на обернений гамма-розподіл:

$\rho (\mathit{\beta },{\sigma }^2|𝐲,𝐗)\propto ({\sigma }^2{)}^{-k/2}\exp (-\frac{1}{2{\sigma }^2}(\mathit{\beta }-{\mathit{\mu }}_n{)}^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0)(\mathit{\beta }-{\mathit{\mu }}_n))$

$\times ({\sigma }^2{)}^{-(n+2a_0)/2-1}\exp (-\frac{2b_0+{𝐲}^{\mathrm{T}}𝐲-{\mathit{\mu }}_n^{\mathrm{T}}({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0){\mathit{\mu }}_n+{\mathit{\mu }}_0^{\mathrm{T}}{\mathrm{\Lambda }}_0{\mathit{\mu }}_0}{2{\sigma }^2}).$

Отже, апостеріорний розподіл може бути параметризовано таким чином.

$\rho (\mathit{\beta },{\sigma }^2|𝐲,𝐗)\propto \rho (\mathit{\beta }|{\sigma }^2,𝐲,𝐗)\rho ({\sigma }^2|𝐲,𝐗),$

де ці два множники відповідають густинам розподілів $𝒩({\mathit{\mu }}_n,{\sigma }^2{\mathrm{\Lambda }}_n^{-1})$ та $\text{Inv-Gamma}(a_n,b_n)$, з їхніми параметрами, що задаються як

${\mathrm{\Lambda }}_n=({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0),{\mathit{\mu }}_n=({\mathrm{\Lambda }}_n{)}^{-1}({𝐗}^{\mathrm{T}}𝐗\hat{\mathit{\beta }}+{\mathrm{\Lambda }}_0{\mathit{\mu }}_0),$

$a_n=a_0+\frac{n}{2},b_n=b_0+\frac{1}{2}({𝐲}^{\mathrm{T}}𝐲+{\mathit{\mu }}_0^{\mathrm{T}}{\mathrm{\Lambda }}_0{\mathit{\mu }}_0-{\mathit{\mu }}_n^{\mathrm{T}}{\mathrm{\Lambda }}_n{\mathit{\mu }}_n).$

Це може інтерпретуватися як баєсове навчання, де параметри уточнюються відповідно до наступних рівнянь.

${\mathit{\mu }}_n=({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0{)}^{-1}({\mathrm{\Lambda }}_0{\mathit{\mu }}_0+{𝐗}^{\mathrm{T}}𝐗\hat{\mathit{\beta }})=({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0{)}^{-1}({\mathrm{\Lambda }}_0{\mathit{\mu }}_0+{𝐗}^{\mathrm{T}}𝐲),$

${\mathrm{\Lambda }}_n=({𝐗}^{\mathrm{T}}𝐗+{\mathrm{\Lambda }}_0),$

$a_n=a_0+\frac{n}{2},$

$b_n=b_0+\frac{1}{2}({𝐲}^{\mathrm{T}}𝐲+{\mathit{\mu }}_0^{\mathrm{T}}{\mathrm{\Lambda }}_0{\mathit{\mu }}_0-{\mathit{\mu }}_n^{\mathrm{T}}{\mathrm{\Lambda }}_n{\mathit{\mu }}_n).$

Свідчення моделі

Свідчення моделі $p(𝐲|m)$ є ймовірністю даних за заданої моделі $m$. Воно також відоме як відособлена правдоподібність, а також як передбачувана апріорна густина. Тут модель визначається функцією правдоподібності $p(𝐲|𝐗,\mathit{\beta },\sigma )$ та апріорним розподілом параметрів, тобто, $p(\mathit{\beta },\sigma )$. Свідчення моделі фіксує одним числом, наскільки гарно така модель пояснює ці спостереження. Свідчення моделі баєсової лінійної регресії, представлене в цьому розділі, може застосовуватись для порівняння конкурентних лінійних моделей баєсовим порівнянням моделей. Ці моделі можуть відрізнятися як кількістю та значеннями змінних-провісників, так і своїми апріорними параметрами моделі. Складність моделі вже враховано свідченням моделі, оскільки воно відособлює параметри інтегруванням $p(𝐲,\mathit{\beta },\sigma |𝐗)$ над усіма можливими значеннями $\mathit{\beta }$ та $\sigma$.

$p(𝐲|m)=\int p(𝐲|𝐗,\mathit{\beta },\sigma )p(\mathit{\beta },\sigma )d\mathit{\beta }d\sigma$

Цей інтеграл може бути обчислено аналітично, а розв'язок представлено наступним рівнянням.

$p(𝐲|m)=\frac{1}{(2\pi {)}^{n/2}}\sqrt{\frac{\det ({\mathrm{\Lambda }}_0)}{\det ({\mathrm{\Lambda }}_n)}}\cdot \frac{b_0^{a_0}}{b_n^{a_n}}\cdot \frac{\mathrm{\Gamma }(a_n)}{\mathrm{\Gamma }(a_0)}$

Тут $\mathrm{\Gamma }$ позначає гамма-функцію. Оскільки ми обрали спряжене апріорне, то відособлену правдоподібність також може бути легко обчислено розв'язанням наступного рівняння для довільних значень $\mathit{\beta }$ та $\sigma$.

$p(𝐲|m)=\frac{p(\mathit{\beta },\sigma |m)p(𝐲|𝐗,\mathit{\beta },\sigma ,m)}{p(\mathit{\beta },\sigma |𝐲,𝐗,m)}$

Зауважте, що це рівняння є ні чим іншим, як переформулюванням теореми Баєса. Підставлення формул для апріорного, правдоподібності та апостеріорного, та спрощення отримуваного виразу ведуть до аналітичного виразу, наведеного вище.

Інші випадки

Виводити апостеріорний розподіл аналітично в загальному випадку може бути неможливо або непрактично. Проте можливо наближувати апостеріорне методом приблизного баєсового висновування, таким як вибірка Монте-Карло або Шаблон:Нп.

Особливий випадок ${\mathit{\mu }}_0=0,{\mathrm{\Lambda }}_0=c𝐈$ називається гребеневою регресією.

Схожий аналіз може виконуватись для загального випадку багатовимірної регресії, і його частина забезпечує баєсову Шаблон:Нп: див. Шаблон:Нп.

Див. також

• Шаблон:Не перекладено
• Регуляризація Тихонова

Джерела

• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite paper Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Thomas P. Minka (2001) Bayesian Linear Regression Шаблон:Webarchive, Microsoft research web page Шаблон:Ref-en

Посилання

• Bayesian estimation of linear models (R programming wikibook). Реалізація баєсової лінійної регресії мовою R.

Шаблон:Статистика