Перегляд вихідного коду сторінки Баєсова лінійна регресія

{{Баєсова статистика}}
{{Регресійний аналіз}}
'''Ба́єсова ліні́йна регре́сія''' в [[Статистика|статистиці]]&nbsp;— це підхід до [[Лінійна регресія|лінійної регресії]], в якому статистичний аналіз застосовується в контексті [[Баєсове висновування|баєсового висновування]]. Якщо [[Похибки та залишки|помилки]] регресійної моделі мають [[нормальний розподіл]] і якщо розглядається певна форма [[Апріорний розподіл|апріорного розподілу]], то для [[Апостеріорний розподіл|апостеріорного розподілу ймовірності]] параметрів моделі доступні точні результати.

== Налаштування моделі ==

Розгляньмо стандартну задачу [[Лінійна регресія|лінійної регресії]], в якій для <math>i=1,...,n</math> ми вказуємо [[Умовна ймовірність|умовну ймовірність]] ''<math>y_i</math>'' для заданого вектора ''<math>k \times 1</math>'' провісників ''<math>\mathbf{x}_i</math>'':

: <math>y_{i} = \mathbf{x}_{i}^{\rm T} \boldsymbol\beta  + \epsilon_{i},</math>

де ''<math>\boldsymbol\beta</math>'' є вектором завдовжки ''<math>k \times 1</math>'', а <math>\epsilon_i</math> є [[Незалежні однаково розподілені випадкові величини|незалежними однаково розподіленими випадковими величинами]] з [[Нормальний розподіл|нормальним розподілом]]:

: <math>\epsilon_{i} \sim N(0, \sigma^2).</math>

Це відповідає такій [[Функція правдоподібності|функції правдоподібності]]:

: <math>\rho(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right).</math>

Розв'язком {{Не перекладено|Звичайний метод найменших квадратів|звичайних найменших квадратів||Ordinary least squares}} є оцінка вектора коефіцієнтів за допомогою [[псевдообернення Мура-Пенроуза]]:

: <math> \hat{\boldsymbol\beta} = (\mathbf{X}^{\rm T}\mathbf{X})^{-1}\mathbf{X}^{\rm T}\mathbf{y}</math>

де <math>\mathbf{X}</math> є {{Не перекладено|Матриця плану|матрицею плану||Design matrix}} ''<math>n \times k</math>'', кожен з рядків якої є вектором провісників <math>\mathbf{x}_{i}^{\rm T}</math>, а <math>\mathbf{y}</math> є вектором-стовпцем <math>[y_1 \; \cdots \; y_n]^{\rm T}</math>.

Це є [[Частотне висновування|частотним]] підходом, що передбачає наявність достатньої кількості вимірювань, щоби сказати щось суттєве про <math>\boldsymbol\beta</math>. За [[Баєсове висновування|баєсового]] ж підходу дані надаються з додатковою інформацією у вигляді [[Апріорний розподіл|апріорного розподілу ймовірності]]. Ці апріорні переконання про параметри поєднуються з функцією правдоподібності даних згідно з [[Теорема Баєса|теоремою Баєса]] для отримання [[Апостеріорна ймовірність|апостеріорного переконання]] про параметри <math>\boldsymbol\beta</math> та <math>\sigma</math>. Це апріорне може мати різний функціональний вигляд в залежності від області визначення та інформації, що доступна апріорі.

== Зі спряженими апріорними ==

=== Спряжений апріорний розподіл ===

Для довільного апріорного розподілу може не існувати аналітичного розв'язку задачі пошуку [[Апостеріорний розподіл|апостеріорного розподілу]]. В цьому розділі ми розглянемо так зване [[Спряжений апріорний розподіл|спряжене апріорне]], для якого апостеріорний розподіл може бути виведено аналітично.

Апріорне <math>\rho(\boldsymbol\beta,\sigma^{2})</math> є [[Спряжений апріорний розподіл|спряженим]] до функції правдоподібності, якщо вона має такий самий функційний вигляд по відношенню до <math>\boldsymbol\beta</math> та <math>\sigma</math>. Оскільки логарифмічна правдоподібність є квадратичною в <math>\boldsymbol\beta</math>, логарифмічна правдоподібність переписується так, що правдоподібність стає нормальною в <math>(\boldsymbol\beta-\hat{\boldsymbol\beta})</math>. Запишімо

: <math>
\begin{align}
(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)
&= (\mathbf{y}- \mathbf{X} \hat{\boldsymbol\beta})^{\rm T}(\mathbf{y}- \mathbf{X} \hat{\boldsymbol\beta}) \\
&+ (\boldsymbol\beta - \hat{\boldsymbol\beta})^{\rm T}(\mathbf{X}^{\rm T}\mathbf{X})(\boldsymbol\beta - \hat{\boldsymbol\beta}).
\end{align}
</math>

Логарифмічна правдоподібність тепер переписується як

: <math>
\begin{align}
\rho(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) &\propto (\sigma^2)^{-v/2} \exp\left(-\frac{vs^{2}}{2{\sigma}^{2}}\right)(\sigma^2)^{-(n-v)/2} \\
&\times \exp\left(-\frac{1}{2{\sigma}^{2}}(\boldsymbol\beta - \hat{\boldsymbol\beta})^{\rm T}(\mathbf{X}^{\rm T}\mathbf{X})(\boldsymbol\beta - \hat{\boldsymbol\beta})\right),
\end{align}
</math>

де

: <math>vs^{2} =(\mathbf{y}- \mathbf{X} \hat{\boldsymbol\beta})^{\rm T}(\mathbf{y}- \mathbf{X} \hat{\boldsymbol\beta}),</math> та <math>v = n-k,</math>

де <math>k</math> є кількістю коефіцієнтів регресії.

Це підказує такий вигляд апріорного:

: <math>\rho(\boldsymbol\beta,\sigma^{2}) = \rho(\sigma^{2})\rho(\boldsymbol\beta|\sigma^{2}),</math>

де <math>\rho(\sigma^{2})</math> є [[Обернений гамма розподіл|оберненим гамма-розподілом]]

: <math> \rho(\sigma^{2}) \propto (\sigma^2)^{-(v_{0}/2+1)} \exp\left(-\frac{v_{0}s_{0}^{2}}{2{\sigma}^{2}}\right).</math>

У записі, запропонованому в статті про [[Обернений гамма розподіл|обернений гамма-розподіл]], це є густиною розподілу <math>\text{Inv-Gamma}( a_0,b_0)</math> з <math>a_0=v_0/2</math> та <math>b_0=\frac{1}{2}v_0s_0^2 </math> з <math>v_{0}</math> та <math>s_{0}^{2}</math> як апріорних значень <math>v</math> та <math>s^{2}</math> відповідно. Рівносильно, це також може бути описано як {{Нп|зважений обернений розподіл хі-квадрат|||Scaled inverse chi-squared distribution}}, <math>\mbox{Scale-inv-}\chi^2(v_0, s_0^2).</math>

Далі густина умовного апріорного <math>\rho(\boldsymbol\beta|\sigma^{2})</math> є [[Нормальний розподіл|нормальним розподілом]],

: <math> \rho(\boldsymbol\beta|\sigma^{2}) \propto (\sigma^2)^{-k/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\boldsymbol\beta - \boldsymbol\mu_0)^{\rm T} \mathbf{\Lambda}_0 (\boldsymbol\beta - \boldsymbol\mu_0)\right).</math>

У записі [[Нормальний розподіл|нормального розподілу]] густина умовного апріорного є <math> \mathcal{N}\left(\boldsymbol\mu_0, \sigma^2\mathbf{\Lambda}_0^{-1}\right).</math>

=== Апостеріорний розподіл ===

Із вже визначеним апріорним, апостеріорний розподіл може бути виражено як

: <math> \rho(\boldsymbol\beta,\sigma^{2}|\mathbf{y},\mathbf{X}) \propto \rho(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2})\rho(\boldsymbol\beta|\sigma^{2})\rho(\sigma^{2})  </math>

:: <math>  \propto   (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)</math>

::: <math>  \times   (\sigma^{2})^{-k/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\boldsymbol\beta -\boldsymbol\mu_0)^{\rm T} \boldsymbol\Lambda_0 (\boldsymbol\beta - \boldsymbol\mu_0)\right)</math>

::: <math>  \times  (\sigma^2)^{-(a_0+1)} \exp\left(-\frac{b_0}{{\sigma}^{2}}\right).</math>

За певного переформулювання<ref>Проміжні кроки цього обчислення може бути знайдено в O'Hagan (1994) на початку розділу про лінійні моделі.</ref> апостеріорне може бути переписано так, що апостеріорне середнє <math>\boldsymbol\mu_n</math> вектора параметрів <math>\boldsymbol\beta</math> може бути виражено в термінах оцінки найменших квадратів <math>\hat{\boldsymbol\beta}</math> та апріорного середнього <math>\boldsymbol\mu_0</math>, де підтримка апріорного вказується матрицею точності апріорного <math>\boldsymbol\Lambda_0</math>

: <math>\boldsymbol\mu_n = (\mathbf{X}^{\rm T}\mathbf{X}+\boldsymbol\Lambda_0)^{-1}(\mathbf{X}^{\rm T}\mathbf{X}\hat{\boldsymbol\beta}+\boldsymbol\Lambda_0\boldsymbol\mu_0) .</math>

Для підтвердження того, що <math>\boldsymbol\mu_n</math> дійсно є апостеріорним середнім, квадратні члени в експоненті може бути переформульовано як {{Нп|Квадратична форма (статистика)|квадратичну форму||Quadratic form (statistics)}} в <math>\boldsymbol\beta-\boldsymbol\mu_n</math>.<ref>Проміжні кроки є в Fahrmeir et al. (2009) на С. 188.</ref>

: <math> (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta) + (\boldsymbol\beta - \boldsymbol\mu_0)^{\rm T}\boldsymbol\Lambda_0(\boldsymbol\beta - \boldsymbol\mu_0) =</math>

::: <math> (\boldsymbol\beta-\boldsymbol\mu_n)^{\rm T}(\mathbf{X}^{\rm T}\mathbf{X}+\boldsymbol\Lambda_0)(\boldsymbol\beta-\boldsymbol\mu_n)+\mathbf{y}^{\rm T}\mathbf{y}-\boldsymbol\mu_n^{\rm T}(\mathbf{X}^{\rm T}\mathbf{X}+\boldsymbol\Lambda_0)\boldsymbol\mu_n+\boldsymbol\mu_0^{\rm T}\boldsymbol\Lambda_0\boldsymbol\mu_0 .</math>

Тепер апостеріорне може бути виражено як добуток [[Нормальний розподіл|нормального розподілу]] на [[Обернений гамма розподіл|обернений гамма-розподіл]]:

: <math>\rho(\boldsymbol\beta,\sigma^{2}|\mathbf{y},\mathbf{X}) \propto  (\sigma^{2})^{-k/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\boldsymbol\beta - \boldsymbol\mu_n)^{\rm T}(\mathbf{X}^{\rm T}\mathbf{X}+\mathbf{\Lambda}_0)(\boldsymbol\beta - \boldsymbol\mu_n)\right) </math>

::::::: <math> \times  (\sigma^2)^{-(n+2a_{0})/2-1} \exp\left(-\frac{2 b_0+\mathbf{y}^{\rm T}\mathbf{y}-\boldsymbol\mu_n^{\rm T}(\mathbf{X}^{\rm T}\mathbf{X}+\boldsymbol\Lambda_0)\boldsymbol\mu_n+\boldsymbol\mu_0^{\rm T}\boldsymbol\Lambda_0\boldsymbol\mu_0}{2{\sigma}^{2}}\right) .</math>

Отже, апостеріорний розподіл може бути параметризовано таким чином.

: <math>\rho(\boldsymbol\beta,\sigma^{2}|\mathbf{y},\mathbf{X}) \propto  \rho(\boldsymbol\beta |\sigma^{2},\mathbf{y},\mathbf{X})   \rho(\sigma^{2}|\mathbf{y},\mathbf{X}), </math>

де ці два множники відповідають густинам розподілів <math>\mathcal{N}\left( \boldsymbol\mu_n, \sigma^2\boldsymbol\Lambda_n^{-1} \right)</math> та <math>\text{Inv-Gamma}\left(a_n,b_n \right) </math>, з їхніми параметрами, що задаються як

: <math>\boldsymbol\Lambda_n=(\mathbf{X}^{\rm T}\mathbf{X}+\mathbf{\Lambda}_0), \quad \boldsymbol\mu_n = (\boldsymbol\Lambda_n)^{-1}(\mathbf{X}^{\rm T}\mathbf{X}\hat{\boldsymbol\beta}+\boldsymbol\Lambda_0\boldsymbol\mu_0) ,</math>
: <math>a_n= a_0 + \frac{n}{2}, \qquad b_n=b_0+\frac{1}{2}(\mathbf{y}^{\rm T}\mathbf{y}+\boldsymbol\mu_0^{\rm T}\boldsymbol\Lambda_0\boldsymbol\mu_0-\boldsymbol\mu_n^{\rm T}\boldsymbol\Lambda_n\boldsymbol\mu_n) .</math>

Це може інтерпретуватися як баєсове навчання, де параметри уточнюються відповідно до наступних рівнянь.

: <math> \boldsymbol\mu_n=(\mathbf{X}^{\rm T}\mathbf{X}+\boldsymbol\Lambda_0)^{-1} (\boldsymbol\Lambda_0\boldsymbol\mu_0+\mathbf{X}^{\rm T}\mathbf{X}\hat{\boldsymbol\beta})=(\mathbf{X}^{\rm T}\mathbf{X}+\boldsymbol\Lambda_0)^{-1} (\boldsymbol\Lambda_0\boldsymbol\mu_0+\mathbf{X}^{\rm T}\mathbf{y}) ,</math>
: <math>\boldsymbol\Lambda_n=(\mathbf{X}^{\rm T}\mathbf{X}+\boldsymbol\Lambda_0) ,</math>
: <math>a_n= a_0 + \frac{n}{2} ,</math>
: <math>b_n= b_0 + \frac{1}{2}(\mathbf{y}^{\rm T}\mathbf{y}+\boldsymbol\mu_0^{\rm T}\boldsymbol\Lambda_0\boldsymbol\mu_0-\boldsymbol\mu_n^{\rm T}\boldsymbol\Lambda_n\boldsymbol\mu_n) .</math>

=== Свідчення моделі ===

[[Свідчення моделі]] <math>p(\mathbf{y}|m)</math> є ймовірністю даних за заданої моделі <math>m</math>. Воно також відоме як [[відособлена правдоподібність]], а також як передбачувана апріорна густина. Тут модель визначається функцією правдоподібності <math>p(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma)</math> та апріорним розподілом параметрів, тобто, <math>p(\boldsymbol\beta,\sigma)</math>. Свідчення моделі фіксує одним числом, наскільки гарно така модель пояснює ці спостереження. Свідчення моделі баєсової лінійної регресії, представлене в цьому розділі, може застосовуватись для порівняння конкурентних лінійних моделей [[Баєсове порівняння моделей|баєсовим порівнянням моделей]]. Ці моделі можуть відрізнятися як кількістю та значеннями змінних-провісників, так і своїми апріорними параметрами моделі. Складність моделі вже враховано свідченням моделі, оскільки воно відособлює параметри інтегруванням <math>p(\mathbf{y},\boldsymbol\beta,\sigma|\mathbf{X})</math> над усіма можливими значеннями <math>\boldsymbol\beta</math> та <math>\sigma</math>.

: <math>p(\mathbf{y}|m)=\int p(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma)\, p(\boldsymbol\beta,\sigma)\, d\boldsymbol\beta\, d\sigma</math>

Цей інтеграл може бути обчислено аналітично, а розв'язок представлено наступним рівнянням.<ref>Проміжні кроки цього обчислення можна знайти в O'Hagan (1994) на С. 257.</ref>

: <math>p(\mathbf{y}|m)=\frac{1}{(2\pi)^{n/2}}\sqrt{\frac{\det(\boldsymbol\Lambda_0)}{\det(\boldsymbol\Lambda_n)}} \cdot \frac{b_0^{a_0}}{b_n^{a_n}} \cdot \frac{\Gamma(a_n)}{\Gamma(a_0)}</math>

Тут <math>\Gamma</math> позначає [[Гамма-функція|гамма-функцію]]. Оскільки ми обрали спряжене апріорне, то відособлену правдоподібність також може бути легко обчислено розв'язанням наступного рівняння для довільних значень <math>\boldsymbol\beta</math> та <math>\sigma</math>.

: <math>p(\mathbf{y}|m)=\frac{p(\boldsymbol\beta,\sigma|m)\, p(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma,m)}{p(\boldsymbol\beta,\sigma|\mathbf{y},\mathbf{X},m)}</math>

Зауважте, що це рівняння є ні чим іншим, як переформулюванням [[Теорема Баєса|теореми Баєса]]. Підставлення формул для апріорного, правдоподібності та апостеріорного, та спрощення отримуваного виразу ведуть до аналітичного виразу, наведеного вище.

== Інші випадки ==

Виводити апостеріорний розподіл аналітично в загальному випадку може бути неможливо або непрактично. Проте можливо наближувати апостеріорне методом [[Приблизне баєсове обчислення|приблизного баєсового висновування]], таким як [[Метод Монте-Карло|вибірка Монте-Карло]]<ref>Carlin and Louis(2008) and Gelman, et al. (2003) пояснюють, як використовувати вибіркові методи для баєсової лінійної регресії.</ref> або {{Нп|варіаційні баєсові методи|||Variational Bayesian methods}}.

Особливий випадок <math>\boldsymbol\mu_0=0, \mathbf{\Lambda}_0 = c\mathbf{I}</math> називається [[Регуляризація Тихонова|гребеневою регресією]].

Схожий аналіз може виконуватись для загального випадку багатовимірної регресії, і його частина забезпечує баєсову {{Нп|Оцінка коваріаційних матриць|оцінку коваріаційних матриць||Estimation of covariance matrices}}: див. {{Нп|Багатовимірна баєсова лінійна регресія|багатовимірну баєсову лінійну регресію||Bayesian multivariate linear regression}}.

== Див. також ==

* {{Не перекладено|Баєсова лінійна статистика|||Bayes linear statistics}}
* [[Регуляризація Тихонова]]

== Примітки ==
{{примітки}}

== Джерела ==

* {{cite book |authorlink=Джордж Бокс |last=Box |first=G. E. P. |last2=Tiao |first2=G. C. |year=1973 |title=Bayesian Inference in Statistical Analysis |publisher=Wiley |isbn=0-471-57428-7 }} {{ref-en}}
* {{cite book|authors=Carlin, Bradley P. and Louis, Thomas A.| title = Bayesian Methods for Data Analysis, Third Edition | publisher = Boca Raton, FL: Chapman and Hall/CRC | year = 2008 | isbn = 1-58488-697-8}} {{ref-en}}
* {{cite book|authors=O'Hagan, Anthony| title = Bayesian Inference| volume= 2B |series = Kendall's Advanced Theory of Statistics| year = 1994 | edition= First | isbn = 0-340-52922-9| publisher = Halsted}} {{ref-en}}
* {{cite book|authors={{Не перекладено|Андрій Гельман|Gelman, Andrew||Andrew Gelman}}, Carlin, John B., Stern, Hal S. and Rubin, Donald B.| title = Bayesian Data Analysis, Second Edition | publisher = Boca Raton, FL: Chapman and Hall/CRC | year = 2003 | isbn = 1-58488-388-X}} {{ref-en}}
* {{cite paper |first=Gero |last=Walter |first2=Thomas |last2=Augustin |year=2009 |url=http://epub.ub.uni-muenchen.de/11050/1/tr069.pdf |title=Bayesian Linear Regression—Different Conjugate Models and Their (In)Sensitivity to Prior-Data Conflict |work=Technical Report Number 069, Department of Statistics, University of Munich |accessdate=10 вересня 2015 |archivedate=5 січня 2015 |archiveurl=https://web.archive.org/web/20150105195735/http://epub.ub.uni-muenchen.de/11050/1/tr069.pdf }} {{ref-en}}
* {{cite book |first=Michael |last=Goldstein |first2=David |last2=Wooff |year=2007 |title=Bayes Linear Statistics, Theory & Methods |url=https://archive.org/details/bayeslinearstati0000gold |publisher=Wiley |isbn=978-0-470-01562-9 }} {{ref-en}}
* {{cite book|authors=Fahrmeir, L., Kneib, T., and Lang, S.| title = Regression. Modelle, Methoden und Anwendungen |edition=Second |publisher = Springer |location=Heidelberg | year = 2009 | isbn = 978-3-642-01836-7 | doi = 10.1007/978-3-642-01837-4}} {{ref-en}}
* {{cite book |first=Peter E. |last=Rossi |first2=Greg M. |last2=Allenby |first3=Robert |last3=McCulloch |title=Bayesian Statistics and Marketing |publisher=John Wiley & Sons |year=2006 |isbn=0470863676 }} {{ref-en}}
* Thomas P. Minka (2001) [http://research.microsoft.com/~minka/papers/linear.html ''Bayesian Linear Regression''] {{Webarchive|url=https://web.archive.org/web/20081026114323/http://research.microsoft.com/~minka/papers/linear.html |date=26 жовтня 2008 }}, Microsoft research web page {{ref-en}}

== Посилання ==

* [[b:en:R_Programming/Linear_Models#Bayesian_estimation|Bayesian estimation of linear models (R programming wikibook)]]. Реалізація баєсової лінійної регресії мовою [[R (мова програмування)|R]].


<!-- {{Найменші квадрати та регресійний аналіз}} -->
{{Статистика|кореляція}}

[[Категорія:Баєсове висновування|Лінійна регресія]]
[[Категорія:Методи одного рівняння (економетрія)]]