Перегляд вихідного коду сторінки Баєсів інформаційний критерій

{{Баєсова статистика}}
У [[Статистика|статистиці]], '''ба́єсів інформаці́йний крите́рій''' ('''БІК''', {{lang-en|bayesian information criterion, BIC}}), або '''крите́рій Шва́рца''' ({{lang-en|Schwarz criterion}}, також {{lang-en|SBC, SBIC}})&nbsp;— статистичний критерій для [[обирання моделі]] серед скінченної множини моделей; найприйнятнішою є модель із найнижчим БІК. Він ґрунтується, зокрема, на [[Функція правдоподібності|функції правдоподібності]], і тісно пов'язаний з [[Інформаційний критерій Акаіке|інформаційним критерієм Акаіке]] (ІКА).

При [[Допасованість (статистика)|допасовуванні]] моделей можливо підвищувати правдоподібність шляхом додавання параметрів, але це може призводити до [[перенавчання]]. Як БІК, так і ІКА намагаються розв'язувати цю проблему введенням члена штрафу для числа параметрів у моделі; член штрафу в БІК є більшим, ніж в ІКА.

БІК було розроблено {{H:title|Gideon E. Schwarz|Ґідеоном Шварцем}}, і опубліковано в праці 1978 року,<ref>{{citation | last=Schwarz |first=Gideon E. |title=Estimating the dimension of a model |journal= {{нп|Annals of Statistics}} |year=1978 |volume=6 |issue=2 |pages=461–464 |doi=10.1214/aos/1176344136 |mr=468014 }} {{ref-en}}</ref> в якій він навів [[Баєсове висновування|баєсове]] обґрунтування його застосування.

== Визначення ==
БІК формально визначається як<ref>{{Cite journal
| doi = 10.1111/j.1467-9574.2012.00530.x
| volume = 66
| issue = 3
| pages = 217–236
| last = Wit
| first = Ernst |author2=Edwin van den Heuvel |author3=Jan-Willem Romeyn
| title = ‘All models are wrong...’: an introduction to model uncertainty
| journal = Statistica Neerlandica
| year = 2012
}} {{ref-en}}</ref>

: <math> \mathrm{BIC} = {\ln(n)k - 2\ln({\hat L})}. \ </math>

де

* <math>\hat L</math> = максимізоване значення [[Функція правдоподібності|функції правдоподібності]] моделі <math>M</math>, тобто, <math>\hat L=p(x|\hat\theta,M)</math>, де <math>\hat\theta</math> є значеннями параметрів, які максимізують функцію правдоподібності;
* <math>x</math> = спостережувані дані;
* <math>n</math> = число точок даних в <math>x</math>, число [[Спостереження|спостережень]], або, рівнозначно, розмір вибірки;
* <math>k</math> = число [[Вільний параметр|вільних параметрів]], які належить оцінити. Якщо модель, що розглядають, є [[Лінійна регресія|лінійною регресією]], то <math>k</math> є числом [[регресор]]ів, включно з відтином;

БІК є асимптотичним результатом, виведеним за припущення, що розподіл даних належить до {{нп|Експоненційне сімейство|експоненційного сімейства||Exponential family}}. Тобто, інтеграл [[Функція правдоподібності|функції правдоподібності]] <math>p(x|\theta,M)</math>, помножений на [[апріорний розподіл ймовірності]] <math>p(\theta|M)</math> над параметрами <math>\theta</math> моделі <math>M</math>, для незмінних спостережених даних <math>x</math> наближується як

: <math>{-2 \cdot \ln{p(x|M)}} \approx \mathrm{BIC} = {-2 \cdot \ln{\hat L} + k \cdot (\ln(n) - \ln(2 \pi))}. \ </math>

Для великих <math>n</math> це може бути наближено наведеною вище формулою. БІК використовують в задачах [[обирання моделі]], що в них додавання сталої до БІК не змінює результату.

== Властивості ==
{{Refimprovesect|дата=червень 2017}}
* Він не залежить від апріорного, або апріорне є «невизначеним» (сталою).
* Він може вимірювати ефективність параметризованої моделі в термінах передбачування даних.
* Він штрафує складність моделі, де складність позначає кількість параметрів моделі.
* Він наближено дорівнює критерієві [[Мінімальна довжина опису|мінімальної довжини опису]], але з протилежним знаком.
* Його можна застосовувати для обирання числа кластерів відповідно до внутрішньої складності, присутньої в певному наборі даних.
* Він тісно пов'язаний з іншими критеріями штрафованої правдоподібності, такими як {{прояснити|''RIC''|дата=червень 2017|reason=residual information criterion, залишковий інформаційний критерій?}} та [[інформаційний критерій Акаіке]].

== Обмеження ==
Критерій БІК страждає на два головні обмеження<ref name=Giraud>{{cite book|last=Giraud|first=C.|year=2015|title=Introduction to high-dimensional statistics|publisher=Chapman & Hall/CRC|ISBN=9781482237948}} {{ref-en}}</ref>

# наведене вище наближення чинне лише для розміру вибірки <math>n</math>, який є набагато більшим за число параметрів моделі <math>k</math>.
# БІК не може обробляти складні зібрання моделей, як у задачі обирання змінних (або [[обирання ознак]]) за високої розмірності.<ref name=Giraud/>

== Гаусів особливий випадок ==
За припущення, що похибки або збурення моделі є незалежними та однаково розподіленими згідно [[Нормальний розподіл|нормального розподілу]], і граничної умови, що похідна [[Логарифмічна правдоподібність|логарифмічної правдоподібності]] щодо істинної дисперсії є нульовою, це перетворюється (''з точністю до адитивної сталої'', яка залежить від ''n'', але не від моделі) на<ref name=Priestley>{{cite book|last=Priestley|first=M.B.|year=1981|title=Spectral Analysis and Time Series|publisher={{нп|Academic Press}}|ISBN=0-12-564922-3}} (p. 375). {{ref-en}}</ref>

: <math> \mathrm{BIC} = n \cdot \ln(\widehat{\sigma_e^2}) + k \cdot \ln(n) \ </math>

де <math>\widehat{\sigma_e^2}</math> є дисперсією похибки. Дисперсію похибки в цьому випадку визначають як

: <math>\widehat{\sigma_e^2} = \frac{1}{n} \sum_{i=1}^n (x_i-\hat{x_i})^2</math>

що є [[Вибіркові дисперсії|зсунутою оцінкою істинної дисперсії]].

В термінах {{нп|Звичайний метод найменших квадратів#Оцінювання|залишкової суми квадратів||Ordinary least squares#Estimation}} БІК є

: <math>\mathrm{BIC} = n \cdot \ln(RSS/n) + k \cdot \ln(n) \ </math>

При перевірці декількох лінійних моделей відносно насиченої моделі БІК може бути переписано в термінах {{нп|Девіантність (статистика)|девіантності||Deviance (statistics)}} <math>\chi^2</math> як<ref name="Raftery1995">{{Citation
| doi = 10.2307/2291091
| issn = 0162-1459
| volume = 90
| issue = 430
| pages = 773–795
| last1 = Kass
| first1 = Robert E.
| last2= Raftery
| first2= Adrian E.
| title = Bayes Factors
| journal = {{нп|Journal of the American Statistical Association}}
| year = 1995
}} {{ref-en}}</ref>

: <math> \mathrm{BIC}= \chi^2 + k \cdot \ln(n) </math>

де <math>k</math> є числом параметрів моделі в перевірці.

При обиранні з декількох моделей найприйнятнішою є модель із найнижчим БІК. БІК є висхідною [[Функція (математика)|функцією]] дисперсії похибки <math>\sigma_e^2</math>, і висхідною функцією ''k''. Тобто, незрозуміла дисперсія в [[Залежна змінна|залежній змінній]] та число описових змінних збільшують значення БІК. Отже, нижчий БІК означає або меншу кількість описових змінних, або кращу допасованість, або обидві. Силу свідчення проти моделі з вищим БІК може бути узагальнено наступним чином:<ref name="Raftery1995" />

{| class="wikitable"
! ΔБІК || Свідчення проти вищого БІК
|-
| 0 to 2 || Не варте більше ніж просто згадування
|-
| 2 to 6 || Позитивне
|-
| 6 to 10 || Сильне
|-
| >10 || Дуже сильне
|}

БІК зазвичай штрафує вільні параметри сильніше за [[Інформаційний критерій Акаіке]], хоча це залежить від розміру ''n'' і відносної величини ''n'' і ''k''.

Важливо мати на увазі, що БІК можна застосовувати для порівняння оцінюваних моделей лише якщо числові значення залежної змінної є однаковими для всіх порівнюваних оцінок. Порівнюваним моделям не потрібно бути [[Вкладені статистичні моделі|вкладеними]], на відміну від випадку, коли моделі порівнюють із застосуванням [[Критерій Фішера|критерію Фішера]] або [[Перевірка відношенням правдоподібностей|перевірки відношенням правдоподібностей]].

== Див. також ==

* [[Інформаційний критерій Акаіке]]
* [[Баєсове порівняння моделей]]
* {{нп|Інформаційний критерій девіантності|||Deviance information criterion}}
* {{нп|Інформаційний критерій Геннена — Куїнна|||Hannan–Quinn information criterion}}
* {{нп|Відстань Єнсена — Шеннона|||Jensen–Shannon divergence}}
* [[Відстань Кульбака — Лейблера]]
* [[Мінімальна довжина повідомлення]]
* [[Обирання моделі]]

== Примітки ==
{{Примітки}}

== Джерела ==
* {{cite journal|last1=Bhat|first1=H. S.|last2=Kumar|first2=N|year=2010|title=On the derivation of the Bayesian Information Criterion|archiveurl=https://web.archive.org/web/20120328065032/http://nscs00.ucmerced.edu/~nkumar4/BhatKumarBIC.pdf|archivedate=28 березня 2012|url=http://nscs00.ucmerced.edu/~nkumar4/BhatKumarBIC.pdf}} {{ref-en}}
* {{cite journal|last=Findley|first=D. F.|year=1991|title=Counterexamples to parsimony and BIC|journal={{нп|Annals of the Institute of Statistical Mathematics}}|volume=43|pages=505–514|doi=10.1007/BF00053369}} {{ref-en}}
* {{cite journal|last1=Kass|first1=R. E.|last2=Wasserman|first2=L.|year=1995|title=A reference Bayesian test for nested hypotheses and its relationship to the Schwarz criterion|journal={{нп|Journal of the American Statistical Association}}|volume=90|pages=928–934}} {{ref-en}}
* {{cite journal|last=Liddle|first=A. R.|year=2007|title=Information criteria for astrophysical model selection|journal=[[Monthly Notices of the Royal Astronomical Society]]|volume=377|pages=L74–L78}} {{ref-en}}
* {{cite book|last1=McQuarrie|first1=A. D. R.|last2=Tsai|first2=C.-L.|year=1998|title=Regression and Time Series Model Selection|url=https://archive.org/details/regressiontimese0000mcqu|publisher=[[World Scientific]]}} {{ref-en}}

== Посилання ==
* [http://personal.psu.edu/hxb11/INFORMATIONCRIT.PDF Information Criteria and Model Selection] {{Webarchive|url=https://web.archive.org/web/20170327035358/http://www.personal.psu.edu/hxb11/INFORMATIONCRIT.PDF |date=27 березня 2017}} {{ref-en}}
* [http://arxiv.org/pdf/1207.0520.pdf Sparse Vector Autoregressive Modeling] {{Webarchive|url=https://web.archive.org/web/20170802053555/https://arxiv.org/pdf/1207.0520.pdf |date=2 серпня 2017}} {{ref-en}}

[[Категорія:Обирання моделі]]
[[Категорія:Баєсове висновування|Інформаційний критерій]]
[[Категорія:Обирання змінної регресії]]