Баєсів інформаційний критерій

Шаблон:Баєсова статистика У статистиці, ба́єсів інформаці́йний крите́рій (БІК, Шаблон:Lang-en), або крите́рій Шва́рца (Шаблон:Lang-en, також Шаблон:Lang-en) — статистичний критерій для обирання моделі серед скінченної множини моделей; найприйнятнішою є модель із найнижчим БІК. Він ґрунтується, зокрема, на функції правдоподібності, і тісно пов'язаний з інформаційним критерієм Акаіке (ІКА).

При допасовуванні моделей можливо підвищувати правдоподібність шляхом додавання параметрів, але це може призводити до перенавчання. Як БІК, так і ІКА намагаються розв'язувати цю проблему введенням члена штрафу для числа параметрів у моделі; член штрафу в БІК є більшим, ніж в ІКА.

БІК було розроблено Шаблон:H:title, і опубліковано в праці 1978 року, в якій він навів баєсове обґрунтування його застосування.

Визначення

БІК формально визначається як

$\mathrm{B}\mathrm{I}\mathrm{C}=\ln (n)k-2\ln (\hat{L}).$

де

• $\hat{L}$ = максимізоване значення функції правдоподібності моделі $M$, тобто, $\hat{L}=p(x|\hat{\theta },M)$, де $\hat{\theta }$ є значеннями параметрів, які максимізують функцію правдоподібності;
• $x$ = спостережувані дані;
• $n$ = число точок даних в $x$, число спостережень, або, рівнозначно, розмір вибірки;
• $k$ = число вільних параметрів, які належить оцінити. Якщо модель, що розглядають, є лінійною регресією, то $k$ є числом регресорів, включно з відтином;

БІК є асимптотичним результатом, виведеним за припущення, що розподіл даних належить до Шаблон:Нп. Тобто, інтеграл функції правдоподібності $p(x|\theta ,M)$, помножений на апріорний розподіл ймовірності $p(\theta |M)$ над параметрами $\theta$ моделі $M$, для незмінних спостережених даних $x$ наближується як

$-2\cdot \ln p(x|M)\approx \mathrm{B}\mathrm{I}\mathrm{C}=-2\cdot \ln \hat{L}+k\cdot (\ln (n)-\ln (2\pi )).$

Для великих $n$ це може бути наближено наведеною вище формулою. БІК використовують в задачах обирання моделі, що в них додавання сталої до БІК не змінює результату.

Властивості

• Він не залежить від апріорного, або апріорне є «невизначеним» (сталою).
• Він може вимірювати ефективність параметризованої моделі в термінах передбачування даних.
• Він штрафує складність моделі, де складність позначає кількість параметрів моделі.
• Він наближено дорівнює критерієві мінімальної довжини опису, але з протилежним знаком.
• Його можна застосовувати для обирання числа кластерів відповідно до внутрішньої складності, присутньої в певному наборі даних.
• Він тісно пов'язаний з іншими критеріями штрафованої правдоподібності, такими як Шаблон:Прояснити та інформаційний критерій Акаіке.

Обмеження

Критерій БІК страждає на два головні обмеження

1. наведене вище наближення чинне лише для розміру вибірки $n$, який є набагато більшим за число параметрів моделі $k$.
2. БІК не може обробляти складні зібрання моделей, як у задачі обирання змінних (або обирання ознак) за високої розмірності.

Гаусів особливий випадок

За припущення, що похибки або збурення моделі є незалежними та однаково розподіленими згідно нормального розподілу, і граничної умови, що похідна логарифмічної правдоподібності щодо істинної дисперсії є нульовою, це перетворюється (з точністю до адитивної сталої, яка залежить від n, але не від моделі) на

$\mathrm{B}\mathrm{I}\mathrm{C}=n\cdot \ln (\widehat{{\sigma }_e^2})+k\cdot \ln (n)$

де $\widehat{{\sigma }_e^2}$ є дисперсією похибки. Дисперсію похибки в цьому випадку визначають як

$\widehat{{\sigma }_e^2}=\frac{1}{n}\sum _{i=1}^n(x_i-\widehat{x_i}{)}^2$

що є зсунутою оцінкою істинної дисперсії.

В термінах Шаблон:Нп БІК є

$\mathrm{B}\mathrm{I}\mathrm{C}=n\cdot \ln (RSS/n)+k\cdot \ln (n)$

При перевірці декількох лінійних моделей відносно насиченої моделі БІК може бути переписано в термінах Шаблон:Нп ${\chi }^2$ як

$\mathrm{B}\mathrm{I}\mathrm{C}={\chi }^2+k\cdot \ln (n)$

де $k$ є числом параметрів моделі в перевірці.

При обиранні з декількох моделей найприйнятнішою є модель із найнижчим БІК. БІК є висхідною функцією дисперсії похибки ${\sigma }_e^2$, і висхідною функцією k. Тобто, незрозуміла дисперсія в залежній змінній та число описових змінних збільшують значення БІК. Отже, нижчий БІК означає або меншу кількість описових змінних, або кращу допасованість, або обидві. Силу свідчення проти моделі з вищим БІК може бути узагальнено наступним чином:

ΔБІК	Свідчення проти вищого БІК
0 to 2	Не варте більше ніж просто згадування
2 to 6	Позитивне
6 to 10	Сильне
>10	Дуже сильне

БІК зазвичай штрафує вільні параметри сильніше за Інформаційний критерій Акаіке, хоча це залежить від розміру n і відносної величини n і k.

Важливо мати на увазі, що БІК можна застосовувати для порівняння оцінюваних моделей лише якщо числові значення залежної змінної є однаковими для всіх порівнюваних оцінок. Порівнюваним моделям не потрібно бути вкладеними, на відміну від випадку, коли моделі порівнюють із застосуванням критерію Фішера або перевірки відношенням правдоподібностей.

Див. також

• Інформаційний критерій Акаіке
• Баєсове порівняння моделей
• Шаблон:Нп
• Шаблон:Нп
• Шаблон:Нп
• Відстань Кульбака — Лейблера
• Мінімальна довжина повідомлення
• Обирання моделі

Джерела

• Шаблон:Cite journal Шаблон:Ref-en
• Шаблон:Cite journal Шаблон:Ref-en
• Шаблон:Cite journal Шаблон:Ref-en
• Шаблон:Cite journal Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en

Посилання

• Information Criteria and Model Selection Шаблон:Webarchive Шаблон:Ref-en
• Sparse Vector Autoregressive Modeling Шаблон:Webarchive Шаблон:Ref-en