Відособлена правдоподібність

У статистиці фу́нкція відосо́бленої правдоподі́бності (Шаблон:Lang-en) або інтегро́вана правдоподі́бність (Шаблон:Lang-en) — це функція правдоподібності, в якій деякі змінні параметри було знеособлено. В контексті баєсової статистики вона також може згадуватися як сві́дчення (Шаблон:Lang-en), або сві́дчення моде́лі (Шаблон:Lang-en).

При заданій множині незалежних однаково розподілених точок даних $𝕏=(x_1,\dots ,x_n),$ де $x_i\sim p(x_i|\theta )$ відповідно до певного розподілу ймовірностей, параметризованого за θ, де θ саме по собі є випадковою змінною, описаною розподілом, тобто $\theta \sim p(\theta |\alpha ),$ відособлена правдоподібність у загальному випадку ставить питання, якою є ймовірність $p(𝕏|\alpha ),$ де θ було знеособлено (проінтегровано):

$p(𝕏|\alpha )=\underset{\theta }{\int }p(𝕏|\theta )p(\theta |\alpha )\mathrm{d}\theta$

Наведене вище визначення сформульовано в контексті баєсової статистики. В класичній (частотницькій) статистиці поняття відособленої правдоподібності натомість з'являється в контексті спільного параметра θ=(ψ,λ), де ψ є справжнім параметром, що становить інтерес, а λ є нецікавим Шаблон:Нп. Якщо існує розподіл імовірності для λ, часто бажано розглядати функцію правдоподібності лише в термінах ψ, знеособлюючи λ:

$ℒ(\psi ;𝕏)=p(𝕏|\psi )=\underset{\lambda }{\int }p(𝕏|\psi ,\lambda )p(\lambda |\psi )\mathrm{d}\lambda$

На жаль, відособлені правдоподібності, як правило, важко обчислювати. Точні розв'язки відомі для невеликого класу розподілів, зокрема коли знеособлюваний параметр є спряженим апріорним розподілу даних. В інших випадках потрібен якийсь метод чисельного інтегрування, або загальний метод, такий як гаусове інтегрування або метод Монте-Карло, або якийсь спеціалізований метод для статистичних задач, такий як Шаблон:Нп, Шаблон:Нп або алгоритм очікування-максимізації.

Також можливо застосовувати наведені вище міркування до єдиної випадкової змінної (точки даних) x, а не до набору спостережень. У баєсовому контексті це еквівалентно Шаблон:Нп точки даних.

Застосування

Баєсове порівняння моделей

В баєсовому порівнянні моделей знеособлювані змінні є параметрами певного типу моделі, а решта змінних є особистістю самої моделі. В цьому випадку знеособлена правдоподібність є ймовірністю даних при заданому типі моделі, без розгляду будь-яких конкретних параметрів моделі. При позначенні параметрів моделі через θ, відособленою правдоподібністю для моделі M є

$p(x|M)=\int p(x|\theta ,M)p(\theta |M)\mathrm{d}\theta$

Саме в цьому контексті зазвичай застосовується термін свідчення моделі. Ця величина є важливою, оскільки відношення апостеріорних шансів моделі M₁ до іншої моделі M₂ включає відношення відособлених правдоподібностей, так званий коефіцієнт Баєса:

$\frac{p(M_1|x)}{p(M_2|x)}=\frac{p(M_1)}{p(M_2)}\frac{p(x|M_1)}{p(x|M_2)}$

що може бути схематично сформульовано як

апостеріорні Шаблон:Нп = апріорні шанси × коефіцієнт Баєса

Див. також

• Шаблон:Нп
• Відособлена ймовірність
• Парадокс Ліндлі

Джерела

• Charles S. Bos. "A comparison of marginal likelihood computation methods". In W. Härdle and B. Ronz, editors, COMPSTAT 2002: Proceedings in Computational Statistics, pp. 111–117. 2002. (Available as a preprint on the web: [1] Шаблон:Webarchive) Шаблон:Ref-en
• The on-line textbook: Information Theory, Inference, and Learning Algorithms Шаблон:Webarchive, by Шаблон:Нп. Шаблон:Ref-en