Перевірка відношенням правдоподібностей

У статистиці переві́рка відно́шенням правдоподі́бностей — це статистична перевірка, що застосовується для порівняння допасованості двох моделей, одна з яких (нульова модель) є окремим випадком іншої (Шаблон:Нп моделі). Ця перевірка ґрунтується на відношенні правдоподібностей, яке виражає, в скільки разів правдоподібніше, що дані відповідають одній моделі, а не іншій. Це відношення правдоподібностей, або, рівнозначно, його логарифм, може потім застосовуватися для обчислення p-значення, або порівнюватися із Шаблон:Нп для ухвалення рішення, чи відкинути нульову модель на користь альтернативної моделі. Коли застосовується логарифм відношення правдоподібностей, така статистика відома як статистика відношення логарифмічних правдоподібностей, а розподіл імовірності цієї перевірної статистики, за припущення, що нульова модель є істинною, може бути наближено із застосуванням теореми Уїлкса.

У випадку порівняння двох моделей, кожна з яких не має відомих параметрів, застосування перевірки відношенням правдоподібностей може бути обґрунтовано Шаблон:Нп, яка показує, що така перевірка має найвищу потужність серед усіх конкурентів.Шаблон:Sfn

Застосування

Кожна з двох порівнюваних моделей, нульова модель та альтернативна модель, окремо співставляється з даними, і записується логарифмічна правдоподібність. Пробна статистика (що часто позначують через D) є подвоєною різницею цих логарифмічних правдоподібностей:

$\begin{array}{cc}D& =-2\ln \left(\frac{\text{likelihood for null model}}{\text{likelihood for alternative model}}\right)\\ & =-2\ln (\text{likelihood for null model})+2\ln (\text{likelihood for alternative model})\\ \end{array}$

Модель із більшою кількістю параметрів завжди допасовуватиметься щонайменше так же добре (матиме рівну або більшу логарифмічну правдоподібність). Чи є вона суттєво кращою, і чи повинна їй тому віддаватися перевага, визначається виведенням імовірності або p-значення різниці D. Там, де нульова гіпотеза являє собою окремий випадок альтернативної гіпотези, розподіл імовірності статистичного критерію є приблизно хі-квадратним розподілом зі ступенями вільності, що дорівнюють df2 − df1.Шаблон:Sfn Символи df1 та df2 представляють кількість вільних параметрів моделей 1 та 2, відповідно, нульової та альтернативної.

Ось приклад застосування. Якщо нульова модель має 1 параметр та логарифмічну правдоподібність −8024, а альтернативна модель має 3 параметри та логарифмічну правдоподібність −8012, то ймовірністю цієї різниці є те, що й хі-квадрат значення +2·(8024 − 8012) = 24 з 3 − 1 = 2 ступенями вільності. Щоби статистика слідувала розподілові хі-квадрат, мусять виконуватися деякі припущення,Шаблон:Sfn і часто обчислюють емпіричні p-значення.

Перевірка відношенням правдоподібностей вимагає вкладених моделей, тобто таких моделей, що складнішу може бути перетворено на простішу накладенням набору обмежень на її параметри. Якщо моделі не є вкладеними, то натомість зазвичай може бути застосовано узагальнення перевірки відношенням правдоподібності: відносну правдоподібність.

Гіпотези проста-з-простою

Статистична модель часто є Шаблон:Нп функцій густини ймовірності або функцій маси ймовірності $f(x|\theta )$. Перевірка гіпотез проста-з-простою має повністю визначені моделі як за нульової гіпотези, так і за Шаблон:Нп, що для спрощення записуються в термінах фіксованих значень уявного параметра $\theta$:

$\begin{array}{ccc}{H}_0& :& \theta ={\theta }_0,\\ H_1& :& \theta ={\theta }_1.\end{array}$

Зауважте, що за кожної з гіпотез розподіл даних є повністю визначеним; невідомих параметрів для оцінки немає. Перевірка відношенням правдоподібностей ґрунтується на відношенні правдоподібностей, що часто позначають через $\mathrm{\Lambda }$ (велика грецька літера лямбда). Відношення правдоподібностей визначається таким чином:Шаблон:SfnШаблон:Sfn

$\mathrm{\Lambda }(x)=\frac{L({\theta }_0|x)}{L({\theta }_1|x)}=\frac{f({\cup }_i{x}_i|{\theta }_0)}{f({\cup }_i{x}_i|{\theta }_1)}$

або

$\mathrm{\Lambda }(x)=\frac{L({\theta }_0\mid x)}{\sup \{L(\theta \mid x):\theta \in \{{\theta }_0,{\theta }_1\}\}},$

де $L(\theta |x)$ є функцією правдоподібності, а $\sup$ — функцією супремума. Зауважте, що деякі джерела можуть використовувати як визначення обернене.Шаблон:Sfn У встановленому тут вигляді відношення правдоподібностей є малим, якщо альтернативна модель є кращою за нульову, і перевірка відношенням правдоподібностей дає таке правило рішення:

Якщо $\mathrm{\Lambda }>c$, не відхиляти $H_0$;

Якщо $\mathrm{\Lambda }<c$, відхилити $H_0$;

Відхилити з імовірністю $q$, якщо $\mathrm{\Lambda }=c.$

Значення $c,q$ зазвичай обираються для отримання вказаного рівня значущості $\alpha$ за допомогою відношення $q\cdot P(\mathrm{\Lambda }=c|H_0)+P(\mathrm{\Lambda }<c|H_0)=\alpha$. Шаблон:Нп стверджує, що ця перевірка відношенням правдоподібностей є найпотужнішою серед усіх перевірок рівня $\alpha$ для цієї задачі.Шаблон:Sfn

Визначення (перевірка відношенням правдоподібностей для складених гіпотез)

Нульову гіпотезу часто задають, кажучи, що параметр $\theta$ належить до вказаної підмножини ${\mathrm{\Theta }}_0$ простору параметрів $\mathrm{\Theta }$.

$\begin{array}{ccc}{H}_0& :& \theta \in {\mathrm{\Theta }}_0\\ H_1& :& \theta \in {\mathrm{\Theta }}_0^{\complement }\end{array}$

Функцією правдоподібності є $L(\theta |x)=f(x|\theta )$ (де $f(x|\theta )$ є ФГІ або ФМІ), що є функцією від параметра $\theta$ при $x$, фіксованому на значенні, що фактично спостерігалося, тобто на даних. Статистикою перевірки відношенням правдоподібності єШаблон:Sfn

$\mathrm{\Lambda }(x)=\frac{\sup \{L(\theta \mid x):\theta \in {\mathrm{\Theta }}_0\}}{\sup \{L(\theta \mid x):\theta \in \mathrm{\Theta }\}}.$

Тут запис $\sup$ стосується функції супремума.

Перевірка відношенням правдоподібностей — це будь-яка перевірка з критичною областю (або областю відхилення) вигляду $\{x|\mathrm{\Lambda }\le c\}$, де $c$ є числом, що задовольняє $0\le c\le 1$. Багато поширених перевірних статистик, таких як Z-критерій, F-критерій, перевірка хі-квадрат Пірсона та Шаблон:Не перекладено є перевірками вкладених моделей, і їх може бути сформульовано як відношення логарифмічних правдоподібностей або їхніх наближень.

Інтерпретація

Будучи функцією даних $x$, відношення правдоподібностей є відтак статистикою. Перевірка відношенням правдоподібностей відхиляє нульову гіпотезу, якщо значення цієї статистики є замалим. Наскільки мале є замалим, залежить від рівня значущості перевірки, тобто від того, яка ймовірність помилок першого роду вважається терпимою (помилки першого роду складаються з відхилень нульової гіпотези, що насправді є істинними).

Чисельник відповідає максимальній правдоподібності спостережуваного виходу за нульової гіпотези. Знаменник відповідає максимальній правдоподібності спостережуваного виходу при варіюванні параметрів над усім параметричним простором. Чисельник цього відношення є меншим за знаменник. Отже, відношення правдоподібностей лежить між 0 та 1. Низькі значення відношення правдоподібностей означають, що трапляння спостережуваного результату було менш правдоподібним за нульової гіпотези в порівнянні з альтернативною. Високі значення цієї статистики означають, що трапляння спостережуваного виходу було майже настільки ж правдоподібним за нульової гіпотези, як і за альтернативної, й нульову гіпотезу не можна відкидати.

Шаблон:Якір Розподіл: теорема Уїлкса

Якщо розподіл відношення правдоподібностей, що відповідає певним нульовій та альтернативній гіпотезам, може бути визначено явно, то його можливо безпосередньо застосовувати для формування областей рішень (для прийняття/відхилення нульової гіпотези). Проте в більшості випадків точний розподіл відношення правдоподібностей, що відповідає певним гіпотезам, визначити дуже складно. Зручний результат, що приписують Шаблон:Нп, каже, що з наближенням розміру вибірки $n$ до $\mathrm{\infty }$ перевірна статистика $-2\log (\mathrm{\Lambda })$ для вкладених моделей ставатиме асимптотично ${\chi }^2$-розподіленою зі ступенями вільності, що дорівнюють різниці в розмірності $\mathrm{\Theta }$ та ${\mathrm{\Theta }}_0$.Шаблон:Sfn Це означає, що для великого розмаїття гіпотез виконавець може обчислювати відношення правдоподібностей $\mathrm{\Lambda }$ для даних, і порівнювати $-2\log (\mathrm{\Lambda })$ зі значенням ${\chi }^2$, що відповідає бажаній статистичній значущості, в ролі наближеної статистичної перевірки.

Приклади

Підкидання монети

Як приклад, у випадку перевірки Пірсона ми могли би спробувати порівняти дві монети, щоби визначити, чи вони мають однакову ймовірність випадіння аверсу. Наші спостереження може бути внесено до таблиці спряженості з рядками, що відповідають монетам, та стовпчиками, що відповідають аверсам (Шаблон:Lang-en) та реверсам (Шаблон:Lang-en). Елементами таблиці спряження будуть кількості разів, яку на монеті цього рядка випав аверс та реверс. Вміст цієї таблиці є нашим спостереженням $X$.

	Аверси	Реверси
Монета 1	$k_{1H}$	$k_{1T}$
Монета 2	$k_{2H}$	$k_{2T}$

Тут $\mathrm{\Theta }$ складається з можливих комбінацій значень параметрів $p_{1H}$, $p_{1T}$, $p_{2H}$ та $p_{2T}$, що є ймовірністю того, що монети 1 та 2 впадуть аверсом або реверсом догори. Надалі $i=1,2$ та $j=H,T$. Простір гіпотез $H$ обмежується звичайними обмеженнями на розподіл імовірності, $0\le p_{ij}\le 1$ та $p_{iH}+p_{iT}=1$. Простір нульової гіпотези $H_0$ є підпростором, у якому $p_{1j}=p_{2j}$. При позначенні через $n_{ij}$ найкращих значень $p_{ij}$ за гіпотези $H$ оцінка максимальної правдоподібності задається як

$n_{ij}=\frac{k_{ij}}{k_{iH}+k_{iT}}.$

Аналогічно, оцінки максимальної правдоподібності $p_{ij}$ за нульової гіпотези $H_0$ задаються як

$m_{ij}=\frac{k_{1j}+k_{2j}}{k_{1H}+k_{2H}+k_{1T}+k_{2T}},$

що не залежить від монети $i$.

Гіпотезу та нульову гіпотезу може бути злегка переписано так, щоби вони задовольняли такі обмеження, щоби логарифм відношення правдоподібностей мав бажаний гарний розподіл. Оскільки це обмеження спричиняє зведення двовимірної $H$ до одновимірної $H_0$, то асимптотичним розподілом цієї перевірки буде ${\chi }^2(1)$, розподіл ${\chi }^2$ з одним ступенем вільності.

Для загального випадку таблиці спряженості статистику відношення логарифмічних правдоподібностей може бути переписано як

$-2\log \mathrm{\Lambda }=2\sum _{i,j}{k}_{ij}\log \frac{n_{ij}}{m_{ij}}.$

Джерела

• Шаблон:Cite journal Шаблон:Ref-en
• Шаблон:Cite journal Шаблон:Ref-en
• Шаблон:Cite journal Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en

Посилання

• Практичне застосування описаної перевірки відношенням правдоподібностей Шаблон:Ref-en
• Пакет R: Послідовна перевірка відношення ймовірностей Вальда Шаблон:Ref-en
• Передбачувальні значення Річарда Лоурі та відношення правдоподібностей інтерактивний клінічний калькулятор Шаблон:Ref-en