Функція внеску

У статистиці вне́сок, фу́нкція вне́ску, або ефекти́вний вне́сок (Шаблон:Lang-en) показує, наскільки чутливо функція правдоподібності $L(\theta ;X)$ залежить від свого Шаблон:Нп $\theta$. В явному вигляді внесок $\theta$ є градієнтом логарифмічної правдоподібності по відношенню до $\theta$.

Внесок відіграє важливу роль у деяких аспектах висновування. Наприклад:

• у формулюванні локально найпотужнішого статистичного критерію;Шаблон:Sfn
• у наближенні похибки в оцінці максимальної правдоподібності;Шаблон:Sfn
• у показуванні асимптотичної достатності оцінки максимальної правдоподібності;Шаблон:Sfn
• у формулюванні довірчих інтервалів;Шаблон:Sfn
• у показуваннях нерівності Крамера — Рао.Шаблон:Sfn

Функція внеску також відіграє важливу роль в Шаблон:Нп, оскільки вона може грати певну роль в обчисленні оцінок максимальної правдоподібності.

Визначення

Функція внеску, або ефективний внесок,Шаблон:Sfn — це градієнт (вектор часткових похідних) по відношенню до деякого параметру $\theta$ логарифму (зазвичай, натурального логарифму) функції правдоподібності (логарифмічної правдоподібності). Якщо спостереженням є $X$, а його правдоподібністю є $L(\theta ;X)$, то внесок $V$ може бути знайдено за допомогою ланцюгового правила:

$V\equiv V(\theta ,X)=\frac{\partial }{\partial \theta }\log L(\theta ;X)=\frac{1}{L(\theta ;X)}\frac{\partial L(\theta ;X)}{\partial \theta }.$

Таким чином, внесок $V$ показує чутливість $L(\theta ;X)$ (її похідну, нормалізовану за її значенням). Зауважте, що $V$ є функцією від $\theta$ та спостереження $X$, отже, взагалі кажучи, він не є статистикою. Проте в деяких застосуваннях, таких як Шаблон:Нп, внесок оцінюється на певному значення $\theta$ (такому як значення нульової гіпотези, або оцінка максимальної правдоподібності $\theta$), і в такому випадку результатом є статистика.

У старій літературі для позначення внеску по відношенню до нескінченно малого перенесення заданої густини може застосовуватися термін «лінійний внесок» (Шаблон:Lang-en). Цей звичай походить з того часу, коли основним параметром, що становив інтерес, було середнє значення або медіана розподілу. В цьому випадку правдоподібність спостереження задається густиною вигляду $L(\theta ;X)=f(X+\theta )$. Тоді «лінійний внесок» визначається як

$V_{\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{a}\mathrm{r}}=\frac{\partial }{\partial X}\log f(X)$

Властивості

Середнє значення

За деяких умов Шаблон:Нп, математичне сподівання $V$ по відношенню до спостереження $x$ за умови істинності параметру $\theta$, що записується як $𝔼(V\mid \theta )$, є нульовим. Щоби побачити це, перепишімо функцію правдоподібності L як функцію густини ймовірності $L(\theta ;x)=f(x;\theta )$. Тоді

$\begin{array}{cc}𝔼(V\mid \theta )& =\underset{-\mathrm{\infty }}{\overset{+\mathrm{\infty }}{\int }}f(x;\theta )\frac{\partial }{\partial \theta }\log L(\theta ;X)dx=\underset{-\mathrm{\infty }}{\overset{+\mathrm{\infty }}{\int }}\frac{\partial }{\partial \theta }\log L(\theta ;X)f(x;\theta )dx\\ & =\underset{-\mathrm{\infty }}{\overset{+\mathrm{\infty }}{\int }}\frac{1}{f(x;\theta )}\frac{\partial f(x;\theta )}{\partial \theta }f(x;\theta )dx=\underset{-\mathrm{\infty }}{\overset{+\mathrm{\infty }}{\int }}\frac{\partial f(x;\theta )}{\partial \theta }dx\end{array}$

Якщо дотримуються певні умови диференційовності (див. Формула Лейбніца), то цей інтеграл може бути переписано як

$\frac{\partial }{\partial \theta }\underset{-\mathrm{\infty }}{\overset{+\mathrm{\infty }}{\int }}f(x;\theta )dx=\frac{\partial }{\partial \theta }1=0.$

Варто перевикласти отриманий вище результат словами: математичне сподівання внеску є нульовим. Таким чином, якщо потрібно було повторювано брати проби з деякого розподілу, і повторювано обчислювати внесок, то при наближенні числа повторюваних проб до нескінченності середнє значення цих внесків прямуватиме до нуля.

Дисперсія

Дисперсія внеску відома як інформація за Фішером, і записується як $ℐ(\theta )$. Оскільки математичне сподівання внеску є нульовим, її може бути записано як

$ℐ(\theta )=𝔼\left\{{[\frac{\partial }{\partial \theta }\log L(\theta ;X)]}^2|\theta \right\}.$

Зауважте, що визначена таким чином інформація за Фішером не є функцією будь-якого конкретного спостереження, оскільки випадкову змінну $X$ було усереднено. Це поняття інформації є корисним при порівнянні двох методів спостереження деякого випадкового процесу.

Приклади

Процес Бернуллі

Розгляньмо Шаблон:Нп з A успіхами та B невдачами; ймовірністю успіху є θ.

Тоді правдоподібністю L є

$L(\theta ;A,B)=\frac{(A+B)!}{A!B!}{\theta }^A(1-\theta {)}^B,$

таким чином, внеском V є

$V=\frac{1}{L}\frac{\partial L}{\partial \theta }=\frac{A}{\theta }-\frac{B}{1-\theta }.$

Тепер ми можемо перевірити, що математичне сподівання внеску є нульовим. Зауважуючи, що математичним сподіванням A є nθ, а математичним сподіванням B є n(1 − θ) [пригадаймо, що A та B є випадковими змінними], ми можемо побачити, що математичним сподіванням V є

$E(V)=\frac{n\theta }{\theta }-\frac{n(1-\theta )}{1-\theta }=n-n=0.$

Ми можемо також перевірити й дисперсію $V$. Нам відомо, що A + B = n (таким чином, B = n − A), і що дисперсією A є nθ(1 − θ), таким чином, дисперсією V є

$\begin{array}{cc}\mathrm{var}(V)& =\mathrm{var}(\frac{A}{\theta }-\frac{n-A}{1-\theta })=\mathrm{var}\left(A(\frac{1}{\theta }+\frac{1}{1-\theta })\right)\\ & ={(\frac{1}{\theta }+\frac{1}{1-\theta })}^2\mathrm{var}(A)=\frac{n}{\theta (1-\theta )}.\end{array}$

Модель із двійковим виходом

Для моделей з двійковими виходами (Y = 1 або 0) внесок моделі може оцінюватися за допомогою логарифму передбачень

$S=Y\log (p)+(1-Y)(\log (1-p))$

де p є ймовірністю в оцінюваній моделі, а S є внеском.Шаблон:Sfn

Застосування

Внесковий алгоритм

Внесковий алгоритм (Шаблон:Lang-en) — це ітеративний метод чисельного визначення статистичної оцінки максимальної правдоподібності.

Див. також

• Інформація за Фішером
• Теорія інформації
• Шаблон:Нп
• Шаблон:Нп
• Шаблон:Нп

Література

• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:Cite book Шаблон:Ref-en
• Шаблон:SpringerEOM Шаблон:Ref-en
• Шаблон:Cite journal Шаблон:Ref-en