Метод максимальної правдоподібності

Метод максимальної правдоподібності (також метод найбільшої вірогідності) у математичній статистиці — це метод оцінювання невідомого параметра шляхом максимізації функції правдоподібності. Він ґрунтується на припущенні про те, що вся інформація про статистичну вибірку міститься у цій функції. Метод максимальної правдоподібності був проаналізований, рекомендований і значно популяризуваний Р. Фішером між 1912 і 1922 роками (хоча раніше він використовувався Гаусом, Лапласом і іншими). Оцінка максимальної правдоподібності є популярним статистичним методом, який використовується для створення статистичної моделі на основі даних, і забезпечення оцінки параметрів моделі.

Метод максимальної правдоподібності відповідає багатьом відомим методам оцінки в області статистики. Наприклад, припустимо, що ви зацікавлені зростом мешканців України. Припустимо, у вас дані стосовно зросту деякої кількості людей, а не всього населення. Крім того передбачається, що зріст є нормально розподіленою величиною з невідомою дисперсією і середнім значенням. Вибіркові середнє значення і дисперсія зросту є максимально правдоподібними до середнього значення і дисперсії всього населення.

Для фіксованого набору даних і базової імовірнісної моделі, використовуючи метод максимальної правдоподібності, ми набудемо значень параметрів моделі, які роблять дані «ближчими» до реальних. Оцінка максимальної правдоподібності дає унікальний і простий спосіб визначити рішення у разі нормального розподілу.

Застосування

Метод оцінки максимальної правдоподібності застосовується для широкого кола статистичних моделей, зокрема:

• лінійні моделі і узагальнені лінійні моделі;
• факторний аналіз;
• моделювання структурних рівнянь;
• багато ситуацій, в рамках перевірки гіпотези і формування довірчого інтервалу;
• дискретні моделі вибору.

Метод застосовується в широких областях науки, зокрема:

• системи зв'язку;
• психометрія;
• економетрика;
• оцінювання кутових координат джерел сигналів, їх частоти і часу затримки в акустичних і електромагнітних системах;
• моделювання в ядерній фізиці і фізиці елементарних частинок;
• обчислювальна філогенетика;
• моделювання каналів в транспортних мережах.

Визначення

Нехай маємо вибірку $X_1,\dots ,X_n$ з розподілу ${\mathbb{P}}_{\theta }$, де $\theta \in \mathrm{\Theta }$ — невідомий параметр. Нехай $f(𝐱\mid \theta ):\mathrm{\Theta }\to ℝ$ — функція правдоподібності, де $𝐱\in ℝ$. Точкова оцінка

${\hat{\theta }}_{\mathrm{M}\mathrm{\Pi }}={\hat{\theta }}_{\mathrm{M}\mathrm{\Pi }}(X_1,\dots ,X_n)=\arg \max {\mathrm{\backslash limits}}_{\theta \in \mathrm{\Theta }}f(X_1,\dots ,X_n\mid \theta )$

називається оцінкою максимальної правдоподібності параметра $\theta$. Таким чином, оцінка максимальної правдоподібності — це така оцінка, яка максимізує функцію правдоподібності при фіксованій реалізації вибірки.

Зауваження

• Оскільки функція $x\to \ln x,x>0,$ монотонно зростає на всій області визначення, максимум будь-якої функції $f(\theta )$ є максимумом функції $\ln f(\theta )$, і навпаки. Таким чином,

${\hat{\theta }}_{\mathrm{M}\mathrm{\Pi }}=\arg \max {\mathrm{\backslash limits}}_{\theta \in \mathrm{\Theta }}L(X_1,\dots ,X_n\mid \theta )$,

де $L$ — логарифмічна функція правдоподібності.

• Оцінка максимальної правдоподібності, загалом, може бути зміщеною (див. приклади).

Приклади

• Нехай $X_1,\dots ,X_n\sim \mathrm{U}[0,\theta ]$ — незалежна вибірка з неперервного рівномірного розподілу на відрізку $[0,\theta ]$, де $\theta >0$ — невідомий параметр. Тоді функція правдоподібності має вигляд

$f(𝐱\mid \theta )=\{\begin{array}{cc}\frac{1}{{\theta }^n},& 𝐱\in [0,\theta {]}^n\subset {ℝ}^n\\ 0,& 𝐱\in ̸[0,\theta {]}^n.\end{array}$

Остання рівність може бути переписана у вигляді:

$f(𝐱\mid \theta )=\{\begin{array}{cc}\frac{1}{{\theta }^n},& \theta \ge \max (x_1,\dots ,x_n)\\ 0,& \theta <\max (x_1,\dots ,x_n)\end{array},$

де $𝐱=(x_1,\dots ,x_n{)}^{\mathrm{\top }}$, звідки видно, що свого максимуму функція правдоподібності досягає в точці $\theta =\max (x_1,\dots ,x_n)$. Таким чином

${\hat{\theta }}_{\mathrm{M}\mathrm{\Pi }}=\max (X_1,\dots ,X_n)$.

• Нехай $X_1,\dots ,X_n\sim \mathrm{N}(\mu ,{\sigma }^2)$ — незалежна вибірка з нормального розподілу з відомим середнім і дисперсією. Побудуємо оцінку максимальної правдоподібності ${({\hat{\mu }}_{\mathrm{M}\mathrm{\Pi }},{\widehat{{\sigma }^2}}_{\mathrm{M}\mathrm{\Pi }})}^{\mathrm{\top }}$ для невідомого вектора параметрів ${(\mu ,{\sigma }^2)}^{\mathrm{\top }}$. Логарифмічна функція правдоподібності приймає вигляд

$L(𝐱\mid \mu ,{\sigma }^2)=-\frac{n}{2}\ln (2\pi {\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2$.

Щоб знайти її максимум, прирівнюємо до нуля часткові похідні:

$\{\begin{array}{c}\frac{\partial }{\partial \mu }L(𝐱\mid \mu ,{\sigma }^2)=0\\ \frac{\partial }{\partial {\sigma }^2}L(𝐱\mid \mu ,{\sigma }^2)=0\end{array}\Rightarrow \{\begin{array}{c}\frac{\sum _{i=1}^n{X}_i-n\mu }{{\sigma }^2}=0\\ -\frac{n}{2{\sigma }^2}+\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{2{\left({\sigma }^2\right)}^2}=0\end{array},$

звідки

${\hat{\mu }}_{\mathrm{M}\mathrm{\Pi }}=\overline{X}$ — вибіркове середнє, а

${\widehat{{\sigma }^2}}_{\mathrm{M}\mathrm{\Pi }}=S_n^2$ — вибіркова дисперсія.

Джерела

• Шаблон:Карташов.Імовірність процеси статистика
• Шаблон:Гнеденко.Курс теории вероятностей
• Шаблон:Гіхман.Скороход.Ядренко
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Варюхин В. А., Покровский В. И., Сахно В. Ф. Модифицированная функция правдоподобия в задаче определения угловых координат источников с помощью антенной решетки, Докл. АН СССР, 1983, том 270, номер 5, С. 1092—1094.