Перегляд вихідного коду сторінки Метод максимальної правдоподібності

'''Метод максимальної правдоподібності''' (також метод найбільшої вірогідності) у [[математична статистика|математичній статистиці]]&nbsp;— це метод оцінювання невідомого параметра шляхом максимізації [[Функція правдоподібності|функції правдоподібності]]. Він ґрунтується на припущенні про те, що вся інформація про статистичну вибірку міститься у цій функції. Метод максимальної правдоподібності був проаналізований, рекомендований і значно популяризуваний [[Рональд Фішер|Р. Фішером]] між [[1912]] і [[1922]] роками (хоча раніше він використовувався [[Карл Гаус|Гаусом]], [[П'єр-Симон Лаплас|Лапласом]] і іншими).
Оцінка максимальної правдоподібності є популярним статистичним методом, який використовується для створення статистичної моделі на основі даних, і забезпечення оцінки параметрів моделі.

Метод максимальної правдоподібності відповідає багатьом відомим методам оцінки в області статистики. Наприклад, припустимо, що ви зацікавлені зростом мешканців України. Припустимо, у вас дані стосовно зросту деякої кількості людей, а не всього населення. Крім того передбачається, що зріст є [[нормальний розподіл|нормально розподіленою величиною]] з невідомою [[Дисперсія випадкової величини|дисперсією]] і середнім значенням. Вибіркові середнє значення і дисперсія зросту є максимально правдоподібними до середнього значення і дисперсії всього населення.

Для фіксованого набору даних і базової [[Імовірнісна модель|імовірнісної моделі]], використовуючи метод максимальної правдоподібності, ми набудемо значень параметрів моделі, які роблять дані «ближчими» до реальних. [[Статистична оцінка|Оцінка]] максимальної правдоподібності дає унікальний і простий спосіб визначити рішення у разі нормального розподілу.

== Застосування ==
Метод оцінки максимальної правдоподібності застосовується для широкого кола статистичних моделей, зокрема:
:* [[Лінійна регресія|лінійні моделі]] і узагальнені лінійні моделі;
:* [[факторний аналіз]];
:* моделювання структурних рівнянь;
:* багато ситуацій, в рамках перевірки гіпотези і формування [[Довірчий інтервал|довірчого інтервалу]];
:* дискретні моделі вибору.
Метод застосовується в широких областях науки, зокрема:
:* системи зв'язку;
:* [[психометрія]];
:* [[економетрика]];
:*  оцінювання кутових координат джерел сигналів, їх частоти і часу затримки в акустичних і електромагнітних системах<ref>Слюсар В.И. Синтез алгоритмов измерения дальности М источников при дополнительном стробировании отсчетов АЦП.// Известия высших учебных заведений. Радиоэлектроника.- 1996. - Том 39, № 5. - C. 55 - 62.[http://slyusar.kiev.ua/IZV_VUZ_1996_5.pdf] {{Webarchive|url=https://web.archive.org/web/20140605052742/http://slyusar.kiev.ua/IZV_VUZ_1996_5.pdf |date=5 червня 2014 }}</ref><ref>Слюсар В.И. Предельное разрешение дальномерных процедур максимального правдоподобия.// Известия высших учебных заведений. Радиоэлектроника.- 1998. - Том 41, № 11. - C. 39 - 45. [http://slyusar.kiev.ua/IZV_VUZ_1998_11.pdf] {{Webarchive|url=https://web.archive.org/web/20200125134437/http://slyusar.kiev.ua/IZV_VUZ_1998_11.pdf |date=25 січня 2020 }}</ref>;
:* моделювання в ядерній фізиці і фізиці елементарних частинок;
:* обчислювальна [[філогенетика]];
:* моделювання каналів в транспортних мережах.

== Визначення ==
Нехай маємо [[вибірка|вибірку]] <math>X_1,\ldots,X_n</math> з розподілу <math>\mathbb{P}_{\theta}</math>, де <math>\theta \in \Theta</math>&nbsp;— невідомий параметр. Нехай <math>f(\mathbf{x} \mid \theta)\colon\Theta \to \mathbb{R}</math>&nbsp;— [[функція правдоподібності]], де <math>\mathbf{x} \in \mathbb{R}</math>. [[Точкова оцінка]]
: <math>\hat{\theta}_{\mathrm{M\Pi}} = \hat{\theta}_{\mathrm{M\Pi}} (X_1,\ldots, X_n) = \arg \max\limits_{\theta \in \Theta} f(X_1 ,\ldots, X_n \mid \theta )</math>
називається '''оцінкою максимальної правдоподібності''' параметра <math>\theta</math>. Таким чином, оцінка максимальної правдоподібності&nbsp;— це така оцінка, яка максимізує функцію правдоподібності при фіксованій реалізації вибірки.

== Зауваження ==
* Оскільки функція <math>x \to \ln x,\; x > 0,</math> монотонно зростає на всій області визначення, максимум будь-якої функції <math>f(\theta)</math> є максимумом функції <math> \ln f(\theta)</math>, і навпаки. Таким чином,
: <math>\hat{\theta}_{\mathrm{M\Pi}} = \arg \max\limits_{\theta \in \Theta} L(X_1 ,\ldots, X_n \mid \theta )</math>,
де <math>L</math>&nbsp;— логарифмічна функція правдоподібності.
* Оцінка максимальної правдоподібності, загалом, може бути зміщеною (див. приклади).

== Приклади ==
* Нехай <math>X_1,\ldots, X_n \sim \mathrm{U}[0,\theta]</math>&nbsp;— незалежна [[вибірка]] з [[неперервний рівномірний розподіл|неперервного рівномірного розподілу]] на відрізку <math>[0,\theta]</math>, де <math>\theta > 0</math>&nbsp;— невідомий параметр. Тоді функція правдоподібності має вигляд
: <math>f(\mathbf{x} \mid \theta ) = 
\left\{
\begin{array}{ll}
\frac{1}{\theta^n}, & \mathbf{x} \in [0,\theta]^n \subset \mathbb{R}^n \\
0, & \mathbf{x} \not\in [0,\theta]^n. 
\end{array}
\right.
</math>
Остання рівність може бути переписана у вигляді:
: <math>f(\mathbf{x} \mid \theta ) = 
\left\{
\begin{array}{ll}
\frac{1}{\theta^n}, & \theta \ge \max(x_1,\ldots,x_n) \\
0, & \theta < \max(x_1,\ldots,x_n) 
\end{array}
\right.,
</math>
де <math>\mathbf{x} = (x_1,\ldots,x_n)^{\top}</math>, звідки видно, що свого максимуму функція правдоподібності досягає в точці <math>\theta = \max(x_1,\ldots,x_n)</math>. Таким чином
: <math>\hat{\theta}_{\mathrm{M\Pi}} = \max(X_1,\ldots, X_n)</math>.
* Нехай <math>X_1,\ldots,X_n \sim \mathrm{N}(\mu,\sigma^2)</math>&nbsp;— незалежна вибірка з [[нормальний розподіл|нормального розподілу]] з відомим середнім і [[Дисперсія випадкової величини|дисперсією]]. Побудуємо оцінку максимальної правдоподібності <math>\left(\hat{\mu}_{\mathrm{M\Pi}}, \widehat{\sigma^2}_{\mathrm{M\Pi}}\right)^{\top}</math> для невідомого вектора параметрів <math>\left(\mu,\sigma^2\right)^{\top}</math>. Логарифмічна функція правдоподібності приймає вигляд
: <math>L(\mathbf{x} \mid\mu, \sigma^2) = - \frac{n}{2} \ln (2 \pi \sigma^2) - \frac{1}{2\sigma^2} \sum\limits_{i=1}^n (X_i - \mu)^2</math>.
Щоб знайти її максимум, прирівнюємо до нуля [[часткова похідна|часткові похідні]]:
: <math>
\left\{
\begin{matrix}
\displaystyle \frac{\partial}{\partial \mu} L(\mathbf{x} \mid \mu, \sigma^2 ) = 0 \\[10pt]
\displaystyle \frac{\partial}{\partial \sigma^2} L(\mathbf{x} \mid \mu, \sigma^2 ) = 0 \\
\end{matrix}
\right. \Rightarrow
\left\{
\begin{matrix}
\displaystyle \frac{ \sum\limits_{i=1}^n X_i - n \mu}{\sigma^2} = 0 \\[10pt]
\displaystyle -\frac{n}{2 \sigma^2} +\frac{\sum\limits_{i=1}^n (X_i - \mu)^2}{2 \left(\sigma^2\right)^2}  = 0 \\
\end{matrix}
\right.,
</math>
звідки
: <math>\hat{\mu}_{\mathrm{M\Pi}} = \bar{X}</math>&nbsp;— [[вибіркове середнє]], а
: <math>\widehat{\sigma^2}_{\mathrm{M\Pi}} = S^2_n</math>&nbsp;— [[вибіркові дисперсії|вибіркова дисперсія]].

== Примітки ==
{{reflist}}

== Джерела ==
* {{Карташов.Імовірність процеси статистика}}
* {{Гнеденко.Курс теории вероятностей}}
* {{Гіхман.Скороход.Ядренко}}
* {{cite book |last=Руденко В. М. |title=Математична статистика |url=https://archive.org/details/isbn_9786110102773 |year=2012 |publisher=Центр учбової літератури |location=Київ |isbn=978-611-01-0277-3 |page=[https://archive.org/details/isbn_9786110102773/page/n157 158]}}
* {{cite book |last1=Capinski |first1=Marek |last2=Kopp |first2=Peter E. |title=Measure, Integral and Probability |year=2004 |publisher=Springer Verlag |isbn=9781852337810}}
* {{cite book |last=Williams D. |title=Probability with Martingales |year=1991 |publisher=Cambridge University Press |isbn=0-521-40605-6}}
* Варюхин В. А., Покровский В. И., Сахно В.&nbsp;Ф.&nbsp;[http://www.mathnet.ru/links/87ee2cd56e950fed05372f245950afdf/dan46132.pdf Модифицированная функция правдоподобия в задаче определения угловых координат источников с помощью антенной решетки], Докл. АН СССР, 1983, том 270, номер 5, С. 1092—1094.
{{Статистика|виведення}}

{{Бібліоінформація}}
[[Категорія:Правдоподібність|Максимальна]]
[[Категорія:Допасовування розподілів імовірності]]