Перегляд вихідного коду сторінки Теорія оцінювання

'''Теорія оцінювання'''&nbsp;— це галузь [[Статистика|статистики]], яка вивчає способи оцінювання значень параметрів на основі емпіричних/виміряних даних, що мають випадкову складову. Ці параметри описують належне фізичне середовище таким чином, що їхні значення впливають на розподіл виміряних даних. [[Статистична оцінка]] дозволяє оцінити ці невідомі параметри на основі даних вимірювань.

Наприклад, необхідно оцінити частину сукупності виборців, які голосуватимуть за певного кандидата. Це співвідношення є шуканим параметром; оцінка ґрунтується на невеликій випадковій вибірці людей, що голосують.

Або, наприклад, задача [[радар]]у полягає в тому, щоб оцінити віддаленість об'єктів (літаків, човнів тощо) шляхом аналізу часу двобічного проходження отриманих віддзеркалень переданих імпульсів. Оскільки відбиті імпульси неминуче включатимуться в електричний шум, їхні виміряні значення матимуть випадковий розподіл, тому цю тривалість проходження потрібно оцінювати.

У теорії статистичного оцінювання зазвичай розглядають два основні підходи:<ref>

{{cite book |last1=Вальтер |first1=E. |last2=Пронзато |first2=Л. |title=Ідентифікація параметричних моделей за експериментальним даними|year=1997 |publisher=Springer-Verlag |location=Лондон, Англія }}

</ref>

* '''Ймовірнісний підхід''' <!-- (описаний у цій статті) --> ґрунтується на припущенні, що вимірювані дані є випадковими і мають деякий [[розподіл ймовірностей]], що залежить від параметрів, які необхідно знайти
* {{Не перекладено|Можинне оцінювання|'''Множинний підхід'''||Set estimation}} ґрунтується на припущенні, що виміряний вектор даних належить до множини, що залежить від вектора параметрів.

Наприклад, в теорії електросигналів вимірювання, що містять інформацію про шукані параметри, часто пов'язані із [[Завади|зашумленим]] [[сигнал]]ом. Без наявності випадковості, або шуму, задача була би [[Детермінізм|детермінованою]], і оцінювання не було би потрібним.

== Приклади ==
Наприклад, бажано оцінити частку населення виборців, яке проголосує за конкретного кандидата. Ця пропорція&nbsp;— шуканий параметр; оцінка базується на невеликій випадковій вибірці виборців. Як альтернативу бажано оцінити ймовірність голосування виборців за конкретного кандидата, виходячи з деяких демографічних особливостей, таких як вік.

Або, наприклад, у [[Радіолокація|радіолокації]] метою є пошук діапазону об'єктів (літаки, катери тощо) шляхом аналізу двостороннього часу транзиту прийнятих відлунь переданих імпульсів. Оскільки відбиті імпульси неминуче вбудовуються в електричний шум, їх виміряні значення випадковим чином розподіляються так, що час проходження потрібно оцінити.

Іншим прикладом у теорії електричного зв'язку можуть бути вимірювання, що містять інформацію щодо цікавих параметрів, які часто пов'язано з [[Завади|шумним]] [[сигнал]]ом.

== Основи ==
Щоб оцінювач могло бути втілено, для заданої моделі потрібно кілька статистичних «складових». Першим з них є [[Вибірка|статистична вибірка]]&nbsp;— набір точок даних, взятих із [[Багатовимірна випадкова величина|випадкового вектора]] (RV) розміру ''N''. Покласти до [[Евклідів вектор|вектору]],

: <math>\mathbf{x} = \begin{bmatrix} x[0] \\ x[1] \\ \vdots \\ x[N-1] \end{bmatrix}.</math>

По-друге, є ''M'' параметрів

: <math>\mathbf{\theta} = \begin{bmatrix} \theta_1 \\ \theta_2 \\ \vdots \\ \theta_M \end{bmatrix},</math>

значення яких слід оцінити. По-третє, [[Густина ймовірності|функція безперервної густини ймовірності]] (ФГІ) або її дискретний аналог, [[функція маси імовірності]] (ФМІ) основного розподілу, що породжує дані, повинно бути вказано залежно від значень параметрів:

: <math>p(\mathbf{x} | \mathbf{\theta}).\,</math>

Також можливо, щоби самі параметри мали розподіл імовірностей (наприклад, [[Баєсова статистика|баєсову статистику]]). Потім необхідно визначити [[Баєсова ймовірність|баєсову ймовірність]]

: <math>\pi( \mathbf{\theta}).\,</math>

Після формування моделі мета полягає в оцінці параметрів, причому оцінки зазвичай позначають через <math>\hat{\mathbf{\theta}}</math>, де «капелюх» означає оцінку.

Одним із загальних оцінювачів є оцінювач {{нп|Мінімальна середньоквадратична похибка|мінімальної середньоквадратичної похибки||Minimum mean square error}} (МСКП), який використовує похибку між оцінюваними параметрами та фактичним значенням параметрів

: <math>\mathbf{e} = \hat{\mathbf{\theta}} - \mathbf{\theta}</math>

як основу для оптимальності. Потім цей член похибки подносять до квадрату, а [[Математичне сподівання|очікуване значення]] цього квадрату мінімізують для оцінювача МСКП.

== Оцінювачі ==
{{main|Оцінювач (статистика)}}

До загальновживаних оцінювачі (методів оцінювання) та тем, пов'язані з ними, належать:
* Оцінювачі [[Метод максимальної правдоподібності|максимальної ймовірності]]
* [[Баєсова оцінка|Оцінки Байєса]]
* [[Метод моментів|Метод оцінок моментів]]
* [[Нерівність Крамера — Рао|Зв'язаний Крамер&nbsp;— Рао]]
* [[Найменші квадрати]]
* {{нп|Мінімальна середньоквадратична похибка|||Minimum mean square error}} (МСКП), відома також як баєсова мінімально-квадратична похибка (БМКП)
* [[Оцінка апостеріорного максимуму]] (ОАМ)
* {{нп|Мінімально-дисперсійна незміщена оцінка|||Minimum-variance unbiased estimator}} (МДНО)
* {{нп|Ідентифікування нелінійних систем|||Nonlinear system identification}}
* [[Найкращий лінійний незміщений оцінювач]] (НЛНО)
* Незміщені оцінювачі; див. [[Незміщена оцінка]].
* {{нп|Частинковий фільтр|||Particle filter}}
* [[Методи Монте-Карло марковських ланцюгів]] (МКМЛ)
* [[Фільтр Калмана]], та різні його похідні
* {{нп|Фільтр Вінера|||Wiener filter}}

== Приклади ==

=== Невідома константа адитивного білого гауссового шуму ===
Розгляньмо отриманий [[дискретний сигнал]], <math>x[n]</math>, з <math>N</math> [[Незалежність (теорія ймовірностей)|незалежних]] [[Вибірка|зразків]], що складається з невідомої сталої <math>A</math> з [[Адитивний білий гаусів шум|адитивним білим гауссовим шумом]] (АБГШ) <math>w[n]</math> з нульовим [[Середнє значення|середнім значенням]] та відомою [[Дисперсія випадкової величини|дисперсією]] <math>\sigma^2</math> (тобто, <math>\mathcal{N}(0, \sigma^2)</math>).
Оскільки дисперсія є відомою, то єдиним невідомим параметром є <math>A</math>.

Тоді моделлю для сигналу є
: <math>x[n] = A + w[n] \quad n=0, 1, \dots, N-1</math>

Двома можливими (з багатьох) оцінювачами параметра <math>A</math> є:
* <math>\hat{A}_1 = x[0]</math>
* <math>\hat{A}_2 = \frac{1}{N} \sum_{n=0}^{N-1} x[n]</math> що є [[Вибіркове середнє|середнім значенням вибірки]]

Обидві ці оцінювачі мають [[середнє значення]] <math>A</math>, яке можливо показати, взявши [[математичне сподівання]] кожного з оцінювачів

: <math>\mathrm{E}\left[\hat{A}_1\right] = \mathrm{E}\left[ x[0] \right] = A</math>
та
: <math>
\mathrm{E}\left[ \hat{A}_2 \right]
=
\mathrm{E}\left[ \frac{1}{N} \sum_{n=0}^{N-1} x[n] \right]
=
\frac{1}{N} \left[ \sum_{n=0}^{N-1} \mathrm{E}\left[ x[n] \right] \right]
=
\frac{1}{N} \left[ N A \right]
=
A
</math>

На даний момент ці два оцінювачі, здається, виконують однакові дії. Однак різниця між ними стає очевидною при порівнянні дисперсій.

: <math>\mathrm{var} \left( \hat{A}_1 \right) = \mathrm{var} \left( x[0] \right) = \sigma^2</math>
та
: <math>
\mathrm{var} \left( \hat{A}_2 \right)
=
\mathrm{var} \left( \frac{1}{N} \sum_{n=0}^{N-1} x[n] \right)
\overset{\text{independence}}{=}
\frac{1}{N^2} \left[ \sum_{n=0}^{N-1} \mathrm{var} (x[n]) \right]
=
\frac{1}{N^2} \left[ N \sigma^2 \right]
=
\frac{\sigma^2}{N}
</math>

Видається, що середнє значення вибірки є кращим оцінювачем, оскільки його дисперсія нижча для кожного ''N''&nbsp;>&nbsp;1.

==== Максимальна ймовірність ====
{{main|Метод максимальної правдоподібності}}

Продовжуючи приклад, використовуючи оцінювач [[Метод максимальної правдоподібності|методу максимальної правдоподібності]], [[Густина ймовірності|густиною ймовірності]] (ФГІ) шуму для одного зразку <math>w[n]</math> є

: <math>p(w[n]) = \frac{1}{\sigma \sqrt{2 \pi}} \exp\left(- \frac{1}{2 \sigma^2} w[n]^2 \right)</math>

І ймовірність <math>x[n]</math> стає (<math>x[n]</math> можливо розглядати як <math>\mathcal{N}(A, \sigma^2)</math>)

: <math>p(x[n]; A) = \frac{1}{\sigma \sqrt{2 \pi}} \exp\left(- \frac{1}{2 \sigma^2} (x[n] - A)^2 \right)</math>

Згідно [[Незалежність (теорія ймовірностей)|незалежності]], ймовірність <math>\mathbf{x}</math> стає

: <math>
p(\mathbf{x}; A)
=
\prod_{n=0}^{N-1} p(x[n]; A)
=
\frac{1}{\left(\sigma \sqrt{2\pi}\right)^N}
\exp\left(- \frac{1}{2 \sigma^2} \sum_{n=0}^{N-1}(x[n] - A)^2 \right)
</math>

Беручи [[натуральний логарифм]] ФГІ

: <math>
\ln p(\mathbf{x}; A)
=
-N \ln \left(\sigma \sqrt{2\pi}\right)
- \frac{1}{2 \sigma^2} \sum_{n=0}^{N-1}(x[n] - A)^2
</math>

а оцінювач максимальної правдоподібності&nbsp;—

: <math>\hat{A} = \arg \max \ln p(\mathbf{x}; A)</math>

Беремо першу [[Похідна|похідну]] функції логарифмічної правдоподобності

: <math>
\frac{\partial}{\partial A} \ln p(\mathbf{x}; A)
=
\frac{1}{\sigma^2} \left[ \sum_{n=0}^{N-1}(x[n] - A) \right]
=
\frac{1}{\sigma^2} \left[ \sum_{n=0}^{N-1}x[n] - N A \right]
</math>

і встановлюємо її в нуль

: <math>
0
=
\frac{1}{\sigma^2} \left[ \sum_{n=0}^{N-1}x[n] - N A \right]
=
\sum_{n=0}^{N-1}x[n] - N A
</math>

Це дає оцінку максимальної ймовірності

: <math>
\hat{A} = \frac{1}{N} \sum_{n=0}^{N-1}x[n]
</math>

Що є просто середнім значенням вибірки.
З цього прикладу було встановлено, що середнє значення вибірки є оцінювачем максимальної правдоподібності для <math>N</math> зразків фіксованого, невідомого параметра, спотвореного АБГШ.

==== Нижня межа Крамера-Рао ====
{{details|Нерівність Крамера — Рао}}

Щоби знайти [[Нерівність Крамера — Рао|нижню межу Крамера&nbsp;— Рао]] (НМКР) оцінювача середнього значення вибірки, спочатку необхідно знайти значення [[Інформація за Фішером|інформації за Фішером]]

: <math>
\mathcal{I}(A)
=
\mathrm{E}
\left(
 \left[
  \frac{\partial}{\partial A} \ln p(\mathbf{x}; A)
 \right]^2
\right)
=
-\mathrm{E}
\left[
 \frac{\partial^2}{\partial A^2} \ln p(\mathbf{x}; A)
\right]
</math>

і, скопіювавши зверху,

: <math>
\frac{\partial}{\partial A} \ln p(\mathbf{x}; A)
=
\frac{1}{\sigma^2} \left[ \sum_{n=0}^{N-1}x[n] - N A \right]
</math>

Взяття другої похідної
: <math>
\frac{\partial^2}{\partial A^2} \ln p(\mathbf{x}; A)
=
\frac{1}{\sigma^2} (- N)
=
\frac{-N}{\sigma^2}
</math>

та пошук від'ємного математичного сподівання є тривіальними, оскільки тепер це є детермінованою сталою
<math>
-\mathrm{E}
\left[
 \frac{\partial^2}{\partial A^2} \ln p(\mathbf{x}; A)
\right]
=
\frac{N}{\sigma^2}
</math>

Нарешті, підставлення цієї інформації за Фішером до

: <math>
\mathrm{var}\left( \hat{A} \right)
\geq
\frac{1}{\mathcal{I}}
</math>

дає в результаті

: <math>
\mathrm{var}\left( \hat{A} \right)
\geq
\frac{\sigma^2}{N}
</math>

Порівняння цього з дисперсією вибіркового середнього (визначеною раніше) показує, що вибіркове середнє ''дорівнює'' нижній межі Крамера&nbsp;— Рао для всіх значень <math>N</math> та <math>A</math>.
Іншими словами, вибіркове середнє є (обов'язково унікальним) [[Ефективний оцінювач|ефективним оцінювачем]], а отже, також {{нп|Мінімально-дисперсійний незміщений оцінювач|мінімально-дисперсійним незміщеним оцінювачем||Minimum-variance unbiased estimator}} (МДНО), крім того, що є оцінювачем [[Метод максимальної правдоподібності|максимальної ймовірності]].

=== Максимум рівномірного розподілу ===
{{main|{{нп|Задача про німецькі танки|||German tank problem}}}}

Одним з найпростіших нетривіальних прикладів оцінки є оцінка максимуму рівномірного розподілу. Його використовують як практичну вправу в класних заняттях, та для ілюстрування основних принципів теорії оцінювання. Далі, у випадку оцінки на основі одного зразку, вона демонструє філософські проблеми та можливі непорозуміння при використанні оцінювачів [[Метод максимальної правдоподібності|максимальної ймовірності]] та [[Функція правдоподібності|функцій правдоподібності]].

Для заданого [[Дискретний рівномірний розподіл|дискретного рівномірного розподілу]] <math>1,2,\dots,N</math> з невідомим максимумом оцінювач {{нп|МДНО|||UMVU}} для максимуму задають як
: <math>\frac{k+1}{k} m - 1 = m + \frac{m}{k} - 1</math>
де ''m''&nbsp;— {{нп|максимум вибірки|||Sample maximum}}, а ''k''&nbsp;— [[Визначення розмірів вибірки|обсяг вибірки]], вибирання без повертання.<ref name="Johnson">{{citation
|last=Джонсон
|first=Роджер
|title=Оцінка чисельності населення
|year=1994
|journal=Статистика викладання
|volume=16
|issue=2 (літо)
|doi=10.1111/j.1467-9639.1994.tb00688.x
|pages=50–52
}}</ref><ref name="Johnson2">{{citation
 |last=Джонсон 
 |first=Роджер 
 |contribution= Оцінка чисельності населення
 |title=Отримання Найкращого із Статистики Викладання 
 |year=2006 
 |url=http://www.rsscse.org.uk/ts/gtb/contents.html 
 |contribution-url=http://www.rsscse.org.uk/ts/gtb/johnson.pdf 
 |url-status=dead 
 |archive-url=https://web.archive.org/web/20081120085633/http://www.rsscse.org.uk/ts/gtb/contents.html 
 |archive-date=Листопад 20, 2008 
}}</ref> Ця задача є широко відомою як {{нп|задача про німецькі танки|||German tank problem}}, завдяки застосуванню максимального оцінювання до оцінювання виробництва німецьких танків під час [[Друга світова війна|Другої світової війни]].

Формулу можливо інтуїтивно розуміти як

: «Максимум вибірки плюс середній розрив між спостереженнями у вибірці»,

розрив додається для компенсації негативного зміщення максимуму вибірки як оцінки максимуму сукупності.{{efn|Максимум вибірки ніколи не перевищує максимум сукупності, але може бути і меншим, отже, це [[зміщений оцінювач]]: він буде схильним ''недооцінювати'' максимум сукупності.}}

Це має дисперсію<ref name="Johnson" />
: <math>\frac{1}{k}\frac{(N-k)(N+1)}{(k+2)} \approx \frac{N^2}{k^2} \text{ for small samples } k \ll N</math>
а отже, стандартне відхилення приблизно <math>N/k</math>, середній (за сукупністю) розмір розриву між зразками; порівняйте з <math>\frac{m}{k}</math> вище. Це можливо розглядати як дуже простий випадок {{нп|Максимально-інтервальна оцінка|максимально-інтервальної оцінки||Maximum spacing estimation}}.

Вибірковий максимум є [[Метод максимальної правдоподібності|максимально-правдоподібнісним оцінювачем]] для максимуму сукупності, але, як обговорювалося вище, він є зміщеним.

== Застосування ==

Використання теорії оцінювання вимагають численні галузі. До них, зокрема, належать:

* Інтерпретування наукових [[експеримент]]ів
* [[Обробка сигналів]]
* [[Клінічні випробування]]
* [[Опитування|Опитування громадської думки]]
* [[Контроль якості]]
* [[Телекомунікації]]
* [[Управління проєктами]]
* [[Розробка програмного забезпечення]]
* [[Теорія керування]] (зокрема, [[адаптивне керування]])
* [[Система виявляння вторгнень до мереж]]
* {{нп|Визначання орбіт|||Orbit determination}}

Вимірювані дані можуть бути схильні до [[Завади|шуму]] або невизначеності, і саме через статистичну [[ймовірність]] шукають [[Оптимізація (математика)|оптимальні]] рішення для витягування якнайбільше [[Інформація за Фішером|інформації]] з даних.

== Див. також ==
{{Main category|Теорія оцінювання}}
{{colbegin}}
* [[Найкращий лінійний незміщений оцінювач]] (НЛНО)
* {{нп|Центр Чебишева|||Chebyshev center}}
* {{нп|Повнота (статистика)|||Completeness (statistics)}}
* [[Нерівність Крамера — Рао]]
* [[Виявляння сигналу]]
* {{нп|Ефективність (статистика)|||Efficiency (statistics)}}
* [[Статистична оцінка]], [[Незміщена оцінка]]
* [[Алгоритм очікування-максимізації]] (''ЕМ''-алгоритм)
* {{нп|Задача Фермі|||Fermi problem}}
* [[Модель Сірий ящик]]
* [[Теорія інформації]]
* [[Фільтр Калмана]]
* {{нп|Метод найменших квадратів спектрального аналізу|||Least-squares spectral analysis}}
* [[Методи Монте-Карло марковських ланцюгів]] (МКМЛ)
* {{нп|Узгоджений фільтр|||Matched filter}}
* [[Оцінка апостеріорного максимуму]] (ОАМ)
* [[Метод максимальної правдоподібності]]
* {{нп|Максимально-ентропійне спектральне оцінювання|||Maximum entropy spectral estimation}}
* [[Метод моментів]], {{нп|узагальнений метод моментів|||Generalized method of moments}}
* {{нп|Мінімальна середньоквадратична похибка|||Minimum mean square error}} (МСКП)
* {{нп|Мінімально-дисперсійна незміщена оцінка|||Minimum-variance unbiased estimator}} (МДНО)
* {{нп|Ідентифікування нелінійних систем|||Nonlinear system identification}}
* {{нп|Завадний параметр|||Nuisance parameter}}
* [[Параметричне рівняння]]
* [[Принцип Парето]]
* {{нп|Частинковий фільтр|||Particle filter}}
* [[Теорема Рао — Блеквела]]
* [[Правило трійки (статистика)]]
* [[Спектральна густина]], {{нп|оцінка спектральної густини|||Spectral density estimation}}
* [[Обробка сигналів|Статистична обробка сигналів]]
* [[Достатня статистика]]
* {{нп|Фільтр Вінера|||Wiener filter}}
{{colend}}

== Примітки ==

=== Коментарі ===
{{notelist}}

=== Джерела ===
{{Reflist}}

== Література ==

* ''Теорія оцінки точок'' Е.&nbsp;Л.&nbsp;Леманн та Г. Казелла. ({{ISBN|0387985026}})
* ''Інженерія системних витрат'' Дейла Шермона. ({{ISBN|978-0-566-08861-2}})
* ''Математична статистика та аналіз даних'' Джон Райс. ({{ISBN|0-534-209343}})
* ''Основи статистичної обробки сигналів: теорія оцінки'' Стівена М. Кей ({{ISBN|0-13-345711-7}})
* ''Вступ до виявлення та оцінки сигналу'' Х. Вінсент Поор ({{ISBN|0-387-94173-8}})
* ''Теорія виявлення, оцінки та модуляції, Частина 1'' Гаррі Л. Ван Тресс ({{ISBN|0-471-09517-6}}; [https://web.archive.org/web/20050428233957/http://gunston.gmu.edu/demt/demtp1/ website])
* ''Оптимальна оцінка стану: Калман, Н-нескінченість та нелінійні підходи'' Ден Сімон [http://academic.csuohio.edu/simond/estimation/ website] {{Webarchive|url=https://web.archive.org/web/20101230101133/http://academic.csuohio.edu/simond/estimation/ |date=30 грудня 2010 }}
* {{нп|Алі Сеїд|||Ali H. Sayed}}, Адаптивні фільтри, Уайлі, Нью-Джерсі, 2008, {{ISBN|978-0-470-25388-5}}.
* {{нп|Алі Сеїд|||Ali H. Sayed}}, Основи адаптивного фільтрування, Уайлі, Нью-Джерсі, 2003, {{ISBN|0-471-46126-1}}.
* {{нп|Томас Кайлат|||Thomas Kailath}}, {{нп|Алі Сеїд|||Ali H. Sayed}}, та {{нп|Бабак Хассібі|||Babak Hassibi}}, Лінійна оцінка, Прентис-Холл, Нью-Джерсі, 2000, {{ISBN|978-0-13-022464-4}}.
* {{нп|Бабак Хассібі|||Babak Hassibi}}, {{нп|Алі Сеїд|||Ali H. Sayed}}, та {{нп|Томас Кайлат|||Thomas Kailath}}, Невизначена квадратична оцінка та контроль: уніфікований підхід до H<sup>2</sup> та H<sup><math>\infty</math></sup> теорій, Товариство промислової та прикладної математики (ТППМ), Пенсильванія, 1999, {{ISBN|978-0-89871-411-1}}.
* В.&nbsp;Г.&nbsp;Войнов, М.&nbsp;С.&nbsp;Нікулін, «Безсторонні оцінювачі та їх застосування. Т.1: Одновимірний випадок», Kluwer Academic Publishers, 1993, {{ISBN|0-7923-2382-3}}.
* В.&nbsp;Г.&nbsp;Войнов, М.&nbsp;С.&nbsp;Нікулін, « Безсторонні оцінювачі та їх застосування. Т.2: Багатовимірний випадок», Kluwer Academic Publishers, 1996, {{ISBN|0-7923-3939-8}}.

{{refend}}

== Посилання ==
* {{Commonscatinline}}

[[Категорія:Теорія оцінювання]]
[[Категорія:Обробка сигналів]]
[[Категорія:Математичні та кількісні методи]]