Теорія оцінювання

Теорія оцінювання — це галузь статистики, яка вивчає способи оцінювання значень параметрів на основі емпіричних/виміряних даних, що мають випадкову складову. Ці параметри описують належне фізичне середовище таким чином, що їхні значення впливають на розподіл виміряних даних. Статистична оцінка дозволяє оцінити ці невідомі параметри на основі даних вимірювань.

Наприклад, необхідно оцінити частину сукупності виборців, які голосуватимуть за певного кандидата. Це співвідношення є шуканим параметром; оцінка ґрунтується на невеликій випадковій вибірці людей, що голосують.

Або, наприклад, задача радару полягає в тому, щоб оцінити віддаленість об'єктів (літаків, човнів тощо) шляхом аналізу часу двобічного проходження отриманих віддзеркалень переданих імпульсів. Оскільки відбиті імпульси неминуче включатимуться в електричний шум, їхні виміряні значення матимуть випадковий розподіл, тому цю тривалість проходження потрібно оцінювати.

У теорії статистичного оцінювання зазвичай розглядають два основні підходи:

• Ймовірнісний підхід ґрунтується на припущенні, що вимірювані дані є випадковими і мають деякий розподіл ймовірностей, що залежить від параметрів, які необхідно знайти
• Шаблон:Не перекладено ґрунтується на припущенні, що виміряний вектор даних належить до множини, що залежить від вектора параметрів.

Наприклад, в теорії електросигналів вимірювання, що містять інформацію про шукані параметри, часто пов'язані із зашумленим сигналом. Без наявності випадковості, або шуму, задача була би детермінованою, і оцінювання не було би потрібним.

Приклади

Наприклад, бажано оцінити частку населення виборців, яке проголосує за конкретного кандидата. Ця пропорція — шуканий параметр; оцінка базується на невеликій випадковій вибірці виборців. Як альтернативу бажано оцінити ймовірність голосування виборців за конкретного кандидата, виходячи з деяких демографічних особливостей, таких як вік.

Або, наприклад, у радіолокації метою є пошук діапазону об'єктів (літаки, катери тощо) шляхом аналізу двостороннього часу транзиту прийнятих відлунь переданих імпульсів. Оскільки відбиті імпульси неминуче вбудовуються в електричний шум, їх виміряні значення випадковим чином розподіляються так, що час проходження потрібно оцінити.

Іншим прикладом у теорії електричного зв'язку можуть бути вимірювання, що містять інформацію щодо цікавих параметрів, які часто пов'язано з шумним сигналом.

Основи

Щоб оцінювач могло бути втілено, для заданої моделі потрібно кілька статистичних «складових». Першим з них є статистична вибірка — набір точок даних, взятих із випадкового вектора (RV) розміру N. Покласти до вектору,

$𝐱=\left[\begin{array}{c}x[0]\\ x[1]\\ ⋮\\ x[N-1]\end{array}\right].$

По-друге, є M параметрів

$\mathit{\theta }=\left[\begin{array}{c}{\theta }_1\\ {\theta }_2\\ ⋮\\ {\theta }_M\end{array}\right],$

значення яких слід оцінити. По-третє, функція безперервної густини ймовірності (ФГІ) або її дискретний аналог, функція маси імовірності (ФМІ) основного розподілу, що породжує дані, повинно бути вказано залежно від значень параметрів:

$p(𝐱|\mathit{\theta }).$

Також можливо, щоби самі параметри мали розподіл імовірностей (наприклад, баєсову статистику). Потім необхідно визначити баєсову ймовірність

$\pi (\mathit{\theta }).$

Після формування моделі мета полягає в оцінці параметрів, причому оцінки зазвичай позначають через $\hat{\mathit{\theta }}$, де «капелюх» означає оцінку.

Одним із загальних оцінювачів є оцінювач Шаблон:Нп (МСКП), який використовує похибку між оцінюваними параметрами та фактичним значенням параметрів

$𝐞=\hat{\mathit{\theta }}-\mathit{\theta }$

як основу для оптимальності. Потім цей член похибки подносять до квадрату, а очікуване значення цього квадрату мінімізують для оцінювача МСКП.

Оцінювачі

До загальновживаних оцінювачі (методів оцінювання) та тем, пов'язані з ними, належать:

• Оцінювачі максимальної ймовірності
• Оцінки Байєса
• Метод оцінок моментів
• Зв'язаний Крамер — Рао
• Найменші квадрати
• Шаблон:Нп (МСКП), відома також як баєсова мінімально-квадратична похибка (БМКП)
• Оцінка апостеріорного максимуму (ОАМ)
• Шаблон:Нп (МДНО)
• Шаблон:Нп
• Найкращий лінійний незміщений оцінювач (НЛНО)
• Незміщені оцінювачі; див. Незміщена оцінка.
• Шаблон:Нп
• Методи Монте-Карло марковських ланцюгів (МКМЛ)
• Фільтр Калмана, та різні його похідні
• Шаблон:Нп

Приклади

Невідома константа адитивного білого гауссового шуму

Розгляньмо отриманий дискретний сигнал, $x[n]$, з $N$ незалежних зразків, що складається з невідомої сталої $A$ з адитивним білим гауссовим шумом (АБГШ) $w[n]$ з нульовим середнім значенням та відомою дисперсією ${\sigma }^2$ (тобто, $𝒩(0,{\sigma }^2)$). Оскільки дисперсія є відомою, то єдиним невідомим параметром є $A$.

Тоді моделлю для сигналу є

$x[n]=A+w[n]n=0,1,\dots ,N-1$

Двома можливими (з багатьох) оцінювачами параметра $A$ є:

• ${\hat{A}}_1=x[0]$
• ${\hat{A}}_2=\frac{1}{N}\sum _{n=0}^{N-1}x[n]$ що є середнім значенням вибірки

Обидві ці оцінювачі мають середнє значення $A$, яке можливо показати, взявши математичне сподівання кожного з оцінювачів

$\mathrm{E}\left[{\hat{A}}_1\right]=\mathrm{E}[x[0]]=A$

та

$\mathrm{E}\left[{\hat{A}}_2\right]=\mathrm{E}[\frac{1}{N}\sum _{n=0}^{N-1}x[n]]=\frac{1}{N}\left[\sum _{n=0}^{N-1}\mathrm{E}[x[n]]\right]=\frac{1}{N}\left[NA\right]=A$

На даний момент ці два оцінювачі, здається, виконують однакові дії. Однак різниця між ними стає очевидною при порівнянні дисперсій.

$\mathrm{v}\mathrm{a}\mathrm{r}\left({\hat{A}}_1\right)=\mathrm{v}\mathrm{a}\mathrm{r}(x[0])={\sigma }^2$

та

$\mathrm{v}\mathrm{a}\mathrm{r}\left({\hat{A}}_2\right)=\mathrm{v}\mathrm{a}\mathrm{r}(\frac{1}{N}\sum _{n=0}^{N-1}x[n])\stackrel{\text{independence}}{=}\frac{1}{N^2}[\sum _{n=0}^{N-1}\mathrm{v}\mathrm{a}\mathrm{r}(x[n])]=\frac{1}{N^2}\left[N{\sigma }^2\right]=\frac{{\sigma }^2}{N}$

Видається, що середнє значення вибірки є кращим оцінювачем, оскільки його дисперсія нижча для кожного N > 1.

Максимальна ймовірність

Продовжуючи приклад, використовуючи оцінювач методу максимальної правдоподібності, густиною ймовірності (ФГІ) шуму для одного зразку $w[n]$ є

$p(w[n])=\frac{1}{\sigma \sqrt{2\pi }}\exp (-\frac{1}{2{\sigma }^2}w[n{]}^2)$

І ймовірність $x[n]$ стає ($x[n]$ можливо розглядати як $𝒩(A,{\sigma }^2)$)

$p(x[n];A)=\frac{1}{\sigma \sqrt{2\pi }}\exp (-\frac{1}{2{\sigma }^2}(x[n]-A{)}^2)$

Згідно незалежності, ймовірність $𝐱$ стає

$p(𝐱;A)=\prod _{n=0}^{N-1}p(x[n];A)=\frac{1}{{\left(\sigma \sqrt{2\pi }\right)}^N}\exp (-\frac{1}{2{\sigma }^2}\sum _{n=0}^{N-1}(x[n]-A{)}^2)$

Беручи натуральний логарифм ФГІ

$\ln p(𝐱;A)=-N\ln \left(\sigma \sqrt{2\pi }\right)-\frac{1}{2{\sigma }^2}\sum _{n=0}^{N-1}(x[n]-A{)}^2$

а оцінювач максимальної правдоподібності —

$\hat{A}=\arg \max \ln p(𝐱;A)$

Беремо першу похідну функції логарифмічної правдоподобності

$\frac{\partial }{\partial A}\ln p(𝐱;A)=\frac{1}{{\sigma }^2}[\sum _{n=0}^{N-1}(x[n]-A)]=\frac{1}{{\sigma }^2}[\sum _{n=0}^{N-1}x[n]-NA]$

і встановлюємо її в нуль

$0=\frac{1}{{\sigma }^2}[\sum _{n=0}^{N-1}x[n]-NA]=\sum _{n=0}^{N-1}x[n]-NA$

Це дає оцінку максимальної ймовірності

$\hat{A}=\frac{1}{N}\sum _{n=0}^{N-1}x[n]$

Що є просто середнім значенням вибірки. З цього прикладу було встановлено, що середнє значення вибірки є оцінювачем максимальної правдоподібності для $N$ зразків фіксованого, невідомого параметра, спотвореного АБГШ.

Нижня межа Крамера-Рао

Щоби знайти нижню межу Крамера — Рао (НМКР) оцінювача середнього значення вибірки, спочатку необхідно знайти значення інформації за Фішером

$ℐ(A)=\mathrm{E}\left({[\frac{\partial }{\partial A}\ln p(𝐱;A)]}^2\right)=-\mathrm{E}[\frac{{\partial }^2}{\partial A^2}\ln p(𝐱;A)]$

і, скопіювавши зверху,

$\frac{\partial }{\partial A}\ln p(𝐱;A)=\frac{1}{{\sigma }^2}[\sum _{n=0}^{N-1}x[n]-NA]$

Взяття другої похідної

$\frac{{\partial }^2}{\partial A^2}\ln p(𝐱;A)=\frac{1}{{\sigma }^2}(-N)=\frac{-N}{{\sigma }^2}$

та пошук від'ємного математичного сподівання є тривіальними, оскільки тепер це є детермінованою сталою $-\mathrm{E}[\frac{{\partial }^2}{\partial A^2}\ln p(𝐱;A)]=\frac{N}{{\sigma }^2}$

Нарешті, підставлення цієї інформації за Фішером до

$\mathrm{v}\mathrm{a}\mathrm{r}\left(\hat{A}\right)\ge \frac{1}{ℐ}$

дає в результаті

$\mathrm{v}\mathrm{a}\mathrm{r}\left(\hat{A}\right)\ge \frac{{\sigma }^2}{N}$

Порівняння цього з дисперсією вибіркового середнього (визначеною раніше) показує, що вибіркове середнє дорівнює нижній межі Крамера — Рао для всіх значень $N$ та $A$. Іншими словами, вибіркове середнє є (обов'язково унікальним) ефективним оцінювачем, а отже, також Шаблон:Нп (МДНО), крім того, що є оцінювачем максимальної ймовірності.

Максимум рівномірного розподілу

Одним з найпростіших нетривіальних прикладів оцінки є оцінка максимуму рівномірного розподілу. Його використовують як практичну вправу в класних заняттях, та для ілюстрування основних принципів теорії оцінювання. Далі, у випадку оцінки на основі одного зразку, вона демонструє філософські проблеми та можливі непорозуміння при використанні оцінювачів максимальної ймовірності та функцій правдоподібності.

Для заданого дискретного рівномірного розподілу $1,2,\dots ,N$ з невідомим максимумом оцінювач Шаблон:Нп для максимуму задають як

$\frac{k+1}{k}m-1=m+\frac{m}{k}-1$

де m — Шаблон:Нп, а k — обсяг вибірки, вибирання без повертання. Ця задача є широко відомою як Шаблон:Нп, завдяки застосуванню максимального оцінювання до оцінювання виробництва німецьких танків під час Другої світової війни.

Формулу можливо інтуїтивно розуміти як

«Максимум вибірки плюс середній розрив між спостереженнями у вибірці»,

розрив додається для компенсації негативного зміщення максимуму вибірки як оцінки максимуму сукупності.Шаблон:Efn

Це має дисперсію

$\frac{1}{k}\frac{(N-k)(N+1)}{(k+2)}\approx \frac{N^2}{k^2}\text{ for small samples }k\ll N$

а отже, стандартне відхилення приблизно $N/k$, середній (за сукупністю) розмір розриву між зразками; порівняйте з $\frac{m}{k}$ вище. Це можливо розглядати як дуже простий випадок Шаблон:Нп.

Вибірковий максимум є максимально-правдоподібнісним оцінювачем для максимуму сукупності, але, як обговорювалося вище, він є зміщеним.

Застосування

Використання теорії оцінювання вимагають численні галузі. До них, зокрема, належать:

• Інтерпретування наукових експериментів
• Обробка сигналів
• Клінічні випробування
• Опитування громадської думки
• Контроль якості
• Телекомунікації
• Управління проєктами
• Розробка програмного забезпечення
• Теорія керування (зокрема, адаптивне керування)
• Система виявляння вторгнень до мереж
• Шаблон:Нп

Вимірювані дані можуть бути схильні до шуму або невизначеності, і саме через статистичну ймовірність шукають оптимальні рішення для витягування якнайбільше інформації з даних.

Див. також

• Найкращий лінійний незміщений оцінювач (НЛНО)
• Шаблон:Нп
• Шаблон:Нп
• Нерівність Крамера — Рао
• Виявляння сигналу
• Шаблон:Нп
• Статистична оцінка, Незміщена оцінка
• Алгоритм очікування-максимізації (ЕМ-алгоритм)
• Шаблон:Нп
• Модель Сірий ящик
• Теорія інформації
• Фільтр Калмана
• Шаблон:Нп
• Методи Монте-Карло марковських ланцюгів (МКМЛ)
• Шаблон:Нп
• Оцінка апостеріорного максимуму (ОАМ)
• Метод максимальної правдоподібності
• Шаблон:Нп
• Метод моментів, Шаблон:Нп
• Шаблон:Нп (МСКП)
• Шаблон:Нп (МДНО)
• Шаблон:Нп
• Шаблон:Нп
• Параметричне рівняння
• Принцип Парето
• Шаблон:Нп
• Теорема Рао — Блеквела
• Правило трійки (статистика)
• Спектральна густина, Шаблон:Нп
• Статистична обробка сигналів
• Достатня статистика
• Шаблон:Нп

Література

• Теорія оцінки точок Е. Л. Леманн та Г. Казелла. (Шаблон:ISBN)
• Інженерія системних витрат Дейла Шермона. (Шаблон:ISBN)
• Математична статистика та аналіз даних Джон Райс. (Шаблон:ISBN)
• Основи статистичної обробки сигналів: теорія оцінки Стівена М. Кей (Шаблон:ISBN)
• Вступ до виявлення та оцінки сигналу Х. Вінсент Поор (Шаблон:ISBN)
• Теорія виявлення, оцінки та модуляції, Частина 1 Гаррі Л. Ван Тресс (Шаблон:ISBN; website)
• Оптимальна оцінка стану: Калман, Н-нескінченість та нелінійні підходи Ден Сімон website Шаблон:Webarchive
• Шаблон:Нп, Адаптивні фільтри, Уайлі, Нью-Джерсі, 2008, Шаблон:ISBN.
• Шаблон:Нп, Основи адаптивного фільтрування, Уайлі, Нью-Джерсі, 2003, Шаблон:ISBN.
• Шаблон:Нп, Шаблон:Нп, та Шаблон:Нп, Лінійна оцінка, Прентис-Холл, Нью-Джерсі, 2000, Шаблон:ISBN.
• Шаблон:Нп, Шаблон:Нп, та Шаблон:Нп, Невизначена квадратична оцінка та контроль: уніфікований підхід до H² та H^{$\mathrm{\infty }$} теорій, Товариство промислової та прикладної математики (ТППМ), Пенсильванія, 1999, Шаблон:ISBN.
• В. Г. Войнов, М. С. Нікулін, «Безсторонні оцінювачі та їх застосування. Т.1: Одновимірний випадок», Kluwer Academic Publishers, 1993, Шаблон:ISBN.
• В. Г. Войнов, М. С. Нікулін, « Безсторонні оцінювачі та їх застосування. Т.2: Багатовимірний випадок», Kluwer Academic Publishers, 1996, Шаблон:ISBN.

Посилання

• Шаблон:Commonscatinline