Достатня статистика

Достатня статистика для параметра $\theta \in \mathrm{\Theta },$ що визначає деяке сімейство $F_{\theta }$ розподілів ймовірності — статистика $T=\mathrm{T}(X),$ така, що умовна імовірність вибірки $X=X_1,X_2,\dots ,X_n$ при даному значенні $\mathrm{T}(X)$ не залежить від параметра $\theta .$ Тобто виконується рівність:

$\mathbb{P}(X\in \overline{X}|\mathrm{T}(X)=t,\theta )=\mathbb{P}(X\in \overline{X}|\mathrm{T}(X)=t),$

Достатня статистика $\mathrm{T}(X),$ таким чином містить у собі всю інформацію про параметр $\theta ,$ що може бути одержана на основі вибірки X. Тому поняття достатньої статистики широко використовується в теорії оцінки параметрів.

Найпростішою достатньою статистикою є сама вибірка $\mathrm{T}(X)=X,$ проте справді важливими є випадки коли величина достатньої статистики значно менша від величини вибірки, зокрема коли достатня статистика виражається лише кількома числами.

Достатня статистика $S=\mathrm{S}(X)$ називається мінімальною достатньою, якщо для кожної достатньої статистики T існує невипадкова вимірна функція g, що $S(X)=g(T(X))$ майже напевно.

Теорема факторизації

Теорема факторизації дає спосіб практичного знаходження достатньої статистики для розподілу ймовірності. Вона дає достатні і необхідні умови достатності статистики і твердження теореми іноді використовується як означення.

Нехай $\mathrm{T}(X)$ — деяка статистика, а $f_{\theta }(x)$ — умовна функція щільності чи функція ймовірностей (залежно від виду розподілу) для вектора спостережень X. Тоді $\mathrm{T}(X)$ є достатньою статистикою для параметра $\theta \in \mathrm{\Theta },$ якщо і тільки якщо існують такі вимірні функції h і g, що можна записати:

$f_{\theta }(x)=h(x)g(\theta ,\mathrm{T}(x))$

Доведення

Нижче подано доведення для часткового випадку коли розподіл ймовірностей є дискретним. Тоді $f_{\theta }(x)=\mathbb{P}(X=x|\theta )$ — функція ймовірностей. Нехай дана функція має факторизацію, як у твердженні теореми і $\mathrm{T}(x)=t.$

Тоді маємо:

$\begin{array}{ccc}\mathbb{P}(X=x|\mathrm{T}(X)=t,\theta )& =\frac{\mathbb{P}(X=x|\theta )}{\mathbb{P}(\mathrm{T}(X)=t|\theta )}& =\frac{h(x)g(\theta ,\mathrm{T}(x))}{\sum _{x:\mathrm{T}(x)=t}h(x)g(\theta ,\mathrm{T}(x))}\\ & =\frac{h(x)g(\theta ,t)}{\sum _{x:\mathrm{T}(x)=t}h(x)g(\theta ,t)}& =\frac{h(x)}{\sum _{x:\mathrm{T}(x)=t}h(x)}.\end{array}$

Звідси бачимо, що умовна ймовірність вектора X при заданому значенні статистики $\mathrm{T}(X)$ не залежить від параметра і відповідно $\mathrm{T}(X)$ — достатня статистика.

Навпаки можемо записати:

$\mathbb{P}(X=x|\theta )=\mathbb{P}(X=x|\mathrm{T}(X)=t,\theta )\cdot \mathbb{P}(\mathrm{T}(X)=t|\theta ).$

З попереднього маємо, що перший множник правої сторони не залежить від параметра $\theta$ і його можна взяти за функцію h(x) з твердження теореми. Другий множник є функцією від $\theta$ і $\mathrm{T}(X),$ і його можна взяти за функцію $g(\theta ,\mathrm{T}(x)).$ Таким чином одержано необхідний розклад, що завершує доведення теореми.

Приклади

Розподіл Бернуллі

Нехай $X_1,X_2,\dots ,X_n$ — послідовність випадкових величин, що рівні 1 з імовірністю p і рівні 0 з імовірністю 1 - p (тобто мають розподіл Бернуллі). Тоді

$\mathbb{P}(x_1,\dots x_n|p)=p^{\sum x_i}(1-p{)}^{n-\sum x_i}=p^{\mathrm{T}(x)}(1-p{)}^{n-\mathrm{T}(x)}$

якщо взяти $\mathrm{T}(X)=X_1+\dots +X_n.$

Тоді дана статистика є достатньою згідно з теоремою факторизації, якщо позначити

$g(p,\mathrm{T}(x_1,\dots x_n))=p^{\mathrm{T}(x_1,\dots x_n)}(1-p{)}^{n-\mathrm{T}(x_1,\dots x_n)}$

$h(x_1,\dots x_n)=1$

Розподіл Пуассона

Нехай $X_1,X_2,\dots ,X_n$ — послідовність випадкових величин з розподілом Пуассона. Тоді

$\mathbb{P}(x_1,\dots x_n|\lambda )=\frac{e^{-\lambda }{\lambda }^{x_1}}{x_1!}\cdot \frac{e^{-\lambda }{\lambda }^{x_2}}{x_2!}\cdots \frac{e^{-\lambda }{\lambda }^{x_n}}{x_n!}=e^{-n\lambda }{\lambda }^{(x_1+x_2+\cdots +x_n)}\cdot \frac{1}{x_1!x_2!\cdots x_n!}=e^{-n\lambda }{\lambda }^{\mathrm{T}(x)}\cdot \frac{1}{x_1!x_2!\cdots x_n!}$

де $\mathrm{T}(X)=X_1+\dots +X_n.$

Дана статистика є достатньою згідно з теоремою факторизації, якщо позначити

$g(p,\mathrm{T}(x_1,\dots x_n))=e^{-n\lambda }{\lambda }^{\mathrm{T}(x)}$

$h(x_1,\dots x_n)=\frac{1}{x_1!x_2!\cdots x_n!}$

Рівномірний розподіл

Нехай $X_1,X_2,\dots ,X_n$ — послідовність рівномірно розподілених випадкових величин $X_1,X_2,\dots ,X_{n}U(a,b)$ . Для цього випадку

$\mathbb{P}(x_1,\dots x_n|\lambda )={(b-a)}^{-n}{\mathrm{𝟏}}_{\{a\le \underset{1\le i\le n}{\min }{X}_i\}}{\mathrm{𝟏}}_{\{\underset{1\le i\le n}{\max }{X}_i\le b\}}.$

Звідси випливає, що статистика $T(X)=(\underset{1\le i\le n}{\min }{X}_i,\underset{1\le i\le n}{\max }{X}_i)$ є достатньою.

Нормальний розподіл

Для випадкових величин $X_1,X_2,\dots ,X_n$ з нормальним розподілом $𝒩(\mu ,{\sigma }^2)$ достатньою статистикою буде $\mathrm{T}(X)=(\sum _{i=1}^n{X}_i,\sum _{i=1}^n{X}_i^2).$

Властивості

• Для достатньої статистики T та бієктивного відображення $\varphi$ статистика $\varphi (T)$ теж є достатньою.
• Якщо $\delta (X)$ — статистична оцінка деякого параметра $\theta ,$ $\mathrm{T}(X),$ — деяка достатня статистика і ${\delta }_1(X)=\text{E}[\delta (X)|T(X)]$ то ${\delta }_1(X)$ є кращою оцінкою параметра в сенсі середньоквадратичного відхилення, тобто виконується нерівність

$\text{E}[({\delta }_1(X)-\vartheta {)}^2]\le \text{E}[(\delta (X)-\vartheta {)}^2]$

причому рівність досягається лише коли $\delta$ є вимірною функцією від T. (Теорема Рао — Блеквела)

• З попереднього одержується, що оцінка може бути оптимальною в сенсі середньоквадратичного відхилення лише коли вона є вимірною функцією мінімальної достатньої статистики.
• Якщо статистика $T=\mathrm{T}(X),$ є достатньою і повною (тобто з того, що $E_{\theta }[g(T(X))]=0,\mathrm{\forall }\theta \in \mathrm{\Theta }$ випливає, що $P_{\theta }(g(T(X))=0)=1\mathrm{\forall }\theta \in \mathrm{\Theta }$), то довільна вимірна функція від неї є оптимальною оцінкою свого математичного сподівання.

Див. також

• Статистична оцінка
• Параметр
• Теорема Рао — Блеквела

Джерела

• Шаблон:Карташов.Імовірність процеси статистика
• Шаблон:Гіхман.Скороход.Ядренко
• Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapter 4. ISBN 0-387-98502-6.