Умовне математичне сподівання

Умовне математичне сподівання в теорії ймовірностей — середнє значення випадкової величини відносно умовного розподілу.

Визначення

Вважатимемо, що задано ймовірнісний простір $(\mathrm{\Omega },ℱ,\mathbb{P})$. Нехай $X:\mathrm{\Omega }\to ℝ$ — інтегровна випадкова величина, тобто $𝔼|X|<\mathrm{\infty }$. Нехай також $𝒢\subset ℱ$ — під-σ-алгебра σ-алгебри $ℱ$.

УМС відносно σ-алгебри

Випадкова величина $\hat{X}$ називається умовним математичним сподіванням $X$ відносно σ-алгебри $𝒢$, якщо

• $\hat{X}$ вимірна відносно $𝒢$.
• $\mathrm{\forall }A\in 𝒢,𝔼\left[\hat{X}{\mathrm{𝟏}}_a\right]=𝔼[X{\mathrm{𝟏}}_a]$,

де ${\mathrm{𝟏}}_a$ — індикатор події $A$. Умовне математичне сподівання позначається $𝔼[X\mid 𝒢]$.

Приклад. Нехай $\mathrm{\Omega }=\{1,2,3,4\},ℱ=2^{\mathrm{\Omega }},\mathbb{P}(\omega )=1/4,\omega =1,\dots ,4.$ Покладемо $𝒢=\{\varnothing \{1,2\},\{3,4\},\mathrm{\Omega }\}$. Тоді $𝒢$ - σ-алгебра, і $𝒢\subset ℱ$. Нехай випадкова величина $X$ має вигляд

$X(\omega )={\omega }^2,\omega =1,\dots ,4$.

Тоді

$𝔼[X\mid 𝒢](\omega )=\{\begin{array}{cc}\frac{5}{2},& \omega =1,2\\ \frac{25}{2},& \omega =3,4.\end{array}$

УМС щодо сімейства подій

Нехай $𝒞=\{C_{\alpha }\}\subset ℱ$ — довільне сімейство подій. Тоді умовним математичним сподіванням $X$ відносно $𝒞$ називається

$𝔼[X\mid 𝒞]\equiv 𝔼[X\mid \sigma (𝒞)]$,

де $\sigma (𝒞)$ — мінімальна сигма-алгебра, що містить $𝒞$.

Приклад. Нехай $\mathrm{\Omega }=\{1,2,3,4\},ℱ=2^{\mathrm{\Omega }},\mathbb{P}(\omega )=1/4,\omega =1,\dots ,4.$ Нехай також $C=\{1,2,3\}$. Тоді $\sigma (C)=\{\varnothing \{1,2,3\},\{4\},\omega \}\subset ℱ$. Не випадкова величина $X$ має вигляд

$X(\omega )={\omega }^2,\omega =1,\dots ,4$.

Тоді

$𝔼[X\mid 𝒢](\omega )=\{\begin{array}{cc}\frac{14}{3},& \omega =1,2,3\\ 16& \omega =4.\end{array}$

УМС щодо випадкової величини

Нехай $Y:\mathrm{\Omega }\to ℝ$ інша випадкова величина. Тоді умовним математичним сподіванням $X$ відносно $Y$ називається

$𝔼[X\mid Y]\equiv 𝔼[X\mid \sigma (Y)]$,

де $\sigma (Y)$ — σ-алгебра, породжена випадковою величиною $Y$.

Інше визначення УМС $X$ відносно $Y$:

$𝔼(X\mid Y)=𝔼(X\mid Y=y)\mid y=Y$

Таке визначення конструктивно описує алгоритм знаходження УМС:

• знайти математичне сподівання випадкової величини $X$, приймаючи $Y$ за константу $y$;
• Потім в отриманому виразі $y$ назад замінити на випадкову величину $Y$.

Приклад: $X\equiv N(a,{\sigma }^2)$

$𝔼[\frac{X}{Y}\mid Y]=𝔼\left[\frac{X}{y}\right]{\mid }_{y=Y}=\frac{1}{y}𝔼[X]{\mid }_{y=Y}=\frac{a}{y}{\mid }_{y=Y}=\frac{a}{Y}$

Умовна ймовірність

Нехай $B\in ℱ$ — довільна подія, і ${\mathrm{𝟏}}_b$ — його індикатор. Тоді умовною ймовірністю $B$ відносно $𝒢$ називається

$\mathbb{P}(B\mid 𝒢)\equiv 𝔼[{\mathrm{𝟏}}_b\mid 𝒢]$.

Зауваження

• Умовне математичне сподівання — це випадкова величина, а не число!
• Умовне математичне сподівання визначене з точністю до подій ймовірності нуль. Таким чином, якщо ${\hat{X}}_1=𝔼[X\mid 𝒢]$ і ${\hat{X}}_1={\hat{X}}_2$ $\mathbb{P}$-майже усюди, то ${\hat{X}}_2=𝔼[X\mid 𝒢]$. Ототожнивши випадкові величини, що розрізняються лише на подіях ймовірності нуль, отримуємо єдиність умовного математичного сподівання.
• Узявши $A=\mathrm{\Omega }$, отримуємо за визначенням:

$𝔼[X]=𝔼[𝔼[X\mid 𝒢]]$,

і зокрема справедлива формула повної ймовірності:

$\mathbb{P}(B)=𝔼[\mathbb{P}(B\mid 𝒢)]$.

• Нехай σ-алгебра $𝒢=\sigma (C_1,\dots ,C_n)$ породжена розбиттям $\{C_i{\}}_{i=1}^{\mathrm{\infty }}$. Тоді

$𝔼[X\mid 𝒢]=\sum _{i=1}^{\mathrm{\infty }}𝔼[X\mid C_i]{\mathrm{𝟏}}_{C_i}$.

Зокрема формула повної ймовірності приймає класичний вигляд:

$\mathbb{P}(A\mid 𝒢)=\sum _{i=1}^{\mathrm{\infty }}\mathbb{P}(A\mid C_i){\mathrm{𝟏}}_{C_i}$,

а відповідно

$\mathbb{P}(A)=\sum _{i=1}^{\mathrm{\infty }}\mathbb{P}(A\mid C_i)\mathbb{P}(C_i)$.

Основні властивості

• Якщо $\hat{X}=𝔼[X\mid Y]$, то існує Борелева функція $h:ℝ\to ℝ$, така що

$\hat{X}=h(Y)$.

Умовне математичне сподівання $X$ щодо події $\{Y=y\}$ за визначенням рівне

$𝔼[X\mid Y=y]\equiv h(y)$.

• Якщо $X\ge 0$ м.н., то $𝔼[X\mid 𝒢]\ge 0$ п.н.
• Якщо $X$ незалежна від $𝒢$, то

$𝔼[X\mid 𝒢]=𝔼[X]$ м.н.

Зокрема, якщо $X,Y$ незалежні випадкові величини, то

$𝔼[X\mid Y]=𝔼[X]$ м.н.

• Якщо ${𝒢}_1,{𝒢}_2$ — дві σ-алгебри, такі що ${𝒢}_1\subset {𝒢}_2\subset ℱ$, то

$𝔼[𝔼[X\mid {𝒢}_2]\mid {𝒢}_1]=𝔼[X\mid {𝒢}_1]$.

• Якщо $X$ - $𝒢$-вимірна, і $Y$ — випадкова величина, така що $Y,XY\in L^1$, то

$𝔼[XY\mid 𝒢]=X𝔼[Y\mid 𝒢]$.

• "Математичне сподівання прибирає умову". Це правило вірне для УМС відносно випадкової величини (УМС в такому разі буде випадковою величиною) і для умовної ймовірності відносно випадкової величини

$𝔼[𝔼(X\mid Y)]=𝔼(X)$.

Додаткові властивості

• Теорема Леві про монотонну збіжність;
• Теорема Лебега про мажоровану збіжність;
• Лема Фату;
• Нерівність Єнсена.

УМС для дискретних величин

Нехай $Y$ — дискретна випадкова величина, розподіл якої задається функцією ймовірності $\mathbb{P}(Y=y_j)\equiv p_y(y_j)=p_j>0,j=1,2,\dots$. Тоді система подій $\{Y=y_j\}$ є розбиттям $\mathrm{\Omega }$, і

$𝔼[X\mid Y]=\sum _{j=1}^{\mathrm{\infty }}𝔼[X\mid Y=y_j]{\mathrm{𝟏}}_{\{Y=y_j\}}$,

а

$𝔼[X\mid Y=y_j]={𝔼}_j[X]$,

де ${𝔼}_j$ означає математичне сподівання узяте щодо умовної ймовірності ${\mathbb{P}}_j(\cdot )=\mathbb{P}(\cdot \mid Y=y_j)$.

Якщо випадкова величина $X$ також дискретна, то

$𝔼[X\mid Y=y_j]=\sum _{i=1}^{\mathrm{\infty }}{x}_i\mathbb{P}(X=x_i\mid Y=y_j)=\sum _{i=1}^{\mathrm{\infty }}{x}_i{p}_{X\mid Y}(x_i\mid y_j)$,

де $p_{X\mid Y}$ — умовна функція ймовірності випадкової величини $X$ відносно $Y$.

УМС для абсолютно неперервних випадкових величин

Нехай $X,Y$ - випадкові величини, такі що вектор $(X,Y{)}^{\mathrm{\top }}$ абсолютно неперервний, і його розподіл задається густиною ймовірності $f_{X,Y}(x,y)$. Введемо умовну щільність $f_{X\mid Y}$, поклавши за визначенням

$f_{X\mid Y}(x\mid y)=\frac{f_{X,Y}(x,y)}{f_Y(y)}$,

де $f_Y$ - щільність імовірності випадкової величини $Y$. Тоді

$𝔼[X\mid Y]=h(Y)$,

де функція $h$ має вигляд

$h(y)=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}x{f}_{X\mid Y}(x\mid y)dx$.

Зокрема,

$𝔼[X\mid Y=y_j]=\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}x{f}_{X\mid Y}(x\mid y_j)dx$.

УМС у L²

Розглянемо Простір випадкових величин із скінченним другим моментом $L^2$. У ньому визначені скалярний добуток

$⟨X,Y⟩\equiv 𝔼[XY],\mathrm{\forall }X,y\in L^2$,

і породжена ним норма

$\Vert X\Vert =\sqrt{𝔼\left[X^2\right]},\mathrm{\forall }X\in L^2$.

Множина всіх випадкових величин $L_{𝒢}^2$ з скінченним другим моментом і вимірних відносно $𝒢$, де $𝒢\subset ℱ$, є підпростором $L^2$. Тоді оператор ${\mathrm{\Pi }}_{L_{𝒢}^2}:L^2\to L^2$, що задається рівністю

${\mathrm{\Pi }}_{L_{𝒢}^2}(X)=𝔼[X\mid 𝒢]$,

є оператором ортогонального проектування на $L_{𝒢}^2$. Зокрема:

• Умовне математичне сподівання $𝔼[X\mid 𝒢]$ — це найкраще середньо-квадратичне наближення $X$ $𝒢$-вимірними випадковими величинами:

$\Vert X-𝔼[X\mid 𝒢]\Vert =\inf {\mathrm{\backslash limits}}_{Z\in L_{𝒢}^2}\Vert X-Z\Vert$.

• Умовне математичне сподівання зберігає скалярний добуток:

$⟨X,Z⟩=⟨𝔼[X\mid 𝒢],Z⟩,\mathrm{\forall }Z\in L_{𝒢}^2$.

• Умовне математичне сподівання ідемпотентне:

${\mathrm{\Pi }}_{L_{𝒢}^2}^2={\mathrm{\Pi }}_{L_{𝒢}^2}$.

Див. також

• Умовний розподіл

Джерела

• Шаблон:Карташов.Імовірність процеси статистика
• Шаблон:Гнеденко.Курс теории вероятностей
• Шаблон:Гіхман.Скороход.Ядренко
• Capinski, Marek, Kopp, Peter E. Measure, Integral and Probability. Springer Verlag 2004 ISBN 9781852337810
• Williams D., Probability with Martingales, Cambridge University Press, 1991, ISBN 0-521-40605-6