Центральна гранична теорема

Центральна гранична теорема — теорема теорії ймовірностей про збіжність розподілу суми незалежних однаково розподілених випадкових величин до нормального розподілу. Ця теорема підкреслює особливість нормального розподілу в теорії ймовірностей.

Наприклад, отримано вибірку, яка містить велику кількість спостережень, кожне з яких було отримано випадковим чином і вони не залежать від інших спостережень, і на основі значень цих спостережень розраховують арифметичне середнє. Якщо цю процедуру повторити багато разів, центральна гранична теорема стверджує, що розраховані середні значення будуть мати нормальний розподіл. Простим прикладом цього є багаторазове підкидання монети при яких імовірність випадіння заданої кількості гербів у всій послідовності подій буде наближатися до нормальної кривої, із середнім, що знаходитиметься по середині від загальної кількості випадань монети на кожну сторону. (Граничне значення для нескінченної кількості підкидань буде дорівнювати нормальному розподілу.)

Центральна гранична теорема має декілька варіантів. У своїй загальній формі, випадкові величини повинні бути однаково розподілені. У деяких варіантах, збіжність середнього значення прямує до нормального розподілу також і у випадку не однаково розподілених величин, або не лише при незалежних спостереженнях, що буде здійснюватися за умови виконання певних умов.

У перших версіях цієї теореми, нормальний розподіл може використовуватися як апроксимація біноміального розподілу, що відомо як локальна теорема Муавра — Лапласа.

Центральна гранична теорема для незалежних послідовностей

Незалежно від форми розподілу сукупності, розподіл послідовної вибірки прямує до Гаусового розподілу, і його дисперсія визначається центральною граничною теоремою.

Класичне формулювання

Нехай $\{X_k\}$ — послідовність взаємно незалежних випадкових величин з однаковими розподілами, які мають скінченне математичне сподівання $\mu =E(X_k)$ та скінченну дисперсію ${\sigma }^2=D(X_k)$.

Нехай $S_n=X_1+\dots +X_n$. Тоді

$\sqrt{n}(\frac{S_n}{n}-\mu )\stackrel{n}{\to }N(0,{\sigma }^2).$

А для довільних фіксованих $\alpha ,\beta (\alpha <\beta )$ справедливо:

$P\{\alpha <\frac{S_n-n\mu }{\sigma n^{1/2}}<\beta \}\to \mathrm{\Phi }(\beta )-\mathrm{\Phi }(\alpha ).$

Де $\mathrm{\Phi }(x)$ — нормальна функція розподілу.

Формулювання Ляпунова

Теорема названа на честь російського математика Олександра Ляпунова. У цьому варіанті центральної граничної теореми випадкові величини $X_i$ мають бути незалежними, але не обов'язково однаково розподіленими. Теорема також вимагає щоб випадкові величини $|X_i|$ мали скінченні моменти деякого порядку Шаблон:Nowrap і швидкість зростання цих моментів має бути обмежена умовою Ляпунова.

ЦГТ Ляпунова: Нехай {X_i} — послідовність незалежних випадкових величин, таких, що кожна з них має скінченне математичне сподівання ${\mu }_i$ і дисперсію ${\sigma }_i^2$. Позначимо $s_n^2=\sum _{i=1}^n{\sigma }_i^2$. Якщо для деякого $\delta >0$ виконується умова Ляпунова

$\underset{n\to \mathrm{\infty }}{\lim }\frac{1}{s_n^{2+\delta }}\sum _{i=1}^n\mathrm{E}[|X_i-{\mu }_i{|}^{2+\delta }]=0$

Тоді сума $Z_n=\frac{X_i-{\mu }_i}{s_n}$ прямує за розподілом до стандартного нормального розподілу, при $n\to \mathrm{\infty }$

$\frac{1}{s_n}\sum _{i=1}^n(X_i-{\mu }_i)\stackrel{d}{\to }𝒩(0,1).$

На практиці зазвичай найлегше перевірити умову Ляпунова для $\delta =1$. Якщо послідовність випадкових величин задовольняє умову Ляпунова, то вона задовольняє також умову Лінденберга. Зворотне твердження не правильне.

Формулювання Ліндеберга

Шаблон:Main Використовуючи ті позначення що й у попередньому параграфі, замінюючи умову Ляпунова на слабшу (запропоновану фінським математиком Ліндебергом у 1920 році) можна отримати нове формулювання центральної граничної теореми.

Якщо для кожного $\epsilon >0$ виконується

$\underset{n\to \mathrm{\infty }}{\lim }\frac{1}{s_n^2}\sum _{i=1}^n\mathrm{E}[(X_i-{\mu }_i{)}^2\cdot {\mathrm{𝟏}}_{\{|X_i-{\mu }_i|>\epsilon s_n\}}]=0$

де $1_{\{\dots \}}$ — характеристична функція. Тоді розподіл стандартизованої суми Z_n прямує до стандартного нормального розподілу N(0,1).

Багатовимірна ЦГТ

Доведемо, що характеристичні функції можна розширити до випадку, коли кожна окрема величина Шаблон:Math є випадковим вектором у Шаблон:Math, із вектором середніх значень Шаблон:Math і матрицею коваріацій Шаблон:Math (між компонентами вектора), і ці випадкові вектори є незалежними і однаково розподіленими. Сумування цих векторів виконується поелементно. Багатовимірна центральна гранична теорема стверджує, що при масштабуванні, суми збігаються до багатовимірного нормального розподілу.

Припустимо, що

${𝐗}_i=\left[\begin{array}{c}{X}_{i(1)}\\ ⋮\\ X_{i(k)}\end{array}\right]$

це Шаблон:Mvar-вимірний вектор. Виділення жирним шрифтом для Шаблон:Math означає, що це випадковий вектор, а не випадкова (одновимірна) величина. Тоді сума випадкових векторів дорівнюватиме

$\left[\begin{array}{c}{X}_{1(1)}\\ ⋮\\ X_{1(k)}\end{array}\right]+\left[\begin{array}{c}{X}_{2(1)}\\ ⋮\\ X_{2(k)}\end{array}\right]+\cdots +\left[\begin{array}{c}{X}_{n(1)}\\ ⋮\\ X_{n(k)}\end{array}\right]=\left[\begin{array}{c}\sum _{i=1}^n\left[X_{i(1)}\right]\\ ⋮\\ \sum _{i=1}^n\left[X_{i(k)}\right]\end{array}\right]=\sum _{i=1}^n{𝐗}_i$

а середнє дорівнюватиме

$\frac{1}{n}\sum _{i=1}^n{𝐗}_i=\frac{1}{n}\left[\begin{array}{c}\sum _{i=1}^n{X}_{i(1)}\\ ⋮\\ \sum _{i=1}^n{X}_{i(k)}\end{array}\right]=\left[\begin{array}{c}{\overline{X}}_{i(1)}\\ ⋮\\ {\overline{X}}_{i(k)}\end{array}\right]={\overline{𝐗}}_{𝐧}$

і таким чином

$\frac{1}{\sqrt{n}}\sum _{i=1}^n[{𝐗}_i-\mathrm{E}\left(X_i\right)]=\frac{1}{\sqrt{n}}\sum _{i=1}^n({𝐗}_i-\mathit{\mu })=\sqrt{n}({\overline{𝐗}}_n-\mathit{\mu }).$

Багатовимірна центральна гранична теорема стверджує, що

$\sqrt{n}({\overline{𝐗}}_n-\mathit{\mu })\stackrel{D}{\to }{N}_k(0,\mathrm{\Sigma })$

де коваріаційна матриця Шаблон:Math дорівнює

$\mathrm{\Sigma }=\left[\begin{array}{ccccc}\mathrm{Var}\left(X_{1(1)}\right)& \mathrm{Cov}(X_{1(1)},X_{1(2)})& \mathrm{Cov}(X_{1(1)},X_{1(3)})& \cdots & \mathrm{Cov}(X_{1(1)},X_{1(k)})\\ \mathrm{Cov}(X_{1(2)},X_{1(1)})& \mathrm{Var}\left(X_{1(2)}\right)& \mathrm{Cov}(X_{1(2)},X_{1(3)})& \cdots & \mathrm{Cov}(X_{1(2)},X_{1(k)})\\ \mathrm{Cov}(X_{1(3)},X_{1(1)})& \mathrm{Cov}(X_{1(3)},X_{1(2)})& \mathrm{Var}\left(X_{1(3)}\right)& \cdots & \mathrm{Cov}(X_{1(3)},X_{1(k)})\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ \mathrm{Cov}(X_{1(k)},X_{1(1)})& \mathrm{Cov}(X_{1(k)},X_{1(2)})& \mathrm{Cov}(X_{1(k)},X_{1(3)})& \cdots & \mathrm{Var}\left(X_{1(k)}\right)\end{array}\right].$

А швидкість збіжності задається наступним результатом Шаблон:Нп:

Теорема. Нехай

$X_1,\dots ,X_n$

незалежні випадкові вектори із області значень

$R^d$

, кожний з яких має нульове середнє. Запишемо

$S=\sum _{i=1}^n{X}_i$

і припустимо

$\mathrm{\Sigma }=\mathrm{Cov}[S]$

є зворотньою. Нехай

$Z\sim N(0,\mathrm{\Sigma })$

буде

$d$

-вимірним Гаусовим розподілом із тим самим середнім і коваріаційною матрицею як у

$S$

. Тоді для всіх опуклих множин

$U\subseteq R^d$

,

$|\mathrm{Pr}[S\in U]-\mathrm{Pr}[Z\in U]|\le C{d}^{1/4}\gamma ,$

де $C$ це універсальна стала, $\gamma =\sum _{i=1}^n\mathrm{E}[\Vert {\mathrm{\Sigma }}^{-1/2}{X}_i{\Vert }_2^3]$, і $\Vert \cdot {\Vert }_2$ позначає Евклідову норму для $R^d$.

Не відомо чи множник $d^{1/4}$ є необхідним.

Узагальнена теорема

Центральна гранична теорема стверджує, що сума деякої кількості незалежних і однаково розподілених випадкових величин із скінченною дисперсією буде прямувати до нормального розподілу із збільшенням кількості цих величин. Узагальнена її версія, яку запропонували Гнєденко і Колмогоров стверджує, що сума деякої кількості випадкових величин із розподілами, що мають хвіст, який відповідає степеневому закону (Хвіст розподілу Парето), зменшується як |x|Шаблон:Math де Шаблон:Math (і таким чином має нескінченну дисперсію) буде прямувати до стійкого розподілу Шаблон:Math із тим як кількість елементів суми збільшується. Якщо Шаблон:Math, тоді сума збігається до стійкого розподілу із параметром стабільності який дорівнює 2, тобто Гауссового розподілу.

Доведення класичної ЦГТ

Центральна гранична теорема має просте доведення за допомогою характеристичних функцій. Воно подібне до доведення (слабкого) закону великих чисел.

Припустимо Шаблон:Math} є незалежними і однаково розподіленими випадковими величинами, кожна з яких має середнє Шаблон:Mvar і скінченну дисперсію Шаблон:Math. Сума Шаблон:Math має середнє Шаблон:Mvar і дисперсію Шаблон:Math. Розглянемо випадкову величину

$Z_n=\frac{X_1+\cdots +X_n-n\mu }{\sqrt{n{\sigma }^2}}=\sum _{i=1}^n\frac{X_i-\mu }{\sqrt{n{\sigma }^2}}=\sum _{i=1}^n\frac{1}{\sqrt{n}}{Y}_i,$

де в останньому кроці ми визначили нові випадкові величини Шаблон:Math, кожна з яких має нульове середнє і одиничну дисперсію (Шаблон:Math). Характеристична функція для Шаблон:Mvar має вигляд

${\phi }_{Z_n}(t)={\phi }_{\sum _{i=1}^n\frac{1}{\sqrt{n}}{Y}_i}(t)={\phi }_{Y_1}\left(\frac{t}{\sqrt{n}}\right){\phi }_{Y_2}\left(\frac{t}{\sqrt{n}}\right)\cdots {\phi }_{Y_n}\left(\frac{t}{\sqrt{n}}\right)={\left[{\phi }_{Y_1}\left(\frac{t}{\sqrt{n}}\right)\right]}^n,$

Де в останньому кроці ми застосували факт, що всі Шаблон:Mvar однаково розподілені. Відповідно до теореми Тейлора характеристична функція для Шаблон:Math матиме вигляд,

${\phi }_{Y_1}\left(\frac{t}{\sqrt{n}}\right)=1-\frac{t^2}{2n}+o\left(\frac{t^2}{n}\right),\left(\frac{t}{\sqrt{n}}\right)\to 0$

де Шаблон:Math є "[[Нотація_Ландау|нотацією маленького Шаблон:Mvar]]" для деякої функції від Шаблон:Mvar, яка прямує до нуля набагато швидше ніж Шаблон:Math. Відповідно до границі показникової функції (Шаблон:Math), характеристична функція для Шаблон:Mvar дорівнює

${\phi }_{Z_n}(t)={(1-\frac{t^2}{2n}+o\left(\frac{t^2}{n}\right))}^n\to e^{-\frac{1}{2}{t}^2},n\to \mathrm{\infty }.$

Зауважимо, що всі терми старшого порядку в даному виразі зникають при границі де Шаблон:Math. Права сторона виразу дорівнює характеристичній функції стандартного нормального розподілу Шаблон:Math, із чого разом із Шаблон:Нп випливає, що розподіл Шаблон:Mvar буде наближатися до Шаблон:Math з тим як Шаблон:Math. Таким чином, сума Шаблон:Math буде наближатися до нормального розподілу Шаблон:Math, і значення вибіркового середнього

$S_n=\frac{X_1+\cdots +X_n}{n}$

збігається до нормального розподілу Шаблон:Math, з чого випливає центральна гранична теорема.

Застосування і приклади

Простий приклад

Малюнок ілюструє центральну граничну теорему. Вибіркові середні генеруються за допомогою генератора випадкових чисел, який видає числа у діапазоні значень від 0 до 100, що мають рівномірний розподіл імовірностей. Він показує, що при збільшенні розмірів вибірки результатів до 500 виміряних вибіркових середніх отримане середнє значення стає ближчим до середнього значення сукупності (50 в даному випадку). На малюнку також порівнюються розподіли що спостерігаються із розподілами, які були б очікувані для нормалізованого розподілу Гаусса, і показує значення критерію Хі-квадрат, які дають якісну оцінку збігу (збіг буде добрим якщо значення Хі-квадрат є меншим або близьким до одиниці). Входом до нормалізованої функції Гаусса є середнє значення вибіркових середніх (~50) і стандартне відхилення вибіркового середнього розділене на квадратний корінь від розміру вибірки (~28.87/Шаблон:Math), що називається стандартним відхиленням середнього (оскільки воно означає розмах значень вибіркового середнього).

Простим прикладом центральної граничною теореми є підкидання великої кількості ідентичних гральних кісток. Розподіл суми (або середнього) від тих чисел що випадуть буде добре апроксимуватися за допомогою нормального розподілу. Оскільки величини реального світу часто є збалансованою сумою багатьох неспостережувальних випадкових подій, центральна гранична теорема також частково пояснює те, що нормальний розподіл зустрічається досить часто. Вона також виправдовує застосування апроксимації для великих статистичних вибірок до нормального розподілу у контрольованих експериментах.

Порівняння функцій густини імовірностей, Шаблон:Math для суми із Шаблон:Mvar справжніх 6-граних гральних кісток, що показує їх наближення до нормального розподілу при збільшенні Шаблон:Mvar, що відповідає центральній граничній теоремі. У нижньому-правому графіку, згладжені профілі попередніх графіків масштабовано, накладено поверх і порівняно із нормальним розподілом (чорна крива).

Інша симуляція із використанням біноміального розподілу. Було згенеровано випадкові 0-і та 1-і, а потім їх середнє розраховано для різних розмірів вибірки від 1 до 512. Можна помітити, як із збільшенням розміру вибірки хвости стають тоншими, а розподілення значень все більше концентруються довкола середнього.

Типові застосування з реального життя

У літературі можна знайти велику кількість корисних і цікавих прикладів застосувань, пов'язаних із центральною граничною теоремою. Одним із таких прикладів є наступні ситуації:

• Розподіл імовірності загальної пройденої відстані у випадковому блуканні (зміщеної або незміщеної) буде прямувати до нормального розподілу.
• Підкидання великої кількості монет буде мати нормальний розподіл для загальної кількості випадання аверсів (або реверсів).

З іншої точки зору, центральна гранична теорема пояснює common appearance "дзвоноподібної кривої" при оцінках функції густини застосованих до даних реального світу. В таких випадках як електричний шум, екзаменаційні оцінки, і так далі, ми часто можемо розглядати одне конкретне вимірюване значення як зважене середнє великої кількості малих випадкових впливів. Використавши узагальнення центральної граничної теореми, ми можемо побачити, що дуже часто (хоча не завжди) це утворюватиме в результаті розподіл, що наближений до нормального.

В загальному розумінні, чим більше вимірювання є подібним до суми випадкових величин із однаковим впливом на результат, тим ближче воно буде до нормального розподілу. Це обґрунтовує поширене використання цього розподілу як такого, що відповідає впливам неспостережувальних змінних у моделях, таких як лінійні моделі.

Див. також

• Закон великих чисел.

Джерела

• Шаблон:Карташов.Імовірність процеси статистика
• Шаблон:Гнеденко.Курс теории вероятностей
• Шаблон:Гіхман.Скороход.Ядренко
• Шаблон:CitationШаблон:Ref-en