Теорема Карунена — Лоева

Шаблон:Вичитати Теорема Кархунена — Лоева (названа на честь Шаблон:Нп та Шаблон:Нп), також відома як теорема Косамбі — Кархунена — Лоева, це розклад випадкового процесу у вигляді нескінченної лінійної комбінації ортогональних функцій, що є аналогом представлення функції в ряд Фур'є на обмеженому інтервалі. Цей розклад тісно пов'язаний з методом головних компонент (PCA), який широко використовується в аналізі даних.

Першим хто розглянув розклад випадкового процесу у вигляді нескінченного ряду Дамодаром Дхарманандою Косамбі. Існує декілька розкладів стохастичного процесу: якщо процес заіндексований над $[a,b]$, то будь-який ортонормований базис в $L_2[a,b]$ задає розклад в цій формі. Важливість теореми Кархунена – Лоева полягає в тому, що вона дає найкращий базис у сенсі мінімізації середньої квадратичної помилки.

На відміну від ряду Фур'є, де коефіцієнти є фіксованими числами і базис складається з синусоїдальних функцій (тобто функцій синуса та косинуса), коефіцієнти в теоремі Кархунена – Лоева є випадковими величинами, а базис розкладання залежить від процесу. Фактично, ортогональні базисні функції, що використовуються в цьому розкладі, визначаються коваріаційною функцією процесу.

У випадку центрованого випадкового процесу ${\{X_t\}}_{t\in [a,b]}$ (центрований означає $𝐄[X_t]=0$ для всіх $t\in [a,b]$), що задовольняє умову технічної неперервності, $X$ допускає розкладання

$X_t=\sum _{k=1}^{\mathrm{\infty }}{Z}_k{e}_k(t),$

де $Z_k$ є попарно некорельованими випадковими величинами, а функції $e_k$ є неперервними дійсними функціями на $[a,b]$, які є попарно ортогональними в $L_2[a,b]$. Загальний випадок процесу $X_t$, який не є центрованим, можна повернути до випадку центрованого процесу, розглядаючи $X_t-𝐄[X_t]$, який є центрованим процесом.

Крім того, у випадку нормального процесу, випадкові величини $Z_k$ є нормально розподіленими і стохастично незалежними. Цей результат узагальнює перетворення Кархунена – Лоева. Важливим прикладом центрованого стохастичного процесу на $[0,1]$ є процес Вінера; теорема Кархунена – Лоева може бути використана для забезпечення канонічного ортогонального представлення для нього. У цьому випадку розкладання складається з синусоїдальних функцій.

Формулювання

• У цій статті ми розглядатимемо квадратично інтегрований випадковий процес $X_t$ із нульовим середнім, визначений у ймовірнісному просторі $(\mathrm{\Omega },F,𝐏$ та проіндексований у замкненому інтервалі $[a,b]$ з коваріаційною функцією $K_X(s,t)$. Таким чином ми маємо:

$\begin{array}{cc}\mathrm{\forall }t\in [a,b]& X_t\in L^2(\mathrm{\Omega },F,𝐏),\\ \mathrm{\forall }t\in [a,b]& 𝐄[X_t]=0,\\ \mathrm{\forall }t,s\in [a,b]& K_X(s,t)=𝐄[X_s{X}_t].\end{array}$

• Пов'яжемо з $K_X$ лінійний оператор $T_{K_X}$ визначений таким чином:

$\begin{array}{cc}{T}_{K_X}:L^2([a,b])& \to L^2([a,b]),\\ f& \mapsto T_{K_X}f=\underset{a}{\overset{b}{\int }}{K}_X(s,\cdot )f(s)\mathrm{d}s.\end{array}$

Оскільки $T_{K_X}$ є лінійним оператором, то має сенс говорити про його власні значення ${\lambda }_k$ та власні функції $e_k$, які знаходяться за допомогою розв'язування однорідного інтегрального рівняння Фредгольма другого роду

$\underset{a}{\overset{b}{\int }}{K}_X(s,t)e_k(s)ds={\lambda }_k{e}_k(t)$

Формулювання теореми

Теорема. Нехай $X_t$— квадратично інтегрований випадковий процес, визначений у ймовірносному просторі $(\mathrm{\Omega },F,𝐏)$ та проіндексований на інтервалі $[a,b]$, з неперервною коваріаційною функцією $K_X(s,t)$.

Тоді $K_X(s,t)$ є ядром Мерсера, і якщо $e_k$ ортонормований базис в $L_2[a,b]$ утворений власними функціями $T_{K_X}$ з відповідними власними значеннями ${\lambda }_k$ допускає наступне представлення

$X_t=\sum _{k=1}^{\mathrm{\infty }}{Z}_k{e}_k(t),$

де збіжність в $L_2$, рівномірна по t і

$Z_k=\underset{a}{\overset{b}{\int }}{X}_t{e}_k(t)dt$

Крім того, випадкові величини некорельовані $Z_k$ мають нульове середнє та мають дисперсію ${\lambda }_k$

$𝐄[Z_k]=0,\mathrm{\forall }k\in \mathbb{N}\text{and}𝐄[Z_i{Z}_j]={\delta }_{ij}{\lambda }_j,\mathrm{\forall }i,j\in \mathbb{N}$

Зауважте, що за допомогою узагальнення теореми Мерсера, ми можемо замінити інтервал $[a,b]$ на будь-який компактний простір $C$ і міру Лебега на $[a,b]$, носієм якої є $C$.

Доведення

• Коваріаційна функція $K_X$ є ядром Мерсера. Згідно з теоремою Мерсера, отже, існує набір ${\lambda }_k$, $e_k(t)$ власних значень і власних функцій $T_{K_X}$ що утворюють ортонормований базис $L_2[a,b]$, і $K_X$ можна розкласти

$K_X(s,t)=\sum _{k=1}^{\mathrm{\infty }}{\lambda }_k{e}_k(s)e_k(t)$

• Процес $X_t$ можна розкласти за власними функціями $e_k(t)$ як:

$X_t=\sum _{k=1}^{\mathrm{\infty }}{Z}_k{e}_k(t)$

де коефіцієнти (випадкові величини) $Z_k$ є проекціями $X_t$ на відповідні власні функції

$Z_k=\underset{a}{\overset{b}{\int }}{X}_t{e}_k(t)dt$

• Тоді ми можемо отримати

$\begin{array}{cc}𝐄[Z_k]& =𝐄[\underset{a}{\overset{b}{\int }}{X}_t{e}_k(t)dt]=\underset{a}{\overset{b}{\int }}𝐄[X_t]e_k(t)dt=0\\ [8pt]𝐄[Z_i{Z}_j]& =𝐄[\underset{a}{\overset{b}{\int }}\underset{a}{\overset{b}{\int }}{X}_t{X}_s{e}_j(t)e_i(s)dtds]\\ & =\underset{a}{\overset{b}{\int }}\underset{a}{\overset{b}{\int }}𝐄\left[X_t{X}_s\right]e_j(t)e_i(s)dtds\\ & =\underset{a}{\overset{b}{\int }}\underset{a}{\overset{b}{\int }}{K}_X(s,t)e_j(t)e_i(s)dtds\\ & =\underset{a}{\overset{b}{\int }}{e}_i(s)(\underset{a}{\overset{b}{\int }}{K}_X(s,t)e_j(t)dt)ds\\ & ={\lambda }_j\underset{a}{\overset{b}{\int }}{e}_i(s)e_j(s)ds\\ & ={\delta }_{ij}{\lambda }_j\end{array}$

де ми використали факт, що $e_k$ є власними функціями $T_{K_X}$ і ортонормовані.

• Тепер покажемо, що збіжність відбувається в $L_2$. Нехай

$S_N=\sum _{k=1}^N{Z}_k{e}_k(t).$

Тоді:

$\begin{array}{cc}𝐄\left[{|X_t-S_N|}^2\right]& =𝐄\left[X_t^2\right]+𝐄\left[S_N^2\right]-2𝐄\left[X_t{S}_N\right]\\ & =K_X(t,t)+𝐄[\sum _{k=1}^N\sum _{l=1}^N{Z}_k{Z}_{\ell }{e}_k(t)e_{\ell }(t)]-2𝐄[X_t\sum _{k=1}^N{Z}_k{e}_k(t)]\\ & =K_X(t,t)+\sum _{k=1}^N{\lambda }_k{e}_k(t{)}^2-2𝐄[\sum _{k=1}^N\underset{a}{\overset{b}{\int }}{X}_t{X}_s{e}_k(s)e_k(t)ds]\\ & =K_X(t,t)-\sum _{k=1}^N{\lambda }_k{e}_k(t{)}^2\end{array}$

яка дорівнює 0 за теоремою Мерсера.

Властивості перетворення Кархунена – Лоева

Особливий випадок: розподіл Гауса

Оскільки ліміт в середньому спільно гаусівських випадкових величин є спільно гаусівською, а спільно гауссові випадкові (центровані) величини є незалежними, тоді і тільки тоді, коли вони ортогональні, ми також можемо зробити висновок:

Теорема. Змінні Шаблон:Mvar мають спільний гаусівський розподіл і є незалежними, якщо процес $\{X_t\}$ є гаусівським.

У випадку гаусової випадкової величини, змінні Шаблон:Mvar є незалежними, ми можемо сказати більше:

$\underset{N\to \mathrm{\infty }}{\lim }\sum _{i=1}^N{e}_i(t)Z_i(\omega )=X_t(\omega )$

Лінійне наближення Теорема Кархунена — Лоева

Розглянемо слас сигналів які ми хочемо наблизити за допомогою $M$ базисних веторів. Ці сигнали змодельовані як реалізація випадкови веторів $Y[n]$ розміром $N$. Для оптимізації апроксимації ми реалізуємо такий базис що зменить помилку. Ця секція доводить, що накращий базис це базисКархунена — Лоева що діагоналізує $Y$. Випадковий вектор $Y$ може бути декомпонований в ортонормальний базис

${\left\{g_m\right\}}_{0\le m\le N}$

а саме:

$Y=\sum _{m=0}^{N-1}⟨Y,g_m⟩g_m,$

де кожен

$⟨Y,g_m⟩=\sum _{n=0}^{N-1}Y[n]g_m^{*}[n]$

це випадкова величина. Наближення перших $M<N$ векторів базиса є

$Y_M=\sum _{m=0}^{M-1}⟨Y,g_m⟩g_m$

Із береження енергії в ортогональному базисі виходить

$\epsilon [M]=𝐄\left\{{\Vert Y-Y_M\Vert }^2\right\}=\sum _{m=M}^{N-1}𝐄\left\{{\left|⟨Y,g_m⟩\right|}^2\right\}$

Це помилка пов'язана з коваріацією $Y$ визначена як

$R[n,m]=𝐄\{Y[n]Y^{*}[m]\}$

Для будь-якого вектору $X[n]$ ми визначимо $K$ коваріаційний оператор визначений за матрицею,

$𝐄\left\{{|⟨Y,x⟩|}^2\right\}=⟨Kx,x⟩=\sum _{n=0}^{N-1}\sum _{m=0}^{N-1}R[n,m]x[n]x^{*}[m]$

Помилка $\epsilon [M]$ це сума останніх $N-M$ коефіціентів коваріаційного оператору

$\epsilon [M]=\sum _{m=M}^{N-1}⟨K{g}_m,g_m⟩$

Коваріаційний оператор $K$ Ермітів і позитивний тому він може бути діагоналзований, в ортогональному базисі який називається базис Кархунена — Лоева. Наступна теорема стверджує, що базис Кархунена — Лоева має найменшу посику апроксимізації.

Theorem (Оптимальність Кархунена — Лоева базиса). Нехай Шаблон:Mvar коваріаційний оператор. Для всіх Шаблон:Math, помилка апроксимації

$\epsilon [M]=\sum _{m=M}^{N-1}⟨K{g}_m,g_m⟩$

приймає мінімальне значення тоді і тільки тоді

${\left\{g_m\right\}}_{0\le m<N}$

це базис Кархунена — Лоева відсортовонаний по зменшенню власних чисел.

$⟨K{g}_m,g_m⟩\ge ⟨K{g}_{m+1},g_{m+1}⟩,0\le m<N-1.$

Приклади

Вінерівський процес

Існує декілька еквівалентних формулювань процес Вінера яка є узагальненням Броунівського руху. Тут ми розглядаєм стандартний гаусівський процесс $W_t$ з коваріаційною функцією

$K_W(t,s)=\mathrm{cov}(W_t,W_s)=\min (s,t).$

Ми можемо розглядаєио лише інтервал $[a,b]=[0,1]$.

Ми можемо легко порахувати власні вектори, а саме

$e_k(t)=\sqrt{2}\sin \left((k-\frac{1}{2})\pi t\right)$

і відвідні власні числа

${\lambda }_k=\frac{1}{(k-\frac{1}{2}{)}^2{\pi }^2}.$

Щоб знайти власні числа та власні інтеграли ми маємо вирішити інтегральні рівняння

$\begin{array}{cc}\underset{a}{\overset{b}{\int }}{K}_W(s,t)e(s)ds& =\lambda e(t)\mathrm{\forall }t,0\le t\le 1\\ \underset{0}{\overset{1}{\int }}\min (s,t)e(s)ds& =\lambda e(t)\mathrm{\forall }t,0\le t\le 1\\ \underset{0}{\overset{t}{\int }}se(s)ds+t\underset{t}{\overset{1}{\int }}e(s)ds& =\lambda e(t)\mathrm{\forall }t,0\le t\le 1\end{array}$

якщо ми продиференціюємо по $t$, то ми отримаємо:

$\underset{t}{\overset{1}{\int }}e(s)ds=\lambda e^{\prime }(t)$

після другого дифференціювання ми отримаємо аступне диффиренційне рівняння:

$-e(t)=\lambda e^{″}(t)$

Загальний розв'язок дифференціального рівнняння виглядає так:

$e(t)=A\sin \left(\frac{t}{\sqrt{\lambda }}\right)+B\cos \left(\frac{t}{\sqrt{\lambda }}\right)$

$A$ і $B$ - дві константи, які визначаються з граничних умов. При підставленні $t=0$ в інтегральне рівняння ми отримаємо $e(0)=0$ з чого також отримаємо $B=0$ та, також, при $t=1$ перше диффернціювання дає $e^{\prime }(1)=0$:

$\cos \left(\frac{1}{\sqrt{\lambda }}\right)=0$

з чого ми отримаємо загальний вигляд власних чисел $T_{K_X}$ are:

${\lambda }_k={\left(\frac{1}{(k-\frac{1}{2})\pi }\right)}^2,k\ge 1$

Відповідні власні функції мають вигляд:

$e_k(t)=A\sin ((k-\frac{1}{2})\pi t),k\ge 1$

$A$ обрана так, щоб нормалізувати $e_k$:

$\underset{0}{\overset{1}{\int }}{e}_k^2(t)dt=1⟹A=\sqrt{2}$

Ми отримаємо представлення процесу Вінера

Theorem. Існує послідовність $\{Z_i\}$ незалежних Гасових випадкових величин з нульовим середнім та дисперсією 1 так щ

$W_t=\sqrt{2}\sum _{k=1}^{\mathrm{\infty }}{Z}_k\frac{\sin \left((k-\frac{1}{2})\pi t\right)}{(k-\frac{1}{2})\pi }.$

Треба зауважити що таке представлення дійсне при $t\in [0,1].$ На більшихих інтервалах інкременти не незалежні. Як сказано в теоремі, збіжність у L² нормі і рівномірна по  t.

Броунівський міст

Подібно Броунівський міст $B_t=W_t-t{W}_1$ який є випадковим процесом з коваріацією

$K_B(t,s)=\min (t,s)-ts$

може бути представлений як ряд

$B_t=\sum _{k=1}^{\mathrm{\infty }}{Z}_k\frac{\sqrt{2}\sin (k\pi t)}{k\pi }$

Посилання

• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite journal
• Шаблон:Cite book
• Шаблон:Cite journal
• Wu B., Zhu J., Najm F.(2005) «A Non-parametric Approach for Dynamic Range Estimation of Nonlinear Systems». In Proceedings of Design Automation Conference(841—844) 2005
• Wu B., Zhu J., Najm F.(2006) «Dynamic Range Estimation». IEEE Transactions on Computer-Aided Design of Integrated Circuits and Systems, Vol. 25 Issue:9 (1618—1636) 2006
• Шаблон:Cite journal