Взаємна кореляція

Наочне порівняння згортки, взаємної кореляції та автокореляції. Для операцій, що включають функцію Шаблон:Mvar, і виходячи з припущення, що висота Шаблон:Mvar становить 1,0, значення результату в 5 різних точках показано затіненою областю під кожною точкою. Також, вертикальна симетрія Шаблон:Mvar є причиною того, що $f*g$ та $f\star g$ в цьому прикладі ідентичні.

В обробці сигналів взаємна кореляція (Шаблон:Lang-en) — це міра подібності двох рядів як функція зміщення одного відносно іншого. Вона також відома як ковзний скалярний добуток (Шаблон:Lang-en) та ковзний внутрішній добуток (Шаблон:Lang-en). Її зазвичай використовують для пошуку в довгому сигналі коротшої відомої ознаки. Вона має застосування в розпізнаванні образів, Шаблон:Нп, Шаблон:Нп, усереднюванні, криптоаналізі та нейрофізіології . Взаємна кореляція за своєю природою подібна до згортки двох функцій. В автокореляції, яка є взаємною кореляцією сигналу з самим собою, завжди буде пік на нульовій затримці, і його розмір буде енергією сигналу.

У теорії ймовірностей та статистиці термін взаємні кореляції стосується кореляцій між елементами двох випадкових векторів $𝐗$ та $𝐘$, тоді як кореляції випадкового вектора $𝐗$ є кореляціями між елементами самого $𝐗$, що утворюють кореляційну матрицю $𝐗$. Якщо як $𝐗$, так і $𝐘$ є скалярними випадковими величинами, які багаторазово реалізуються в часовому ряді, то кореляції різних часових примірників $𝐗$ відомі як автокореляції (Шаблон:Lang-en) $𝐗$, а взаємні кореляції $𝐗$ із $𝐘$ у часі є часовими взаємними кореляціями (Шаблон:Lang-en). У теорії ймовірностей та статистиці визначення кореляції завжди включає такий стандартувальний коефіцієнт, щоби кореляції мали значення від −1 до +1.

Якщо $X$ та $Y$ — дві незалежні випадкові величини з функціями густини ймовірності $f$ та $g$ відповідно, то густина ймовірності різниці $Y-X$ формально задається взаємною кореляцією (у сенсі обробки сигналів) $f\star g$, проте цю термінологію в теорії ймовірностей та статистиці не використовують. На противагу цьому, згортка $f*g$ (еквівалентна взаємній кореляції $f(t)$ та $g(-t)$) дає функцію густини ймовірності суми $X+Y$.

Взаємна кореляція детермінованих сигналів

Для безперервних функцій $f$ та $g$ взаємну кореляцію визначають як

що рівнозначне

$(f\star g)(\tau )\triangleq \underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}\overline{f(t-\tau )}g(t)dt$

де $\overline{f(t)}$ позначує комплексне спряжене $f(t)$, а $\tau$ — зміщення, відоме також як запізнювання (Шаблон:Lang-en; ознака в $f$ з $t$ трапляється в $g$ на $t+\tau$).

Якщо $f$ та $g$ обидві є безперервними періодичними функціями з періодом $T$, то інтегрування з $-\mathrm{\infty }$ до $\mathrm{\infty }$ замінюється інтегруванням за будь-яким інтервалом $[t_0,t_0+T]$ довжини $T$:

що рівнозначне

$(f\star g)(\tau )\triangleq \underset{t_0}{\overset{t_0+T}{\int }}\overline{f(t-\tau )}g(t)dt$

Аналогічно, для дискретних функцій взаємну кореляцію визначають як

що рівнозначне

$(f\star g)[n]\triangleq \sum _{m=-\mathrm{\infty }}^{\mathrm{\infty }}\overline{f[m-n]}g[m]$.

Для скінченних дискретних функцій $f,g\in {ℂ}^N$ (циклічну, Шаблон:Lang-en) взаємну кореляцію визначають як

що рівнозначне

$(f\star g)[n]\triangleq \sum _{m=0}^{N-1}\overline{f[(m-n{)}_{\text{mod}N}]}g[m]$.

Для скінченних дискретних функцій $f\in {ℂ}^N$, $g\in {ℂ}^M$ ядрову взаємну кореляцію (Шаблон:Lang-en) визначають як

де $K_g=[k(g,T_0(g)),k(g,T_1(g)),\dots ,k(g,T_{N-1}(g))]$ — вектор ядрових функцій $k(\cdot ,\cdot ):{ℂ}^M\times {ℂ}^M\to ℝ$, а $T_i(\cdot ):{ℂ}^M\to {ℂ}^M$ — афінне перетворення.

Зокрема, $T_i(\cdot )$ може бути перетворенням циклічного перенесення, поворотним та масштабувальним перетворенням тощо. Ядрова взаємна кореляція узагальнює взаємну кореляцію з лінійного простору до ядрового. Взаємна кореляція рівнозначна перенесенню; ядрова взаємна кореляція рівнозначна будь-яким афінним перетворенням, включно з перенесенням, повертанням, масштабуванням тощо.

Пояснення

Як приклад розгляньмо дві дійснозначні функції $f$ та $g$, що відрізняються лише невідомим зміщенням уздовж осі x. Взаємною кореляцією можливо скористатися, щоби знайти, наскільки $g$ мусить бути зміщено вздовж осі x, щоби зробити її ідентичною до $f$. Ця формула по суті соває функцію $g$ уздовж осі x, обчислюючи інтеграл від їхнього добутку в кожному положенні. Коли функції збігаються, значення $(f\star g)$ є максимальним. Це тому, що коли піки (додатні області) вирівняно, вони роблять великий внесок до інтегралу. Аналогічно, коли вирівнюються западини (від'ємні області), вони також роблять додатний внесок до інтегралу, оскільки добуток двох від'ємних чисел є додатним.

Анімація, яка наочно показує, як обчислюється взаємна кореляція

З комплекснозначними функціями $f$ та $g$ взяття спряження $f$ забезпечує, що вирівняні піки (або вирівняні западини) з уявними компонентами робитимуть до інтегралу додатний внесок.

В економетрії взаємну кореляцію з запізнюванням іноді називають взаємною автокореляцією (Шаблон:Lang-en).Шаблон:Rp

Взаємна кореляція випадкових векторів

Визначення

Для випадкових векторів $𝐗=(X_1,\dots ,X_m{)}^{\mathrm{T}}$ та $𝐘=(Y_1,\dots ,Y_n{)}^{\mathrm{T}}$, кожен з яких складається з випадкових елементів з відомими математичним сподіваннями та дисперсіями, матрицю взаємної кореляції $𝐗$ та $𝐘$ визначають черезШаблон:Rp

й вона має розміри $m\times n$. У записі по складових:

${\mathrm{R}}_{𝐗𝐘}=\left[\begin{array}{cccc}\mathrm{E}[X_1{Y}_1]& \mathrm{E}[X_1{Y}_2]& \cdots & \mathrm{E}[X_1{Y}_n]\\ \\ \mathrm{E}[X_2{Y}_1]& \mathrm{E}[X_2{Y}_2]& \cdots & \mathrm{E}[X_2{Y}_n]\\ \\ ⋮& ⋮& \ddots & ⋮\\ \\ \mathrm{E}[X_m{Y}_1]& \mathrm{E}[X_m{Y}_2]& \cdots & \mathrm{E}[X_m{Y}_n]\end{array}\right]$

Випадкові вектори $𝐗$ та $𝐘$ не зобов'язані мати однакові розміри, й будь-який з них може бути скалярним значенням.

Приклад

Наприклад, якщо $𝐗={(X_1,X_2,X_3)}^{\mathrm{T}}$ та $𝐘={(Y_1,Y_2)}^{\mathrm{T}}$ — випадкові вектори, то ${\mathrm{R}}_{𝐗𝐘}$ — матриця $3\times 2$, чиїм $(i,j)$-м елементом є $\mathrm{E}[X_i{Y}_j]$.

Визначення для комплексних випадкових векторів

Якщо $𝐙=(Z_1,\dots ,Z_m{)}^{\mathrm{T}}$ та $𝐖=(W_1,\dots ,W_n{)}^{\mathrm{T}}$ — Шаблон:Нп, кожен з яких містить випадкові величини з відомими математичними сподіваннями та дисперсіями, то матрицю взаємної кореляції $𝐙$ та $𝐖$ визначають через

${\mathrm{R}}_{𝐙𝐖}\triangleq \mathrm{E}[𝐙{𝐖}^{\mathrm{H}}]$

де ${}^{\mathrm{H}}$ позначує ермітове транспонування.

Взаємна кореляція стохастичних процесів

В аналізі часових рядів і статистиці взаємна кореляція пари випадкових процесів — це кореляція між значеннями цих процесів у різні моменти часу як функція від цих двох моментів часу. Нехай $(X_t,Y_t)$ — пара випадкових процесів, а $t$ — будь-яка точка в часі ($t$ може бути цілим числом для Шаблон:Нп процесу, або дійсним числом для процесу Шаблон:Нп). Тоді $X_t$ — це значення (або Шаблон:Нп), реалізоване в результаті заданого перебігу процесу в момент часу $t$.

Взаємна кореляційна функція

Припустімо, що цей процес у момент часу $t$ має середні значення ${\mu }_X(t)$ та ${\mu }_Y(t)$ і дисперсії ${\sigma }_X^2(t)$ та ${\sigma }_Y^2(t)$, для будь-якого $t$. Тоді визначенням взаємної кореляції між моментами часу $t_1$ та $t_2$ єШаблон:Rp

де $\mathrm{E}$ — оператор математичного сподівання. Зауважте, що цей вираз може бути не визначеним.

Взаємна коваріаційна функція

Віднімання середнього значення перед множенням дає перехресну коваріацію моментів часу $t_1$ та $t_2$:Шаблон:Rp

Зауважте, що цей вираз не є однозначно визначеним для всіх часових рядів та процесів, оскільки середнє значення або дисперсія можуть не існувати.

Визначення для стаціонарного в широкому сенсі стохастичного процесу

Нехай $(X_t,Y_t)$ подає пару стохастичних процесів, Шаблон:Нп. Тоді взаємну коваріаційну та взаємну кореляційну функції задають наступним чином.

Взаємна кореляційна функція

або, рівнозначно,

${\mathrm{R}}_{XY}(\tau )=\mathrm{E}\left[X_{t-\tau }\overline{Y_t}\right]$

Взаємна коваріаційна функція

або, рівнозначно,

${\mathrm{K}}_{XY}(\tau )=\mathrm{E}\left[(X_{t-\tau }-{\mu }_X)\overline{(Y_t-{\mu }_Y)}\right]$

де ${\mu }_X$ та ${\sigma }_X$ — середнє значення та стандартне відхилення процесу $(X_t)$, сталі в часі через стаціонарність; і так само для $(Y_t)$, відповідно. $\mathrm{E}[]$ показує математичне сподівання. Те, що взаємні коваріація та кореляція не залежать від $t$, — саме додаткова інформація (поза індивідуальною стаціонарністю в широкому сенсі), яку передає вимога, що $(X_t,Y_t)$ спільно стаціонарні в широкому сенсі.

Взаємну кореляцію пари спільно стаціонарних у широкому сенсі стохастичних процесів можливо оцінювати усереднюванням добутку зразків, виміряних за одним процесом, і зразків, виміряних за іншим (та за його зсувами в часі). Зразки, включені до цього усереднювання, можуть бути довільною підмножиною всіх зразків у сигналі (наприклад, зразки в межах скінченного часового вікна, або підвибіркаШаблон:Яка одного з сигналів). За великої кількості зразків це усереднення збігається до істинної взаємної кореляції.

Унормовування

Поширеною практикою в деяких дисциплінах (наприклад, у статистиці та аналізі часових рядів) є унормовувати взаємно кореляційну функцію, щоб отримувати залежний від часу коефіцієнт кореляції Пірсона. Проте в деяких інших дисциплінах (наприклад, в інженерії) унормовування зазвичай пропускають, а терміни «взаємна кореляція» та «взаємна коваріація» використовують як взаємозамінні.

Визначення нормованої взаємної кореляції стохастичного процесу:

${\rho }_{XX}(t_1,t_2)=\frac{{\mathrm{K}}_{XX}(t_1,t_2)}{{\sigma }_X(t_1){\sigma }_X(t_2)}=\frac{\mathrm{E}\left[(X_{t_1}-{\mu }_{t_1})\overline{(X_{t_2}-{\mu }_{t_2})}\right]}{{\sigma }_X(t_1){\sigma }_X(t_2)}$.

Якщо функція ${\rho }_{XX}$ однозначно визначена, її значення мусять лежати в діапазоні $[-1,1]$, причому 1 вказує на ідеальну кореляцію, а −1 — на ідеальну антикореляцію.

Для спільно стаціонарних у широкому сенсі стохастичних процесів визначення таке:

${\rho }_{XY}(\tau )=\frac{{\mathrm{K}}_{XY}(\tau )}{{\sigma }_X{\sigma }_Y}=\frac{\mathrm{E}\left[(X_t-{\mu }_X)\overline{(Y_{t+\tau }-{\mu }_Y)}\right]}{{\sigma }_X{\sigma }_Y}$.

Унормовування важливе як тому, що інтерпретація автокореляції як кореляції забезпечує безмасштабну міру сили статистичної залежності, так і тому, що унормовування впливає на статистичні властивості оцінюваних автокореляцій.

Властивості

Властивість симетрії

Для спільно стаціонарних у широкому сенсі стохастичних процесів взаємно кореляційна функція має таку властивість симетрії:Шаблон:Rp

${\mathrm{R}}_{XY}(t_1,t_2)=\overline{{\mathrm{R}}_{YX}(t_2,t_1)}$

Відповідно, для спільно СШС стохастичних процесів:

${\mathrm{R}}_{XY}(\tau )=\overline{{\mathrm{R}}_{YX}(-\tau )}$

Аналіз часової затримки

Взаємні кореляції корисні для визначання часової затримки між двома сигналами, наприклад, для визначання часових затримок поширення акустичних сигналів системою спрямованих мікрофонів.Шаблон:Прояснити  Після обчислення взаємної кореляції між двома сигналами максимум (або мінімум, якщо сигнали корельовані негативно) взаємно кореляційної функції вказує момент часу, коли сигнали узгоджені найкраще; тобто затримка часу між цими двома сигналами визначається аргументом максимуму, або arg max, взаємної кореляції, як у

${\tau }_{\mathrm{d}\mathrm{e}\mathrm{l}\mathrm{a}\mathrm{y}}=\underset{t\in ℝ}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}((f\star g)(t))$

Термінологія в обробці зображень

Центрована нормована взаємна кореляція (ЦНВК)

Для застосувань в обробці зображень, у яких яскравість зображення та шаблону може змінюватися залежно від умов освітлення та експозиції, зображення можуть спочатку унормовувати. Зазвичай це роблять на кожному кроці шляхом віднімання середнього значення та ділення на стандартне відхилення. Тобто, взаємна кореляція шаблону $t(x,y)$ з підзображенням $f(x,y)$ — це

$\frac{1}{n}\sum _{x,y}\frac{1}{{\sigma }_f{\sigma }_t}(f(x,y)-{\mu }_f)(t(x,y)-{\mu }_t)$

де $n$ — число пікселів у $t(x,y)$ та $f(x,y)$, ${\mu }_f$ — усереднення $f$, а ${\sigma }_f$ — стандартне відхилення $f$.

З погляду функціонального аналізу це можливо розглядати як добуток двох унормованих векторів. Тобто, якщо

$F(x,y)=f(x,y)-{\mu }_f$

та

$T(x,y)=t(x,y)-{\mu }_t$

то наведена вище сума дорівнює

$⟨\frac{F}{\Vert F\Vert },\frac{T}{\Vert T\Vert }⟩$

де $⟨\cdot ,\cdot ⟩$ — скалярний добуток, а $\Vert \cdot \Vert$ — норма L². З Коші — Буняковського тоді випливає, що ЦНВК (Шаблон:Lang-en) має діапазон $[-1,1]$.

Таким чином, якщо $f$ та $t$ є дійснозначними матрицями, то їх нормована взаємна кореляція дорівнює косинусу кута між одиничними векторами $F$ та $T$, будучи відтак $1$ тоді й лише тоді, коли $F$ дорівнює $T$, помноженому на додатний скаляр.

Нормована кореляція — це один із методів, які використовують для Шаблон:Нп, процесу, який використовують для пошуку зразків або об'єктів у зображенні. Вона також є двовимірною версією коефіцієнту кореляції моменту добутку Пірсона.

Нормована взаємна кореляція (НВК)

НВК (Шаблон:Lang-en) подібна до ЦНВК, з тією лише відмінністю, що не віднімається локальне середнє значення освітленостей:

$\frac{1}{n}\sum _{x,y}\frac{1}{{\sigma }_f{\sigma }_t}f(x,y)t(x,y)$

Нелінійні системи

При використанні взаємної кореляції для нелінійних систем необхідно бути обережними. За певних обставин, які залежать від властивостей вхідних даних, взаємна кореляція між входом і виходом системи з нелінійною динамікою може бути повністю сліпою до певних нелінійних ефектів. Ця проблема виникає через те, що деякі квадрати моментів можуть дорівнювати нулеві, й це може помилково підказувати, що між двома сигналами існує невелика «кореляція» (у сенсі статистичної залежності), хоча насправді ці два сигнали сильно пов'язані нелінійною динамікою.

Див. також

• Автоковаріація
• Автокореляція
• Взаємна коваріація
• Шаблон:Нп
• Шаблон:Нп
• Згортка
• Шаблон:Нп
• Кореляційна функція
• Кореляція
• Шаблон:Нп
• Шаблон:Нп
• Спектральна густина
• Шаблон:Нп
• Фазова кореляція

Література

• Шаблон:Cite journal Шаблон:Ref-en

Посилання

• Взаємна кореляція від Mathworld Шаблон:Webarchive Шаблон:Ref-en
• http://scribblethink.org/Work/nvisionInterface/nip.html Шаблон:Webarchive Шаблон:Ref-en
• http://www.staff.ncl.ac.uk/oliver.hinton/eee305/Chapter6.pdf Шаблон:WebarchiveШаблон:Ref-en