Перегляд вихідного коду сторінки Взаємна кореляція

{{Кореляція та коваріація}}
[[Файл:Comparison_convolution_correlation.svg|міні|400пкс| Наочне порівняння [[Згортка (математичний аналіз)|згортки]], взаємної кореляції та [[Автокореляція|автокореляції]]. Для операцій, що включають функцію {{Mvar|f}}, і виходячи з припущення, що висота {{Mvar|f}} становить 1,0, значення результату в 5 різних точках показано затіненою областю під кожною точкою. Також, вертикальна симетрія {{Mvar|f}} є причиною того, що <math>f*g</math> та <math>f \star g</math> в цьому прикладі ідентичні.]]
В [[Обробка сигналів|обробці сигналів]] '''взаємна кореляція''' ({{lang-en|cross-correlation}})&nbsp;— це [[міра подібності]] двох рядів як функція зміщення одного відносно іншого. Вона також відома як ''ковзний [[скалярний добуток]]'' ({{lang-en|sliding dot product}}) та ''ковзний внутрішній добуток'' ({{lang-en|sliding inner-product}}). Її зазвичай використовують для пошуку в довгому сигналі коротшої відомої ознаки. Вона має застосування в [[Теорія розпізнавання образів|розпізнаванні образів]], {{нп|Аналіз одиничних частинок|аналізі одиничних частинок||Single particle analysis}}, {{нп|Електронна томографія|електронній томографії||Electron tomography}}, [[Усереднювання|усереднюванні]], [[криптоаналіз]]і та [[Нейрофізіологія|нейрофізіології]] . Взаємна кореляція за своєю природою подібна до [[Згортка (математичний аналіз)|згортки]] двох функцій. В [[Автокореляція|автокореляції]], яка є взаємною кореляцією сигналу з самим собою, завжди буде пік на нульовій затримці, і його розмір буде енергією сигналу.

У [[Імовірність|теорії ймовірностей]] та [[Статистика|статистиці]] термін ''взаємні кореляції'' стосується [[Коваріація та кореляція|кореляцій]] між елементами двох [[Багатовимірна випадкова величина|випадкових векторів]] <math>\mathbf{X}</math> та <math>\mathbf{Y}</math>, тоді як ''кореляції'' випадкового вектора <math>\mathbf{X}</math> є кореляціями між елементами самого <math>\mathbf{X}</math>, що утворюють [[Кореляційна матриця|кореляційну матрицю]] <math>\mathbf{X}</math>. Якщо як <math>\mathbf{X}</math>, так і <math>\mathbf{Y}</math> є скалярними випадковими величинами, які багаторазово реалізуються в [[Часовий ряд|часовому ряді]], то кореляції різних часових примірників <math>\mathbf{X}</math> відомі як ''автокореляції'' ({{lang-en|autocorrelations}}) <math>\mathbf{X}</math>, а взаємні кореляції <math>\mathbf{X}</math> із <math>\mathbf{Y}</math> у часі є часовими взаємними кореляціями ({{lang-en|temporal cross-correlations}}). У теорії ймовірностей та статистиці визначення кореляції завжди включає такий стандартувальний коефіцієнт, щоби кореляції мали значення від &minus;1 до +1.

Якщо <math>X</math> та <math>Y</math>&nbsp;— дві [[Незалежність (теорія ймовірностей)|незалежні]] [[Випадкова величина|випадкові величини]] з [[Функція густини ймовірності|функціями густини ймовірності]] <math>f</math> та <math>g</math> відповідно, то густина ймовірності різниці <math>Y - X</math> формально задається взаємною кореляцією (у сенсі обробки сигналів) <math>f \star g</math>, проте цю термінологію в теорії ймовірностей та статистиці не використовують. На противагу цьому, [[Згортка (математичний аналіз)|згортка]] <math>f * g</math> (еквівалентна взаємній кореляції <math>f(t)</math> та <math>g(-t)</math>) дає функцію густини ймовірності суми <math>X + Y</math>.

== Взаємна кореляція детермінованих сигналів ==

Для безперервних функцій <math>f</math> та <math>g</math> взаємну кореляцію визначають як<ref>Bracewell, R. "Pentagram Notation for Cross Correlation." The Fourier Transform and Its Applications. New York: McGraw-Hill, pp. 46 and 243, 1965. {{ref-en}}</ref><ref>Papoulis, A. The Fourier Integral and Its Applications. New York: McGraw-Hill, pp.&nbsp;244–245 and 252—253, 1962. {{ref-en}}</ref><ref>Weisstein, Eric W. "Cross-Correlation." From MathWorld--A Wolfram Web Resource. http://mathworld.wolfram.com/Cross-Correlation.html {{Webarchive|url=https://web.archive.org/web/20200830125213/http://mathworld.wolfram.com/Cross-Correlation.html |date=30 серпня 2020 }} {{ref-en}}</ref>

{{Equation box 1
|indent = :
|title =
|equation = {{NumBlk
 || <math>(f \star g)(\tau)\ \triangleq \int_{-\infty}^{\infty} \overline{f(t)} g(t+\tau)\,dt</math>
 | {{EquationRef|1}}
 }}
|cellpadding = 6
|border
|border colour = #0073CF
|background colour = #F5FFFA
}}

що рівнозначне

: <math>(f \star g)(\tau)\ \triangleq \int_{-\infty}^{\infty} \overline{f(t-\tau)} g(t)\,dt</math>

де <math>\overline{f(t)}</math> позначує [[Спряжені числа|комплексне спряжене]] <math>f(t)</math>, а <math>\tau</math>&nbsp;— зміщення, відоме також як ''запізнювання'' ({{lang-en|lag}}; ознака в <math>f</math> з <math>t</math> трапляється в <math>g</math> на <math>t+\tau</math>).

Якщо <math>f</math> та <math>g</math> обидві є безперервними періодичними функціями з періодом <math>T</math>, то інтегрування з <math>-\infty</math> до <math>\infty</math> замінюється інтегруванням за будь-яким інтервалом <math>[t_0,t_0+T]</math> довжини <math>T</math>:

{{Equation box 1
|indent = :
|title =
|equation = {{NumBlk
 ||<math>(f \star g)(\tau)\ \triangleq \int_{t_0}^{t_0+T} \overline{f(t)} g(t + \tau)\,dt</math>
 | {{EquationRef|2}}
 }}
|cellpadding = 6
|border
|border colour = #0073CF
|background colour = #F5FFFA
}}

що рівнозначне

: <math>(f \star g)(\tau)\ \triangleq \int_{t_0}^{t_0+T} \overline{f(t-\tau)} g(t)\,dt</math>

Аналогічно, для дискретних функцій взаємну кореляцію визначають як<ref>{{cite book | last1 =Rabiner | first1 =L.R. | last2 =Schafer | first2 =R.W. | title =Digital Processing of Speech Signals | publisher =Prentice Hall | series =Signal Processing Series | date =1978 | location =Upper Saddle River, NJ | pages =[https://archive.org/details/digitalprocessin00rabi_0/page/147 147–148] | isbn =0132136031 | url-access =registration | url =https://archive.org/details/digitalprocessin00rabi_0/page/147 }} {{ref-en}}</ref><ref>{{cite book | last1 =Rabiner | first1 =Lawrence R. | last2 =Gold | first2 =Bernard | title =Theory and Application of Digital Signal Processing | publisher =Prentice-Hall | date =1975 | location =Englewood Cliffs, NJ | pages =[https://archive.org/details/theoryapplicatio00rabi/page/401 401] | isbn =0139141014 | url-access =registration | url =https://archive.org/details/theoryapplicatio00rabi/page/401 }} {{ref-en}}</ref>

{{Equation box 1
|indent = :
|title=
|equation = {{NumBlk
 || <math>(f \star g)[n]\ \triangleq \sum_{m=-\infty}^{\infty} \overline{f[m]} g[m+n]</math>
 | {{EquationRef|3}}
 }}
|cellpadding = 6
|border
|border colour = #0073CF
|background colour = #F5FFFA
}}

що рівнозначне

: <math>(f \star g)[n]\ \triangleq \sum_{m=-\infty}^{\infty} \overline{f[m - n]} g[m]</math>.

Для скінченних дискретних функцій <math>f,g\in\mathbb{C}^N</math> (циклічну, {{lang-en|circular}}) взаємну кореляцію визначають як<ref>{{cite book | last1=Wang | first1=Chen | title=Kernel learning for visual perception, Chapter 2.2.1 | publisher =Nanyang Technological University, Singapore | series =Doctoral thesis | date =2019 | pages =[https://hdl.handle.net/10356/105527 17–18] | url =https://hdl.handle.net/10356/105527}} {{ref-en}}</ref>

{{Equation box 1
|indent = :
|title=
|equation = {{NumBlk
 ||<math>(f \star g)[n]\ \triangleq \sum_{m=0}^{N-1} \overline{f[m]} g[(m+n)_{\text{mod}~N}]</math>
 | {{EquationRef|4}}
 }}
|cellpadding= 6
|border
|border colour = #0073CF
|background colour = #F5FFFA
}}

що рівнозначне

: <math>(f \star g)[n]\ \triangleq \sum_{m=0}^{N-1} \overline{f[(m-n)_{\text{mod}~N}]} g[m]</math>.

Для скінченних дискретних функцій <math>f\in\mathbb{C}^N</math>, <math>g\in\mathbb{C}^M</math> ядрову взаємну кореляцію ({{lang-en|kernel cross-correlation}}) визначають як<ref>{{cite book | last1=Wang | first1=Chen | last2=Zhang | first2=Le | last3=Yuan | first3=Junsong | last4=Xie | first4=Lihua | title=Kernel Cross-Correlator | publisher=Association for the Advancement of Artificial Intelligence | series=The Thirty-second AAAI Conference On Artificial Intelligence | date=2018 | pages=4179-4186 | url=https://ojs.aaai.org/index.php/AAAI/article/view/11710 | accessdate=12 січня 2022 | archive-date=19 грудня 2021 | archive-url=https://web.archive.org/web/20211219220601/https://ojs.aaai.org/index.php/AAAI/article/view/11710 }} {{ref-en}}</ref>

{{Equation box 1
|indent = :
|title =
|equation = {{NumBlk
 || <math>(f \star g)[n]\ \triangleq \sum_{m=0}^{N-1} \overline{f[m]} K_g[(m+n)_{\text{mod}~N}]</math>
 | {{EquationRef|5}}
 }}
|cellpadding = 6
|border
|border colour = #0073CF
|background colour = #F5FFFA
}}

де <math>K_g = [k(g, T_0(g)), k(g, T_1(g)), \dots, k(g, T_{N-1}(g))]</math>&nbsp;— вектор ядрових функцій <math>k(\cdot, \cdot)\colon \mathbb{C}^M \times \mathbb{C}^M \to \mathbb{R}</math>, а <math>T_i(\cdot)\colon \mathbb{C}^M \to \mathbb{C}^M</math>&nbsp;— [[афінне перетворення]].

Зокрема, <math>T_i(\cdot)</math> може бути перетворенням циклічного перенесення, поворотним та масштабувальним перетворенням тощо. Ядрова взаємна кореляція узагальнює взаємну кореляцію з лінійного простору до ядрового. Взаємна кореляція рівнозначна перенесенню; ядрова взаємна кореляція рівнозначна будь-яким афінним перетворенням, включно з перенесенням, повертанням, масштабуванням тощо.

=== Пояснення ===

Як приклад розгляньмо дві дійснозначні функції <math>f</math> та <math>g</math>, що відрізняються лише невідомим зміщенням уздовж осі ''x''. Взаємною кореляцією можливо скористатися, щоби знайти, наскільки <math>g</math> мусить бути зміщено вздовж осі ''x'', щоби зробити її ідентичною до <math>f</math>. Ця формула по суті соває функцію <math>g</math> уздовж осі ''x'', обчислюючи інтеграл від їхнього добутку в кожному положенні. Коли функції збігаються, значення <math>(f\star g)</math> є максимальним. Це тому, що коли піки (додатні області) вирівняно, вони роблять великий внесок до інтегралу. Аналогічно, коли вирівнюються западини (від'ємні області), вони також роблять додатний внесок до інтегралу, оскільки добуток двох від'ємних чисел є додатним.

[[Файл:Cross_correlation_animation.gif|центр|міні|500x500пкс| Анімація, яка наочно показує, як обчислюється взаємна кореляція]]

З [[Комплекснозначна функція|комплекснозначними функціями]] <math>f</math> та <math>g</math> взяття [[Спряжені числа|спряження]] <math>f</math> забезпечує, що вирівняні піки (або вирівняні западини) з уявними компонентами робитимуть до інтегралу додатний внесок.

В [[Економетрія|економетрії]] взаємну кореляцію з запізнюванням іноді називають взаємною автокореляцією ({{lang-en|cross-autocorrelation}}).<ref>{{cite book |last=Campbell |last2=Lo |last3=MacKinlay |year=1996 |title=The Econometrics of Financial Markets |location=NJ |publisher=Princeton University Press |isbn=0691043019 }} {{ref-en}}</ref>{{Rp|с. 74}}

=== Властивості ===

{{Bulleted list
| Взаємна кореляція функцій <math>f(t)</math> та <math>g(t)</math> рівнозначна [[Згортка (математичний аналіз)|згортці]] (позначуваній через <math>*</math>) функцій  <math>\overline{f(-t)}</math> та <math>g(t)</math>. Тобто,
: <math>[f(t) \star g(t)](t) = [\overline{f(-t)} * g(t)](t).</math>
| <math>[f(t) \star g(t)](t) = [\overline{g(t)} \star \overline{f(t)}](-t).</math>
| Якщо функція <math>f</math> є {{нп|Ермітова функція|ермітовою||Hermitian function}}, то <math>f \star g = f * g.</math>
| Якщо як <math>f</math>, так і <math>g</math> є ермітовими, то <math>f \star g = g \star f</math>.
| <math>\left(f \star g\right) \star \left(f \star g\right) = \left(f \star f\right) \star \left(g \star g\right)</math>.
| Аналогічно {{нп|Теорема про згортку|теоремі про згортку||Convolution theorem}}, взаємна кореляція задовольняє
: <math>\mathcal{F}\left\{f \star g\right\} = \overline{\mathcal{F} \left\{f\right\}} \cdot \mathcal{F}\left\{g\right\},</math>

де <math>\mathcal{F}</math> позначує [[перетворення Фур'є]], а <math>\overline{f}</math> знову позначує комплексне спряження <math>f</math>, оскільки <math>\mathcal{F}\left\{\overline{f(-t)}\right\}=\overline{\mathcal{F}\left\{f(t)\right\}}</math>. У поєднанні з алгоритмами [[Швидке перетворення Фур'є|швидкого перетворення Фур'є]] цю властивість часто використовують для ефективного чисельного обчислення взаємних кореляцій<ref name="KAP">{{cite book|doi=10.1109/ICSPCS.2015.7391783|isbn=978-1-4673-8118-5|chapter = GPU implementation of cross-correlation for image generation in real time|title = 2015 9th International Conference on Signal Processing and Communication Systems (ICSPCS)|pages = 1–6|year = 2015|last1 = Kapinchev|first1 = Konstantin|last2 = Bradu|first2 = Adrian|last3 = Barnes|first3 = Frederick|last4 = Podoleanu|first4 = Adrian}} {{ref-en}}</ref> (див. {{нп|Циклічна взаємна кореляція|циклічну взаємну кореляцію||Circular cross-correlation}}<!-- Проблема вікіфікації: Сторінка [[:en:Circular cross-correlation]] (→ [[:en:Discrete Fourier transform#Circular convolution theorem and cross-correlation theorem]]) перекладена як [[Дискретне перетворення Фур'є]], хоча хотіли [[Циклічна взаємна кореляція]] (SashkoR0B0T)-->).
| Взаємна кореляція пов'язана зі [[Спектральна густина|спектральною густиною]] (див. {{нп|Теорема Вінера — Хінчина|теорему Вінера&nbsp;— Хінчина||Wiener–Khinchin theorem}}).
| Взаємна кореляція згортки <math>f</math> та <math>h</math> з функцією <math>g</math> це згортка взаємної кореляції <math>g</math> та <math>f</math> з ядром <math>h</math>:
: <math>g \star \left(f * h\right) = \left(g \star f\right) * h</math>.
}}

== Взаємна кореляція випадкових векторів ==
{{main|{{нп|Взаємно кореляційна матриця|||Cross-correlation matrix}}}}

=== Визначення ===

Для [[Випадковий вектор|випадкових векторів]] <math>\mathbf{X} = (X_1,\ldots,X_m)^{\rm T}</math> та <math>\mathbf{Y} = (Y_1,\ldots,Y_n)^{\rm T}</math>, кожен з яких складається з [[Випадковий елемент|випадкових елементів]] з відомими [[Математичне сподівання|математичним сподіваннями]] та [[Дисперсія випадкової величини|дисперсіями]], '''матрицю взаємної кореляції''' <math>\mathbf{X}</math> та <math>\mathbf{Y}</math> визначають через<ref name=Gubner>{{cite book |first=John A. |last=Gubner |year=2006 |title=Probability and Random Processes for Electrical and Computer Engineers |publisher=Cambridge University Press |isbn=978-0-521-86470-1}} {{ref-en}}</ref>{{Rp|с.337}}

{{Equation box 1
|indent = :
|title =
|equation = {{NumBlk
 ||<math>\operatorname{R}_{\mathbf{X}\mathbf{Y}} \triangleq\ \operatorname{E}\left[\mathbf{X} \mathbf{Y}^{\rm T}\right]</math>
 | {{EquationRef|6}}
 }}
|cellpadding = 6
|border
|border colour = #0073CF
|background colour = #F5FFFA
}}

й вона має розміри <math>m \times n</math>. У записі по складових:

: <math>\operatorname{R}_{\mathbf{X}\mathbf{Y}} =
\begin{bmatrix}
\operatorname{E}[X_1 Y_1] & \operatorname{E}[X_1 Y_2] & \cdots & \operatorname{E}[X_1 Y_n] \\ \\
\operatorname{E}[X_2 Y_1] & \operatorname{E}[X_2 Y_2] & \cdots & \operatorname{E}[X_2 Y_n] \\ \\
 \vdots & \vdots & \ddots & \vdots \\ \\
\operatorname{E}[X_m Y_1] & \operatorname{E}[X_m Y_2] & \cdots & \operatorname{E}[X_m Y_n]
\end{bmatrix}
</math>

Випадкові вектори <math>\mathbf{X}</math> та <math>\mathbf{Y}</math> не зобов'язані мати однакові розміри, й будь-який з них може бути скалярним значенням.

=== Приклад ===

Наприклад, якщо <math>\mathbf{X} = \left( X_1,X_2,X_3 \right)^{\rm T}</math> та <math>\mathbf{Y} = \left( Y_1,Y_2 \right)^{\rm T}</math>&nbsp;— випадкові вектори, то <math>\operatorname{R}_{\mathbf{X}\mathbf{Y}}</math>&nbsp;— матриця <math>3 \times 2</math>, чиїм <math>(i,j)</math>-м елементом є <math>\operatorname{E}[X_i Y_j]</math>.

=== Визначення для комплексних випадкових векторів ===

Якщо <math>\mathbf{Z} = (Z_1,\ldots,Z_m)^{\rm T}</math> та <math>\mathbf{W} = (W_1,\ldots,W_n)^{\rm T}</math>&nbsp;— {{нп|Комплексний випадковий вектор|комплексні випадкові вектори||Complex random vector}}, кожен з яких містить випадкові величини з відомими математичними сподіваннями та дисперсіями, то матрицю взаємної кореляції <math>\mathbf{Z}</math> та <math>\mathbf{W}</math> визначають через

: <math>\operatorname{R}_{\mathbf{Z}\mathbf{W}} \triangleq\ \operatorname{E}[\mathbf{Z} \mathbf{W}^{\rm H}]</math>

де <math>{}^{\rm H}</math> позначує [[Ермітово-спряжена матриця|ермітове транспонування]].

== Взаємна кореляція стохастичних процесів ==

В [[Аналіз часових рядів|аналізі часових рядів]] і [[Статистика|статистиці]] взаємна кореляція пари [[Випадковий процес|випадкових процесів]]&nbsp;— це кореляція між значеннями цих процесів у різні моменти часу як функція від цих двох моментів часу. Нехай <math>(X_t, Y_t)</math>&nbsp;— пара випадкових процесів, а <math>t</math>&nbsp;— будь-яка точка в часі (<math>t</math> може бути [[Цілі числа|цілим числом]] для {{нп|Дискретний час|дискретночасового||Discrete time}} процесу, або [[Дійсне число|дійсним числом]] для процесу {{нп|Неперервний час|неперервночасового||Continuous time}}). Тоді <math>X_t</math>&nbsp;— це значення (або {{нп|Реалізація (теорія ймовірностей)|реалізація||Realization (probability)}}), реалізоване в результаті заданого перебігу процесу в момент часу <math>t</math>.

=== Взаємна кореляційна функція ===

Припустімо, що цей процес у момент часу <math>t</math> має середні значення <math>\mu_X(t)</math> та <math>\mu_Y(t)</math> і дисперсії <math>\sigma_X^2(t)</math> та <math>\sigma_Y^2(t)</math>, для будь-якого <math>t</math>. Тоді визначенням взаємної кореляції між моментами часу <math>t_1</math> та <math>t_2</math> є<ref name=Gubner />{{Rp|с.392}}

{{Equation box 1
|indent = :
|title =
|equation = {{NumBlk
 || <math>\operatorname{R}_{XY}(t_1, t_2) \triangleq\ \operatorname{E}\left[X_{t_1} \overline{Y_{t_2}}\right]</math>
 | {{EquationRef|7}}
 }}
|cellpadding = 6
|border
|border colour = #0073CF
|background colour = #F5FFFA
}}

де <math>\operatorname{E}</math>&nbsp;— оператор [[Математичне сподівання|математичного сподівання]]. Зауважте, що цей вираз може бути не визначеним.

=== Взаємна коваріаційна функція ===

Віднімання середнього значення перед множенням дає перехресну коваріацію моментів часу <math>t_1</math> та <math>t_2</math>:<ref name="Gubner" />{{Rp|с.392}}

{{Equation box 1
|indent = :
|title =
|equation = {{NumBlk
 || <math>\operatorname{K}_{XY}(t_1, t_2) \triangleq\ \operatorname{E}\left[\left(X_{t_1} - \mu_X(t_1)\right)\overline{(Y_{t_2} - \mu_Y(t_2))}\right]</math>
 | {{EquationRef|8}}
 }}
|cellpadding = 6
|border
|border colour = #0073CF
|background colour = #F5FFFA
}}

Зауважте, що цей вираз не є однозначно визначеним для всіх часових рядів та процесів, оскільки середнє значення або дисперсія можуть не існувати.

=== Визначення для стаціонарного в широкому сенсі стохастичного процесу ===

Нехай <math>(X_t, Y_t)</math> подає пару [[Стохастичний процес|стохастичних процесів]], {{нп|Спільна стаціонартність|спільно стаціонарних у широкому сенсі||Joint stationarity}}<!-- Проблема вікіфікації: Сторінка [[:en:Joint stationarity]] (→ [[:en:Stationary process#Joint stationarity]]) перекладена як [[Стаціонарність]], хоча хотіли [[Спільна стаціонартність]] (SashkoR0B0T)-->. Тоді [[Взаємна коваріація стохастичних процесів|взаємну коваріаційну]] та взаємну кореляційну функції задають наступним чином.

==== Взаємна кореляційна функція ====

{{Equation box 1
|indent = :
|title =
|equation = {{NumBlk
 || <math>\operatorname{R}_{XY}(\tau) \triangleq\ \operatorname{E}\left[X_t \overline{Y_{t+\tau}}\right]</math>
 | {{EquationRef|9}}
 }}
|cellpadding = 6
|border
|border colour = #0073CF
|background colour = #F5FFFA
}}

або, рівнозначно,

: <math>\operatorname{R}_{XY}(\tau) = \operatorname{E}\left[X_{t-\tau} \overline{Y_{t}}\right]</math>

==== Взаємна коваріаційна функція ====

{{Equation box 1
|indent = :
|title =
|equation = {{NumBlk
 || <math>\operatorname{K}_{XY}(\tau) \triangleq\ \operatorname{E}\left[\left(X_t - \mu_X\right)\overline{\left(Y_{t+\tau} - \mu_Y\right)}\right]</math>
 | {{EquationRef|10}}
 }}
|cellpadding= 6
|border
|border colour = #0073CF
|background colour = #F5FFFA
}}

або, рівнозначно,

: <math>\operatorname{K}_{XY}(\tau) = \operatorname{E}\left[\left(X_{t-\tau} - \mu_X\right)\overline{\left(Y_{t} - \mu_Y\right)}\right]</math>

де <math>\mu_X</math> та <math>\sigma_X</math>&nbsp;— середнє значення та стандартне відхилення процесу <math>(X_t)</math>, сталі в часі через стаціонарність; і так само для <math>(Y_t)</math>, відповідно. <math>\operatorname{E}[\ ]</math> показує [[математичне сподівання]]. Те, що взаємні коваріація та кореляція не залежать від <math>t</math>,&nbsp;— саме додаткова інформація (поза індивідуальною стаціонарністю в широкому сенсі), яку передає вимога, що <math>(X_t, Y_t)</math> ''спільно'' стаціонарні в широкому сенсі.

Взаємну кореляцію пари спільно [[Стаціонарність у широкому сенсі|стаціонарних у широкому сенсі]] [[Стохастичний процес|стохастичних процесів]] можливо оцінювати усереднюванням добутку зразків, виміряних за одним процесом, і зразків, виміряних за іншим (та за його зсувами в часі). Зразки, включені до цього усереднювання, можуть бути довільною підмножиною всіх зразків у сигналі (наприклад, зразки в межах скінченного часового вікна, або [[Відбір вибірки (статистика)|підвибірка]]{{Яка|дата=листопад 2021}}&nbsp;одного з сигналів). За великої кількості зразків це усереднення збігається до істинної взаємної кореляції.

=== Унормовування ===
Поширеною практикою в деяких дисциплінах (наприклад, у статистиці та [[Аналіз часових рядів|аналізі часових рядів]]) є унормовувати взаємно кореляційну функцію, щоб отримувати залежний від часу [[коефіцієнт кореляції Пірсона]]. Проте в деяких інших дисциплінах (наприклад, в інженерії) унормовування зазвичай пропускають, а терміни «взаємна кореляція» та «взаємна коваріація» використовують як взаємозамінні.

Визначення нормованої взаємної кореляції стохастичного процесу:

: <math>
 \rho_{XX}(t_1, t_2) =
 \frac{\operatorname{K}_{XX}(t_1, t_2)}{\sigma_X(t_1)\sigma_X(t_2)} =
 \frac{\operatorname{E}\left[\left(X_{t_1} - \mu_{t_1}\right)\overline{\left(X_{t_2} - \mu_{t_2}\right)}\right]}{\sigma_X(t_1)\sigma_X(t_2)}
</math>.

Якщо функція <math>\rho_{XX}</math> однозначно визначена, її значення мусять лежати в діапазоні <math>[-1,1]</math>, причому 1 вказує на ідеальну кореляцію, а &minus;1&nbsp;— на ідеальну [[Антикореляція|антикореляцію]].

Для спільно стаціонарних у широкому сенсі стохастичних процесів визначення таке:

: <math>
 \rho_{XY}(\tau) =
 \frac{\operatorname{K}_{XY}(\tau)}{\sigma_X \sigma_Y} =
 \frac{\operatorname{E}\left[\left(X_t - \mu_X\right) \overline{\left(Y_{t+\tau} - \mu_Y\right)}\right]}{\sigma_X \sigma_Y}
</math>.

Унормовування важливе як тому, що інтерпретація автокореляції як кореляції забезпечує безмасштабну міру сили [[Статистична залежність|статистичної залежності]], так і тому, що унормовування впливає на статистичні властивості оцінюваних автокореляцій.

=== Властивості ===

==== Властивість симетрії ====

Для спільно стаціонарних у широкому сенсі стохастичних процесів взаємно кореляційна функція має таку властивість симетрії:<ref name="KunIlPark">Kun Il Park, Fundamentals of Probability and Stochastic Processes with Applications to Communications, Springer, 2018, 978-3-319-68074-3 {{ref-en}}</ref>{{Rp|с.173}}

: <math>\operatorname{R}_{XY}(t_1, t_2) = \overline{\operatorname{R}_{YX}(t_2, t_1)}</math>

Відповідно, для спільно СШС стохастичних процесів:

: <math>\operatorname{R}_{XY}(\tau) = \overline{\operatorname{R}_{YX}(-\tau)}</math>

== Аналіз часової затримки ==

'''Взаємні кореляції''' корисні для визначання часової затримки між двома сигналами, наприклад, для визначання часових затримок поширення акустичних сигналів системою спрямованих мікрофонів.<ref>{{cite conference|last=Rhudy|first=Matthew|author2=Brian Bucci |author3=Jeffrey Vipperman |author4=Jeffrey Allanach |author5=Bruce Abraham |title=Microphone Array Analysis Methods Using Cross-Correlations|conference=Proceedings of 2009 ASME International Mechanical Engineering Congress, Lake Buena Vista, FL|pages=281–288|date=November 2009 |doi=10.1115/IMECE2009-10798|isbn=978-0-7918-4388-8}} {{ref-en}}</ref><ref>{{cite journal|last=Rhudy|first=Matthew|title=Real Time Implementation of a Military Impulse Classifier|publisher=University of Pittsburgh, Master's Thesis|date=November 2009|url=http://d-scholarship.pitt.edu/9773/|journal=|accessdate=16 листопада 2021|archive-date=14 липня 2014|archive-url=https://web.archive.org/web/20140714142722/http://d-scholarship.pitt.edu/9773/}} {{ref-en}}</ref>{{Прояснити|comment=Сумніваюся, що це визначення використовують для систем спрямованих мікрофонів, оскільки воно використовує інтеграл над усім часом. Можливо, інтегрування над часовим вікном?|дата=листопад 2021}}  Після обчислення '''взаємної кореляції''' між двома сигналами максимум (або мінімум, якщо сигнали корельовані негативно) взаємно кореляційної функції вказує момент часу, коли сигнали узгоджені найкраще; тобто затримка часу між цими двома сигналами визначається аргументом максимуму, або ''[[arg max]]'', '''взаємної кореляції''', як у

: <math>\tau_\mathrm{delay}=\underset{t \in \mathbb{R}}{\operatorname{arg\,max}}((f \star g)(t))</math>

== Термінологія в обробці зображень ==

=== Центрована нормована взаємна кореляція (ЦНВК) ===

Для застосувань в [[Обробка зображень|обробці зображень]], у яких яскравість зображення та шаблону може змінюватися залежно від умов освітлення та експозиції, зображення можуть спочатку унормовувати. Зазвичай це роблять на кожному кроці шляхом віднімання середнього значення та ділення на [[стандартне відхилення]]. Тобто, взаємна кореляція шаблону <math>t(x,y)</math> з підзображенням <math>f(x,y)</math>&nbsp;— це

: <math>\frac{1}{n} \sum_{x,y}\frac{1}{\sigma_f \sigma_t}\left(f(x,y) - \mu_f \right)\left(t(x,y) - \mu_t \right)</math>

де <math>n</math>&nbsp;— число пікселів у <math>t(x,y)</math> та <math>f(x,y)</math>, <math>\mu_f</math>&nbsp;— усереднення <math>f</math>, а <math>\sigma_f</math>&nbsp;— [[стандартне відхилення]] <math>f</math>.

З погляду [[Функціональний аналіз|функціонального аналізу]] це можливо розглядати як добуток двох [[Одиничний вектор|унормованих векторів]]. Тобто, якщо

: <math>F(x,y) = f(x,y) - \mu_f</math>

та

: <math>T(x,y) = t(x,y) - \mu_t</math>

то наведена вище сума дорівнює

: <math>\left\langle\frac{F}{\|F\|},\frac{T}{\|T\|}\right\rangle</math>

де <math>\langle\cdot,\cdot\rangle</math>&nbsp;— [[скалярний добуток]], а <math>\|\cdot\|</math>&nbsp;— [[Простір Lp|норма ''L''²]]. З [[Нерівність Коші — Буняковського|Коші&nbsp;— Буняковського]] тоді випливає, що ЦНВК ({{lang-en|zero-normalized cross-correlation, ZNCC}}) має діапазон <math>[-1, 1]</math>.

Таким чином, якщо <math>f</math> та <math>t</math> є дійснозначними матрицями, то їх нормована взаємна кореляція дорівнює косинусу кута між одиничними векторами <math>F</math> та <math>T</math>, будучи відтак <math>1</math> тоді й лише тоді, коли <math>F</math> дорівнює <math>T</math>, помноженому на додатний скаляр.

Нормована кореляція&nbsp;— це один із методів, які використовують для {{нп|зіставляння з шаблоном|||Template matching}}, процесу, який використовують для пошуку зразків або об'єктів у зображенні. Вона також є двовимірною версією [[Коефіцієнт кореляції моменту добутку Пірсона|коефіцієнту кореляції моменту добутку Пірсона]].

=== Нормована взаємна кореляція (НВК) ===
НВК ({{lang-en|normalized cross-correlation, NCC}}) подібна до ЦНВК, з тією лише відмінністю, що не віднімається локальне середнє значення освітленостей:

: <math>\frac{1}{n} \sum_{x,y}\frac{1}{\sigma_f \sigma_t} f(x,y) t(x,y)</math>

== Нелінійні системи ==
При використанні взаємної кореляції для нелінійних систем необхідно бути обережними. За певних обставин, які залежать від властивостей вхідних даних, взаємна кореляція між входом і виходом системи з нелінійною динамікою може бути повністю сліпою до певних нелінійних ефектів.<ref name="SAB1">{{cite book |last=Billings |first=S. A. |title=Nonlinear System Identification: NARMAX Methods in the Time, Frequency, and Spatio-Temporal Domains |publisher=Wiley |year=2013 |isbn=978-1-118-53556-1 }} {{ref-en}}</ref> Ця проблема виникає через те, що деякі квадрати моментів можуть дорівнювати нулеві, й це може помилково підказувати, що між двома сигналами існує невелика «кореляція» (у сенсі статистичної залежності), хоча насправді ці два сигнали сильно пов'язані нелінійною динамікою.

== Див. також ==
{{Div col|colwidth=25em}}
* [[Автоковаріація]]
* [[Автокореляція]]
* [[Взаємна коваріація]]
* {{нп|Взаємний спектр|||Cross-spectrum}}
* {{нп|Взаємно кореляційна матриця|||Cross-correlation matrix}}
* [[Згортка (математичний аналіз)|Згортка]]
* {{нп|Когерентність (обробка сигналів)|Когерентність||Coherence (signal processing)}}
* [[Кореляційна функція]]
* [[Кореляція]]
* {{нп|Кореляція цифрових зображень|||Digital image correlation}}
* {{нп|Масштабна кореляція|||Scaled correlation}}
* [[Спектральна густина]]
* {{нп|Теорема Вінера — Хінчина|||Wiener–Khinchin theorem}}
* [[Фазова кореляція]]
{{div col end}}

== Примітки ==
{{Примітки|30em}}

== Література ==

* {{Cite journal|last=Tahmasebi|first=Pejman|last2=Hezarkhani|first2=Ardeshir|last3=Sahimi|first3=Muhammad|year=2012|title=Multiple-point geostatistical modeling based on the cross-correlation functions|journal=Computational Geosciences|volume=16|issue=3|pages=779–797|doi=10.1007/s10596-012-9287-1}} {{ref-en}}

== Посилання ==

* [http://mathworld.wolfram.com/Cross-Correlation.html Взаємна кореляція від Mathworld] {{Webarchive|url=https://web.archive.org/web/20200830125213/http://mathworld.wolfram.com/Cross-Correlation.html |date=30 серпня 2020 }} {{ref-en}}
* http://scribblethink.org/Work/nvisionInterface/nip.html {{Webarchive|url=https://web.archive.org/web/20220422070452/http://scribblethink.org/Work/nvisionInterface/nip.html |date=22 квітня 2022 }} {{ref-en}}
* [http://www.staff.ncl.ac.uk/oliver.hinton/eee305/Chapter6.pdf http://www.staff.ncl.ac.uk/oliver.hinton/eee305/Chapter6.pdf] {{Webarchive|url=https://web.archive.org/web/20200801082855/http://www.staff.ncl.ac.uk/oliver.hinton/eee305/Chapter6.pdf |date=1 серпня 2020 }}{{ref-en}}

{{Статистика|аналіз}}

[[Категорія:Білінійні оператори]]
[[Категорія:Коваріація та кореляція]]
[[Категорія:Обробка сигналів]]
[[Категорія:Аналіз часової області]]