Канонічна кореляція

Шаблон:Машинне навчання У статистиці, каноні́чно-кореляці́йний ана́ліз (ККА, Шаблон:Lang-en) це спосіб виведення інформації зі Шаблон:Нп. Якщо ми маємо два вектори випадкових змінних, X = (X₁, ..., X_n) та Y = (Y₁, ..., Y_m), та між цими змінними існують кореляції, то канонічно-кореляційний аналіз знайде такі лінійні комбінації X_i та Y_j, які мають максимальну кореляцію між собою. Т. Р. Кнапп зазначає, що «практично всі загальноприйняті Шаблон:Нп значущості можна розглядати як окремі випадки канонічно-кореляційного аналізу, що є загальною процедурою для дослідження взаємозв'язків між двома наборами змінних.» Вперше цей метод було представлено Гарольдом Готелінґом 1936 року.

Визначення

Для двох заданих стовпчикових векторів випадкових змінних зі скінченними другими моментами $X=(x_1,\dots ,x_n{)}^{\prime }$ та $Y=(y_1,\dots ,y_m{)}^{\prime }$ можна визначити взаємну коваріацію ${\mathrm{\Sigma }}_{XY}=\mathrm{cov}(X,Y)$ як матрицю $n\times m$, чий $(i,j)$-тий елемент є коваріацією $\mathrm{cov}(x_i,y_j)$. На практиці ми б оцінювали коваріаційну матрицю на основі вибіркових даних з $X$ та $Y$ (тобто, з пари матриць даних).

Канонічно-кореляційний аналіз шукає таких векторів $a$ та $b$, що випадкові змінні $a^{\prime }X$ та $b^{\prime }Y$ максимізують кореляцію $\rho =\mathrm{corr}(a^{\prime }X,b^{\prime }Y)$. Випадкові змінні $U=a^{\prime }X$ та $V=b^{\prime }Y$ є першою парою канонічних змінних (Шаблон:Lang-en). Потім шукають векторів, які максимізують ту саму кореляцію, з обмеженням, що вони не корелюють з першою парою канонічних змінних; це дає другу пару канонічних змінних (Шаблон:Lang-en). Цю процедуру може бути продовжено аж до $\min \{m,n\}$ разів.

Обчислення

Виведення

Нехай ${\mathrm{\Sigma }}_{XX}=\mathrm{cov}(X,X)$, а ${\mathrm{\Sigma }}_{YY}=\mathrm{cov}(Y,Y)$. Параметром для максимізації є

$\rho =\frac{a^{\prime }{\mathrm{\Sigma }}_{XY}b}{\sqrt{a^{\prime }{\mathrm{\Sigma }}_{XX}a}\sqrt{b^{\prime }{\mathrm{\Sigma }}_{YY}b}}.$

Першим кроком є визначення заміни базису та визначення

$c={\mathrm{\Sigma }}_{XX}^{1/2}a,$

$d={\mathrm{\Sigma }}_{YY}^{1/2}b.$

І відтак ми маємо

$\rho =\frac{c^{\prime }{\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}d}{\sqrt{c^{\prime }c}\sqrt{d^{\prime }d}}.$

Згідно нерівності Коші — Буняковського, ми маємо

$\left(c^{\prime }{\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}\right)d\le {\left(c^{\prime }{\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}c\right)}^{1/2}{\left(d^{\prime }d\right)}^{1/2},$

$\rho \le \frac{{\left(c^{\prime }{\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}c\right)}^{1/2}}{{\left(c^{\prime }c\right)}^{1/2}}.$

Рівність є тоді, коли вектори $d$ та ${\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}c$ є колінеарними. Крім того, максимум кореляції досягається тоді, коли $c$ є власним вектором матриці ${\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}$ з максимальним власним значенням (див. відношення Релея). Подальші пари знаходять, використовуючи власні значення зменшуваної величини. Ортогональність гарантовано симетричністю кореляційних матриць.

Розв'язок

Отже, розв'язанням є:

• $c$ є власним вектором ${\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}$
• $d$ є пропорційним до ${\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1/2}c$

Аналогічно,

• $d$ є власним вектором ${\mathrm{\Sigma }}_{YY}^{-1/2}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}$
• $c$ є пропорційним до ${\mathrm{\Sigma }}_{XX}^{-1/2}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1/2}d$

Обертаючи зміну координат, отримуємо, що

• $a$ є власним вектором ${\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}{\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}$
• $b$ є власним вектором ${\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}{\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}$
• $a$ є пропорційним до ${\mathrm{\Sigma }}_{XX}^{-1}{\mathrm{\Sigma }}_{XY}b$
• $b$ є пропорційним до ${\mathrm{\Sigma }}_{YY}^{-1}{\mathrm{\Sigma }}_{YX}a$

Канонічні змінні визначаються як

$U=c^{\prime }{\mathrm{\Sigma }}_{XX}^{-1/2}X=a^{\prime }X$

$V=d^{\prime }{\mathrm{\Sigma }}_{YY}^{-1/2}Y=b^{\prime }Y$

Реалізація

ККА може бути обчислювано із застосуванням сингулярного розкладу кореляційної матриці. Він доступний як функція в

• MATLAB як canoncorr Шаблон:Webarchive
• R як cancor Шаблон:Webarchive, або в FactoMineR Шаблон:Webarchive, або в CCP Шаблон:Webarchive
• Шаблон:Нп як proc cancorr Шаблон:Webarchive
• scikit-learn, Python як Cross decomposition Шаблон:Webarchive
• SPSS як макрос CanCorr, що постачається з основним програмним забезпеченням

Перевірка гіпотез

Кожен рядок може бути перевірено на значущість за допомогою наступного методу. Оскільки кореляції впорядковуються, то якщо сказати, що рядок $i$ є нульовим, з цього випливатиме, що всі наступні кореляції також є нульовими. Якщо ми маємо в вибірці $p$ незалежних спостережень, а ${\hat{\rho }}_i$ є оцінкою кореляції для $i=1,\dots ,\min \{m,n\}$, то для $i$-того рядка статистичним критерієм є

${\chi }^2=-(p-1-\frac{1}{2}(m+n+1))\ln \prod _{j=i}^{\min \{m,n\}}(1-{\hat{\rho }}_j^2),$

що для великих $p$ асимптотично має розподіл хі-квадрат з $(m-i+1)(n-i+1)$ ступенями вільності. Оскільки всі кореляції від $\min \{m,n\}$ до $p$ є логічно нульовими (і оцінюваними таким чином), то добуток членів після цієї точки не має значення.

Практичні застосування

Типовим застосуванням для канонічної кореляції в експериментальному контексті є брати два набори змінних, і дивитися, що є спільного між цими двома наборами. Наприклад, у психологічному тестуванні можна взяти два добре усталені багатовимірні Шаблон:Нп, такі як мінесотський багатопрофільний особистісний опитувальник (MMPI-2) та Шаблон:Нп. Дивлячись, як співвідносяться коефіцієнти MMPI-2 та NEO, можна отримати розуміння, які виміри були спільними для цих двох наборів, і скільки було спільної мінливості. Наприклад, можна було би з'ясувати, що виміри екстравертності та невротизму відповідальні за значну величину спільної мінливості цих двох наборів.

Канонічно-кореляційний аналіз також можна використовувати для вироблення рівняння моделі, яка пов'язує два набори змінних, наприклад, набір вимірів продуктивності та набір пояснювальних змінних, або набір виходів та набір входів. На таку модель може бути накладено обмеження, щоби забезпечити відображення нею теоретичних вимог або інтуїтивно очевидних умов. Цей тип моделі відомий як модель з максимальною кореляцією (Шаблон:Lang-en).

Унаочнюють результати канонічної кореляції зазвичай за допомогою стовпчикових діаграм коефіцієнтів двох наборів змінних для пар канонічних Шаблон:Нп, що показують значущу кореляцію. Деякі автори вважають, що їх найкраще унаочнювати через геліографіки (Шаблон:Lang-en), круговий формат із променями як стовпчики, де кожна з половин представляє по набору змінних.

Приклади

Нехай $X=x_1$ з нульовим математичним сподіванням, тобто, $\mathrm{E}(X)=0$. Якщо $Y=X$, тобто $X$ та $Y$ є повністю корельованими, то, наприклад, $a=1$ та $b=1$, і відтак першою (і єдиною в цьому прикладі) парою канонічних змінних є $U=X$ та $V=Y=X$. Якщо $Y=-X$, тобто $X$ та $Y$ є повністю антикорельованими, то, наприклад, $a=1$ та $b=-1$, і відтак першою (і єдиною в цьому прикладі) парою канонічних змінних є $U=X$ та $V=-Y=X$. Зауважмо, що в обох випадках $U=V$, що показує, що канонічно-кореляційний аналіз трактує корельовані та антикорельовані змінні аналогічно.

Зв'язок із головними кутами

Виходячи з того, що $X=(x_1,\dots ,x_n{)}^{\prime }$ та $Y=(y_1,\dots ,y_m{)}^{\prime }$ мають нульові математичні сподівання, тобто $\mathrm{E}(X)=\mathrm{E}(Y)=0$, їхні коваріаційні матриці ${\mathrm{\Sigma }}_{XX}=\mathrm{Cov}(X,X)=\mathrm{E}[X{X}^{\prime }]$ та ${\mathrm{\Sigma }}_{YY}=\mathrm{Cov}(Y,Y)=\mathrm{E}[Y{Y}^{\prime }]$ можна розглядати як матриці Грама у внутрішньому добутку для елементів $X$ та $Y$ відповідно. В цій інтерпретації випадкові змінні, елементи $x_i$ з $X$ та $y_j$ з $Y$, розглядають як елементи векторного простору з внутрішнім добутком, заданим коваріацією $\mathrm{cov}(x_i,y_j)$, див. Зв'язок коваріації з внутрішніми добутками.

Тоді визначення канонічних змінних $U$ та $V$ є рівнозначним визначенню Шаблон:Нп для пари підпросторів, породжуваних елементами $X$ та $Y$ по відношенню до цього внутрішньому добутку. Канонічні кореляції $\mathrm{corr}(U,V)$ дорівнюють косинусові Шаблон:Нп.

Див. також

• Шаблон:Нп
• Шаблон:Нп
• Шаблон:Нп
• Шаблон:Нп
• Метод головних компонент
• Дискримінантний аналіз
• Шаблон:Нп
• Сингулярний розклад матриці
• Шаблон:Нп

Посилання

• Discriminant Correlation Analysis (DCA) Шаблон:Webarchive (MATLAB)
• Шаблон:Cite journal Шаблон:Ref-en
• A note on the ordinal canonical-correlation analysis of two sets of ranking scores Шаблон:Webarchive (також пропонує програму мовою FORTRAN) — в J. of Quantitative Economics 7(2), 2009, pp. 173–199 Шаблон:Ref-en
• Representation-Constrained Canonical Correlation Analysis: A Hybridization of Canonical Correlation and Principal Component Analyses (також пропонує програму мовою FORTRAN) — в J. of Applied Economic Sciences 4(1), 2009, pp. 115–124