Сингулярний розклад матриці

Візуалізація SVD двовимірної, дійсної матриці зсуву M. Спершу, ми бачимо блакитний одиничний диск з двома векторами стандартного базису. Потім ми бачимо дію M, яка перетворює диск на еліпс. SVD розкладає M на три простих перетворення: початковий поворот V^*, масштабування Σ уздовж осі координат і кінцевий поворот U. Довжини півосей σ₁ і σ₂ є сингулярними значеннями (квадратами власних значень) M, а саме Σ_1,1 і Σ_2,2.

Візуалізація матричного множення в СПМ

Сингуля́рний ро́зклад ма́триці (сингулярне представлення матриці чи Шаблон:Lang-en) — один з важливих методів розкладу матриці з дійсними або комплексними числами. Є узагальненням власного розкладу матриці невід'ємно визначеної нормальної матриці (наприклад, симетричної матриці з додатними власними значеннями) на матрицю розміру $m\times n$ як узагальнення полярного розкладу.

Формально, сингулярний розклад матриці $𝐌$ розміру $m\times n$, яка складена з дійсних або комплексних чисел, буде розкладанням на множники у вигляді $𝐔\mathrm{\Sigma }{𝐕}^{\mathbf{*}}$, де $𝐔$ — матриця розміру $m\times m$ буде дійсною або комплексною унітарною матрицею, $\mathrm{\Sigma }$ буде $m\times n$-прямокутною діагональною матрицею з не від'ємними дійсними числами на діагоналі, і $𝐕$ буде дійсною або комплексною унітарною матрицею розміру $n\times n$. Діагональні елементи ${\sigma }_i$ матриці $\mathrm{\Sigma }$ відомі як сингулярні значення матриці $𝐌$. Стовпчики $𝐔$ та стовпчики $𝐕$ називаються ліво-сингулярними векторами та право-сингулярними векторами матриці $𝐌$, відповідно.

Сингулярний розклад матриці можна обчислити за допомогою наступних спостережень:

• Ліво-сингулярні вектори Шаблон:Math є множиною ортонормованих головних векторів Шаблон:Math.
• Право-сингулярні вектори Шаблон:Math є множиною ортонормованих головних векторів Шаблон:Math.
• Не нульові сингулярні значення Шаблон:Math (знаходяться на діагоналі Шаблон:Math) є квадратними коренями не нульових головних значень як Шаблон:Math, так і Шаблон:Math.

Сингулярний розклад матриці застосовується в лінійній алгебрі для обчислення псевдоінверсії, наближення матриці, обчислення ядра або рангу матриці та інше.

Визначення

Якщо M — матриця розміру m×n чиї елементи беруться з поля K, що може бути полем дійсних або комплексних чисел.

Тоді, невід'ємне дійсне число σ є сингулярним числом для M тоді і тільки тоді, коли існують вектори одиничної довжини u ∈ K^m, v ∈ Kⁿ що виконується:

$\{\begin{array}{c}Mv=\sigma u\\ M^{*}u=\sigma v.\end{array}$

Вектори u та v називаються відповідно сингулярним зліва вектором та сингулярним справа вектором для σ.

Для матриці M існує наступне представлення, що називається сингулярним розкладом матриці:

$M=U\mathrm{\Sigma }{V}^{*},$

де

U — унітарна матриця розміру m×m над полем K,

V* — ермітове спряження унітарної матриці матриці V розміру n×n над полем K,

Σ — діагональна матриця розміру m×n з числами σ на діагоналі,

числа σ зазвичай розташовують в спадаючому порядку, тому матриця Σ однозначно визначається матрицею M.

Сингулярні числа, для яких існують два і більше лінійно незалежних сингулярних векторів називаються виродженими.

Невироджені сингулярні числа мають по одному лівому та правому сингулярному вектору з точністю до множника e^iφ (в випадку дійсних чисел з точністю до знака).

Властивості

• Стовпці U та V є сингулярними зліва та сингулярними справа векторами для M відповідно.

• Кількість ненульових чисел на діагоналі матриці Σ рівне rank Σ = rank M = r (ранг), тому можна скоротити матриці U та V до r стовпців, а матрицю Σ до розміру r×r і отримаємо:

$M=\left(\begin{array}{c}{u}_1⋮\dots ⋮u_r\end{array}\right)\left(\begin{array}{ccc}{\sigma }_1& 0& 0\\ 0& \ddots & 0\\ 0& 0& {\sigma }_r\end{array}\right)\left(\begin{array}{c}{v}_1^{*}\\ ⋮\\ v_r^{*}\end{array}\right)=\sum _{i=1}^r{\sigma }_i{u}_i{v}_i^{*}.$

Зв'язок SVD з власними значеннями матриці

SVD існує для всіх прямокутних матриць, на відміну від власних векторів і розкладу по ньому, що існує тільки для деяких квадратних матриць.

Використавши формулу SVD для M та M^*, отримаємо:

$M{M}^{*}=U\mathrm{\Sigma }{V}^{*}(V\mathrm{\Sigma }{U}^{*})=U{\mathrm{\Sigma }}^2{U}^{*}$

$M^{*}M=V\mathrm{\Sigma }{U}^{*}(U\mathrm{\Sigma }{V}^{*})=V{\mathrm{\Sigma }}^2{V}^{*}$

Права сторона є розкладом по власних векторах лівої сторони:

• Ненульові елементи Σ² є власними значеннями для матриць $M{M}^{*}$ та $M^{*}M,$ тому ці матриці є невід'ємноозначеними (частковий випадок ермітових матриць);
• Стовпці матриці U є власними векторами матриці $M{M}^{*}$;
• Стовпці матриці V є власними векторами матриці $M^{*}M$.

Цей же результат також можна отримати з визначення сингулярних значень і векторів:

$\{\begin{array}{c}M{M}^{*}u={\sigma }^{2}u,\\ M^{*}Mv={\sigma }^{2}v.\end{array}$

Псевдоінверсія

Якщо матрицю можна розкласти як $M=U\mathrm{\Sigma }{V}^{*}$, то її псевдообернена матриця буде дорівнювати

$M^{+}=V{\mathrm{\Sigma }}^{+}{U}^{*}=\sum _{i=1}^r{\sigma }_i^{-1}{v}_i{u}_i^{*},$

де

Σ⁺ — матриця утворена транспонуванням Σ і заміною всіх її ненульових діагональних елементів на обернені.

Зв'язок SVD з ортогонально-проєкційними матрицями

• $P(M)\equiv M^{+}M=\sum _{i=1}^r{v}_i{v}_i^{*}=\sum _{i=1}^{r}P(v_i)$ — розклад ортогонально-проєкційної матриці(проєктора) в суму проєкторів,
• $P(M^{*})\equiv M{M}^{+}=\sum _{i=1}^r{u}_i{u}_i^{*}=\sum _{i=1}^{r}P(u_i).$

Див. також

• Теорія матриць
• Розклад матриці
• Метод найменших квадратів
• Метод головних компонент

Джерела

• Шаблон:Гантмахер.Теорія матриць
• Шаблон:Ланкастер.Теорія матриць
• Шаблон:Хорн.Джонсон.Матричний аналіз
• Шаблон:Golub.Loan.Matrix Computations