Матриця камери

У комп'ютерному зорі матриця камери або матриця проєкції (камери) є матрицею $3\times 4$, яка описує відображення стенопа від 3D-точок в світі, до 2D-точок зображення. Нехай $𝐱$ — представлення тривимірної точки в однорідних координатах (чотиривимірний вектор), і нехай $𝐲$ буде представленням зображення цієї точки в стенопі (3-вимірний вектор). Тоді має місце наступне співвідношення

$𝐲\sim 𝐂𝐱$

де $𝐂$ — це матриця камери, а $\sim$ знак, що означає, що ліва і права частини рівності рівні ненульовому скалярному множенню.

Так як матриця камери $𝐂$ бере участь у відображенні між елементами двох проєктивних просторів, її теж можна розглядати як проєктивний елемент. Це означає, що у неї є тільки 11 ступенів свободи, так як будь-яке множення на ненульовий скаляр призводить до еквівалентної матриці камери.

Походження

Відображення координат тривимірної точки P на координати двовимірного зображення проєкції точки на площину зображення, відповідно до моделі стенопа, дається формулою

$\left(\begin{array}{c}{y}_1\\ y_2\end{array}\right)=\frac{f}{x_3}\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)$

де $(x_1,x_2,x_3)$ є тривимірними координатами P щодо централізованої системи координат камери, $(y_1,y_2)$ — отримані координати зображення, f — фокусна відстань камери, для якої передбачається, що f > 0. Крім того, ми також припускаємо, що x₃ > 0.

Для отримання матриці камери цей вираз переписується в термінах однорідних координат. Замість двовимірного вектора $(y_1,y_2)$ розглянемо проєктивний елемент (3D-вектор) $𝐲=(y_1,y_2,1)$ та замість рівності розглядаємо рівність з точністю до масштабування на ненульове число, що позначається $\sim$. Спочатку ми записуємо координати однорідного зображення у вигляді виразів в звичайних тривимірних координатах.

$\left(\begin{array}{c}{y}_1\\ y_2\\ 1\end{array}\right)=\frac{f}{x_3}\left(\begin{array}{c}{x}_1\\ x_2\\ \frac{x_3}{f}\end{array}\right)\sim \left(\begin{array}{c}{x}_1\\ x_2\\ \frac{x_3}{f}\end{array}\right)$

Нарешті, також тривимірні координати виражаються в однорідному представленні $𝐱$, і ось як виглядає матриця камери:

$\left(\begin{array}{c}{y}_1\\ y_2\\ 1\end{array}\right)\sim \left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& \frac{1}{f}& 0\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\\ x_3\\ 1\end{array}\right)$   чи   $𝐲\sim 𝐂𝐱$

де $𝐂$ матриця камери, яка дається формулою

$𝐂=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& \frac{1}{f}& 0\end{array}\right)$,

і відповідна матриця камери тепер стає

$𝐂=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& \frac{1}{f}& 0\end{array}\right)\sim \left(\begin{array}{cccc}f& 0& 0& 0\\ 0& f& 0& 0\\ 0& 0& 1& 0\end{array}\right)$

Останній крок є наслідком того, що $𝐂$ сам по собі є проєктивним елементом.

Виведена тут матриця камери може здатися тривіальною в тому сенсі, що вона містить дуже мало ненульових елементів. Це в значній мірі залежить від конкретних систем координат, які були обрані для 3D і 2D точок. На практиці, однак, інші форми матриць камер є загальними, що буде показано нижче.

Положення камери

Матриця камери $𝐂$, отримана в попередньому розділі, має нульовий простір, натягнуте на вектор

$𝐧=\left(\begin{array}{c}0\\ 0\\ 0\\ 1\end{array}\right)$

Це також однорідне уявлення тривимірної точки, яка має координати (0,0,0), тобто «центр камери» (так зване вхідне вічко; положення отвору стенопа), що знаходиться в O.

Для будь-якої іншої 3D-точки з $x_3=0$, результат $𝐲\sim 𝐂𝐱$ коректно визначений і має вигляд $𝐲=(y_1{y}_{2}0{)}^{\mathrm{\top }}$. Це відповідає нескінченно віддаленій точці на площині проєктованого зображення (навіть якщо площина зображення вибрана як евклідова площина, то не існує відповідної точки перетину).

Нормована матриця камери і координати нормованого зображення

Матриця камери, отримана вище, може бути спрощена ще більше, якщо ми припустимо, що f = 1:

${𝐂}_0=\left(\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\end{array}\right)=\left(\begin{array}{cc}𝐈& \mathrm{𝟎}\end{array}\right)$

де $𝐈$ тут позначає одиничну матрицю $3\times 3$. Зверніть увагу, що $3\times 4$ matrix $𝐂$ тут розділена на конкатенацію матриці $3\times 3$ і тривимірного вектору. Матриця камери ${𝐂}_0$ іноді називається канонічної формою.

До сіх пір всі точки в тривимірному світі були представлені в системі координат відцентрованої камери, тобто в системі координат, яка має початок в центрі камери (місце розташування точкового отвору стенопа). На практиці, однак, 3D-точки можуть бути представлені в термінах координат відносно довільної системи координат (X1',X2',X3'). Припускаючи, що координатні осі камери (X1,X2,X3) і осі (X1',X2',X3') мають Евклідів тип (ортогональний і ізотропний), існує єдине Евклідове тривимірне перетворення (поворот і зрушення) між двома системами координат. Іншими словами, камера не обов'язково знаходиться на початку координат і дивиться уздовж осі z.

Дві операції обертання і зсуву тривимірних координат можуть бути представлені у вигляді двох матриць $4\times 4$

$\left(\begin{array}{cc}𝐑& \mathrm{𝟎}\\ \mathrm{𝟎}& 1\end{array}\right)$ and $\left(\begin{array}{cc}𝐈& 𝐭\\ \mathrm{𝟎}& 1\end{array}\right)$

де $𝐑$ є матрицею повороту $3\times 3$, а $𝐭$ є тривимірним вектором паралельного перенесення. Коли перша матриця множиться на однорідне уявлення 3D-точки, результатом є однорідне уявлення поверненої точки, а друга матриця виконує замість цього паралельне перенесення. Виконання двох операцій послідовно, тобто спочатку поворот, а потім паралельне перенесення (з вектором паралельного перенесення, заданим у вже поверненій системі координат), дає комбіновану матрицю повороту і паралельного перенесення

$\left(\begin{array}{cc}𝐑& 𝐭\\ \mathrm{𝟎}& 1\end{array}\right)$

Припускаючи, що $𝐑$ і $𝐭$ — це точно обертання та перенесення, які пов'язані з двома системами координат (X1,X2,X3) і (X1',X2',X3') вище, це означає, що

$𝐱=\left(\begin{array}{cc}𝐑& 𝐭\\ \mathrm{𝟎}& 1\end{array}\right){𝐱}^{\prime }$

де ${𝐱}^{\prime }$ — однорідне уявлення точки P в системі координат (X1',X2',X3').

Припускаючи також, що матриця камери задана ${𝐂}_0$, відображення з координат в (X1',X2',X3') до однорідних координатам зображення стає

$𝐲\sim {𝐂}_0𝐱=\left(\begin{array}{cc}𝐈& \mathrm{𝟎}\end{array}\right)\left(\begin{array}{cc}𝐑& 𝐭\\ \mathrm{𝟎}& 1\end{array}\right){𝐱}^{\prime }=\left(\begin{array}{cc}𝐑& 𝐭\end{array}\right){𝐱}^{\prime }$

Отже, матриця камери, яка пов'язує точки в системі координат (X1',X2',X3') з координатами зображення, є

${𝐂}_N=\left(\begin{array}{cc}𝐑& 𝐭\end{array}\right)$

конкатенація матриці 3D обертання і тривимірного вектора перенесення.

Цей тип матриці камери називають нормованою матрицею камери, вона приймає фокусну відстань = 1 і координати зображення вимірюються в системі координат, де початок координат знаходиться на перетині між віссю X3 і площиною зображення, і має ті ж одиниці як тривимірна система координат. Отримані координати зображення називаються координатами нормованого зображення.

Положення камери

Знову ж, описаний вище нульове простір нормованої матриці камери, описана вище ${𝐂}_N$, натягнуто на 4-мірний вектор

$𝐧=\left(\begin{array}{c}-{𝐑}^{-1}𝐭\\ 1\end{array}\right)=\left(\begin{array}{c}\widetilde{𝐧}\\ 1\end{array}\right)$

Це, знову ж, координати центру камери, тепер відносно системи (X1',X2',X3'). Це можна побачити, застосувавши спочатку поворот, а потім паралельний перенос до тривимірного вектору $\widetilde{𝐧}$ і результат є однорідним представленням тривимірних координат (0,0,0).

Це означає, що центр камери (в її однорідному поданні) знаходиться в нульовому просторі матриці камери, за умови, що він представлений у вигляді тривимірних координат відносно тієї ж системи координат, до якої відноситься матриця камери.

Нормовану матрицю камери ${𝐂}_N$ можна тепер записати у вигляді

${𝐂}_N=𝐑\left(\begin{array}{cc}𝐈& {𝐑}^{-1}𝐭\end{array}\right)=𝐑\left(\begin{array}{cc}𝐈& -\widetilde{𝐧}\end{array}\right)$

де $\widetilde{𝐧}$ — це тривимірні координати камери відносно системи (X1',X2',X3').

Загальна матриця камери

З огляду на відображення, створене нормованою матрицею камери, отримані координати нормованого зображення можуть бути перетворені за допомогою довільної двовимірної гомографіі. Це включає двовимірний перенос та обертання, а також масштабування (изотропне і анізотропне), але, також, і загальні двовимірні перспективні перетворення. Таке перетворення може бути представлено як матриця $3\times 3$ matrix $𝐇$, яка відображає координати нормованого зображення $𝐲$ до координат перетвореного однорідного зображення ${𝐲}^{\prime }$:

${𝐲}^{\prime }=𝐇𝐲$

Вставка вищенаведеного виразу для координат нормованого зображення у вигляді тривимірних координат дає

${𝐲}^{\prime }=𝐇{𝐂}_N{𝐱}^{\prime }$

Це дає найбільш загальну форму матриці камери

$𝐂=𝐇{𝐂}_N=𝐇\left(\begin{array}{cc}𝐑& 𝐭\end{array}\right)$

Див. також

• 3D-проєкція
• Фундаментальна матриця
• Об'ємна відбудова

Посилання

• Шаблон:Cite book