Завісні втрати

Графік завісних втрат (синій, вимірюється вертикально) проти 0-1 втрат (вимірюється вертикально; не правильна класифікація позначена зеленим: Шаблон:Math) для Шаблон:Math та змінна Шаблон:Mvar (вимірюється горизонтально). Бачимо, що завісні втрати штрафують передбачення Шаблон:Math, відповідно до розділення в опорній веторній машині.

Завісні втрати (Шаблон:Lang-en) у машинному навчанні — це функція втрат, яка використовується для навчання класифікаторів. Завісні втрати використовують для максимальної розділової класифікації, здебільшого для опорних векторних машин (ОВМ). Для поміченого виходу Шаблон:Math та оцінки класифікатора Шаблон:Mvar, завісна втрата передбачення Шаблон:Mvar визначається як

$\ell (y)=\max (0,1-t\cdot y).$

Варто зауважити, що тут Шаблон:Mvar є «сирим» значенням функції прийняття рішення у класифікаторі, а не міткою класу. Наприклад, в лінійних ОВМ $y=𝐰\cdot 𝐱+b$, де $(𝐰,b)$ є параметрами гіперплощини та $𝐱$ — точка, яку потрібно класифікувати.

Зрозуміло, що коли Шаблон:Mvar та Шаблон:Mvar мають однаковий знак (що означає, що Шаблон:Mvar вказує на правильний клас) та $|y|⩾1$, тоді завісні втрати $\ell (y)=0$, а коли вони мають різні знаки, то $\ell (y)$ зростає лінійно від Шаблон:Mvar (одностороння помилка). На рисунку пояснюється, чому завісні втрати дають кращу оцінку втрат ніж функція нуль-один.

Узагальнення

Хоч є поширеною практикою узагальнення бінарних ОВМ на Шаблон:Нп ОВМ у режимі один з усіх або один в один, також можливе узагальнення з використанням завісної функції. Було запропоновано декілька різних багатокласових завісних втрат. Наприклад, Крамер та Сінгер дали таке визначення у випадку лінійного класифікатора:

$\ell (y)=\max (0,1+\underset{t\ne y}{\max }{𝐰}_t𝐱-{𝐰}_y𝐱).$

Тут $y$ — мітка цілі, ${𝐰}_t$ та ${𝐰}_y$ — параметри моделі.

Вестон і Воткінс дали подібне визначення, але з сумою замість максимуму:

$\ell (y)=\sum _{t\ne y}\max (0,1+{𝐰}_t𝐱-{𝐰}_y𝐱).$

При структуровому передбачуванні завісні втрати можуть бути поширені на структуровані вихідні простори. Шаблон:Нп з масштабуванням розділення використовує наступний варіант, де Шаблон:Math позначає параметри ОВМ, Шаблон:Math — передбачення ОВМ, Шаблон:Mvar додає функцію ознак та Шаблон:Math є відстанню Геммінга:

$\begin{array}{cc}\ell (𝐲)& =\max (0,\mathrm{\Delta }(𝐲,𝐭)+⟨𝐰,\varphi (𝐱,𝐲)⟩-⟨𝐰,\varphi (𝐱,𝐭)⟩)\\ & =\max (0,\underset{y\in 𝒴}{\max }(\mathrm{\Delta }(𝐲,𝐭)+⟨𝐰,\varphi (𝐱,𝐲)⟩)-⟨𝐰,\varphi (𝐱,𝐭)⟩).\end{array}$

Оптимізація

Завісні втрати є опуклою функцією, отже, опуклі оптимізатори, що використовуються у машинному навчанні, можуть працювати з ними. Це не диференційовна функція, проте вона має субградієнт відносно параметрів моделі Шаблон:Math лінійної ОВМ з функцією оцінки $y=𝐰\cdot 𝐱$, який буде

$\frac{\partial \ell }{\partial w_i}=\{\begin{array}{cc}-t\cdot x_i& \text{if }t\cdot y<1\\ 0& \text{otherwise}\end{array}$

Креслення трьох варіантів завісних втрат як функції Шаблон:Math: «звичайний» варіант (синій), його квадрат (зелений), і кусково гладкий варіант Ренні та Сребро (червоний).

Однак, оскільки похідна завісних втрат при $ty=1$ невизначена, то гладкий варіант, запропонований Ренні та Сребро, є більш бажаним для оптимізації

$\ell (y)=\{\begin{array}{cc}\frac{1}{2}-ty& \text{if}ty\le 0,\\ \frac{1}{2}(1-ty{)}^2& \text{if}0<ty\le 1,\\ 0& \text{if}1\le ty\end{array}$

або квадратично гладкий

${\ell }_{\gamma }(y)=\{\begin{array}{cc}\frac{1}{2\gamma }\max (0,1-ty{)}^2& \text{if}ty\ge 1-\gamma \\ 1-\frac{\gamma }{2}-ty& \text{otherwise}\end{array}$

запропонований Чангом. Модифікований варіант Шаблон:Нп $L$ є спеціальним випадком цієї функції втрат з $\gamma =2$, зокрема, $L(t,y)=4{\ell }_2(y)$.