Перегляд вихідного коду сторінки Функції втрат для класифікації

[[Файл:BayesConsistentLosses2.jpg|міні| Баєсові функції втрат: [[Функція втрат#Функція втрат 0-1|функція втрат 0-1]] (сірий), функція втрат Севіджа (зелений), логістична функція втрат (помаранчевий), експоненціальна функція втрат (фіолетовий), тангенсна функція втрат (коричневий), [[Функція втрат#Квадратична функція втрат|квадратична функція втрат]] (синій).]]
У [[Машинне навчання|машинному навчанні]] та [[Оптимізація (математика)|математичній оптимізації]] '''функції втрат для класифікації''' є обчислювальними [[Функція втрат|функціями втрат,]] що представляють ціну, сплачену за неточність прогнозів у [[Задача класифікації|задачах класифікації]] (потрібно ідентифікувати до якої категорії належить конкретне спостереження).<ref name="mit">{{Cite journal|last=Rosasco|first=L.|last2=De Vito|first2=E. D.|last3=Caponnetto|first3=A.|last4=Piana|first4=M.|last5=Verri|first5=A.|year=2004|title=Are Loss Functions All the Same?|url=http://web.mit.edu/lrosasco/www/publications/loss.pdf|journal=Neural Computation|volume=16|issue=5|pages=1063–1076|doi=10.1162/089976604773135104|pmid=15070510}}</ref>

Дано <math>\mathcal{X}</math> як простір усіх можливих вхідних даних (зазвичай <math>\mathcal{X} \subset \mathbb{R}^d</math>), і <math>\mathcal{Y} = \{ -1,1 \}</math> як набір міток (можливих вихідних даних), типовою метою алгоритмів класифікації є пошук функції <math>f: \mathcal{X} \mapsto \mathbb{R}</math>, яка найкраще прогнозує значення мітки <math>y</math> для заданого входу <math>\vec{x}</math>.<ref name="penn">{{Citation|last=Shen|first=Yi|title=Loss Functions For Binary Classification and Class Probability Estimation|publisher=University of Pennsylvania|year=2005|url=http://stat.wharton.upenn.edu/~buja/PAPERS/yi-shen-dissertation.pdf|access-date=6 грудня 2014}}</ref> Однак, через неповну інформацію, наявність шуму під час вимірювання, або ймовірнісні складові процесу, який досліджується, можливо для одного і того ж самого <math>\vec{x}</math> мати, як передбачення, різні <math>y</math>.<ref name="mitlec">{{Citation|last=Rosasco|first=Lorenzo|last2=Poggio|first2=Tomaso|title=A Regularization Tour of Machine Learning|series=MIT-9.520 Lectures Notes|volume=Manuscript|year=2014}}</ref> В результаті, метою навчання є мінімізація очікуваних втрат (також відомих як ризик), визначених як

: <math>I[f] = \displaystyle \int_{\mathcal{X} \times \mathcal{Y}} V(f(\vec{x}),y) p(\vec{x},y) \, d\vec{x} \, dy</math>

де <math>V(f(\vec{x}),y)</math>&nbsp;— задана функція втрат і <math>p(\vec{x},y)</math>&nbsp;— [[Густина ймовірності|функція густини ймовірності]] процесу, яка генерує дані. Еквівалентно цю функцію можна записати як

: <math>p(\vec{x},y)=p(y\mid\vec{x}) p(\vec{x}).</math>

У рамках класифікації часто використовують [[Функція втрат|функції втрат]], трактовані виключно в термінах добутку справжньої мітки <math>y</math> на передбачену мітку <math>f(\vec{x})</math>. Отже, їх можна визначити як функцію лише однієї змінної <math>\upsilon=y f(\vec{x})</math>, таким чином <math>V(f(\vec{x}),y) = \phi(yf(\vec{x})) = \phi(\upsilon)</math> з правильно обраною функцією <math>\phi:\mathbb{R}\to\mathbb{R}</math>. Вони називаються '''функціями втрат на основі маржі''' (margin-based loss functions). Вибір функції втрат на основі маржі прирівнюється до вибору <math>\phi</math>. Обрання функції втрат у цій структурі впливає на оптимальну <math>f^{*}_\phi</math>, яка мінімізує очікуваний ризик.

У разі бінарної класифікації можна спростити розрахунок очікуваного ризику за допомогою зазначеного вище інтегралу. Зокрема,

: <math>
\begin{align}
I[f] & = \int_{\mathcal{X} \times \mathcal{Y}} V(f(\vec{x}),y) p(\vec{x},y) \,d\vec{x} \,dy \\[6pt]
& = \int_\mathcal{X} \int_\mathcal{Y} \phi(yf(\vec{x})) p(y\mid\vec{x})p(\vec{x}) \,dy \,d\vec{x} \\[6pt]
& = \int_\mathcal{X} [\phi(f(\vec{x})) p(1\mid\vec{x})+\phi(-f(\vec{x})) p(-1\mid\vec{x})]p(\vec{x})\,d\vec{x} \\[6pt]
& = \int_\mathcal{X} [\phi(f(\vec{x})) p(1\mid\vec{x})+\phi(-f(\vec{x})) (1-p(1\mid\vec{x}))]p(\vec{x})\,d\vec{x}
\end{align}
</math>

Друга рівність випливає з описаних вище властивостей. Третя рівність випливає з того факту, що 1 і −1 є єдино можливими значеннями для <math>y</math>, а четверте&nbsp;— за рахунок <math>p(-1\mid x)=1-p(1\mid x).</math> Вираз у дужках <math>
[\phi(f(\vec{x})) p(1\mid\vec{x})+\phi(-f(\vec{x})) (1-p(1\mid\vec{x}))]
</math> відомий як ''очікуваний ризик.''

Для мінімізатора <math>I[f]</math> можна вирішити проблему, взявши функціональну похідну від останньої рівності відносно <math>f</math>, при цьому встановити похідну рівною 0. Це призведе до рівняння
: <math>
\frac{\partial \phi(f)}{\partial f}\eta + \frac{\partial \phi(-f)}{\partial f}(1-\eta)=0 \;\;\;\;\;(1)
</math>

що також є еквівалентним встановленню похідної від умовного ризику рівною нулю.

Враховуючи бінарну природу класифікації, природним відбором для функції втрат (припускаючи однакову вартість [[Хибно позитивні та хибно негативні|хибно позитивного та хибно негативного]]) буде [[Функція втрат#Функція втрат 0-1|функція втрат 0-1]] ([[характеристична функція]] 0–1). Вона приймає значення 0, якщо прогнозована класифікація дорівнює класифікації істинного класу або 1, якщо прогнозована класифікація не відповідає істинному класу. Цей вибір моделюється за формулою

: <math>V(f(\vec{x}),y)=H(-yf(\vec{x}))</math>

де <math>H</math> позначає [[Функція Гевісайда|ступінчасту функцію Гевісайда]]. Однак, ця функція втрат є неопуклою і негладкою, і пошук оптимального рішення є [[NP-складна задача|NP-складною]] комбінаторною задачею оптимізації.<ref name="Utah">{{Citation|last=Piyush|first=Rai|title=Support Vector Machines (Contd.), Classification Loss Functions and Regularizers|publisher=Utah CS5350/6350: Machine Learning|date=13 вересня 2011|url=https://cis.temple.edu/~latecki/Courses/AI-Fall12/Lectures/SVM.pdf|access-date=4 травня 2021}}</ref> Як результат, краще розглянути '''сурогатні функції втрат''', які підходять для часто вживаних алгоритмів навчання, оскільки вони мають і опуклі, і гладкі властивості. На додаток до їх обчислювальної керованості, можна показати, що вирішення проблеми навчання з використанням цих сурогатних функцій втрат дозволяють відновити фактичне вирішення вихідної проблеми класифікації.<ref name="uci">{{Citation|last=Ramanan|first=Deva|title=Lecture 14|publisher=UCI ICS273A: Machine Learning|date=27 лютого 2008|url=http://www.ics.uci.edu/~dramanan/teaching/ics273a_winter08/lectures/lecture14.pdf|access-date=6 грудня 2014}}</ref> Деякі з цих сурогатів описані нижче.

На практиці, розподіл ймовірностей <math>p(\vec{x},y)</math> є невідомим. Отже, використовуючи навчальний набір з <math>n</math> [[Незалежні однаково розподілені випадкові величини|незалежних та однаково розподілених]] точок вибірки

: <math>S = \{(\vec{x}_1,y_1), \dots ,(\vec{x}_n,y_n)\}</math>

взятих з [[Простір елементарних подій|простору елементарних подій]], ми прагнемо [[Мінімізація емпіричного ризику|мінімізувати емпіричний ризик]]

: <math>I_S[f] = \frac{1}{n} \sum_{i=1}^n V( f(\vec{x}_i),y_i)</math>

як непрямий показник очікуваного ризику.<ref name="mitlec"/> (Див. [[Теорія статистичного навчання|статистичну теорію навчання]] для більш детального опису.)

== Узгодженість Баєса ==
Використовуючи [[Теорема Баєса|теорему Баєса]], можна показати, що оптимальне <math>f^*_{0/1}</math>, тобто те, що мінімізує очікуваний ризик пов'язаний із 0-1 втратою, реалізує правило оптимального рішення Байєса для проблеми бінарної класифікації та має форму

: <math>f^*_{0/1}(\vec{x}) \;=\; \begin{cases} \;\;\;1& \text{if }p(1\mid\vec{x}) > p(-1\mid \vec{x}) \\ \;\;\;0 & \text{if }p(1\mid\vec{x}) = p(-1\mid\vec{x}) \\ -1 & \text{if }p(1\mid\vec{x}) < p(-1\mid\vec{x}) \end{cases}</math> .

Кажуть, що функція втрат є ''каліброваною за класифікацією або узгодженою за Баєсом,'' якщо її оптимальне <math>f^*_{\phi}</math> є таким, що <math>f^*_{0/1}(\vec{x}) = \operatorname{sgn}(f^*_{\phi}(\vec{x}))</math> і, таким чином, є оптимальним за правилом Баєса. Узгоджена функція втрат Баєса дозволяє нам знайти функцію оптимального рішення Баєса <math>f^*_{\phi}</math> шляхом безпосередньої мінімізації очікуваного ризику і без необхідності явного моделювання функцій густини ймовірності.

Для опуклої функції втрат маржі <math>\phi(\upsilon)</math>, можна показати, що <math>\phi(\upsilon)</math> є узгодженою за Баєсом тоді і тільки тоді, коли вона диференційована в 0 і <math>\phi'(0)<0</math>.<ref>{{Cite journal|last=Bartlett|first=Peter L.|last2=Jordan|first2=Michael I.|last3=Mcauliffe|first3=Jon D.|date=2006|title=Convexity, Classification, and Risk Bounds|journal=Journal of the American Statistical Association|volume=101|issue=473|pages=138–156|doi=10.1198/016214505000000907|issn=0162-1459|jstor=30047445}}</ref><ref name="mit" /> Проте цей результат не виключає існування неопуклих та узгоджених за Байєсом функцій втрат. Більш загальний результат стверджує, що узгоджені функції втрат Баєса можна створити за допомогою наступної формулювання <ref name=":0" />

: <math>\phi(v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)] \;\;\;\;\;(2)</math> ,

де <math>f(\eta), (0\leq \eta \leq 1)</math> — будь-яка інвертована функція така, що <math>f^{-1}(-v)=1-f^{-1}(v)</math> і <math>C(\eta)</math> — будь-яка диференційована строго угнута функція така, що <math>C(\eta)=C(1-\eta)</math>. Таблиця-I демонструє створені узгоджені функції втрат Баєса для деяких прикладів <math>C(\eta)</math> і <math>f^{-1}(v)</math>. Зверніть увагу, що функції втрат Savage і Tangent не є опуклими. Виявилося, що такі неопуклі функції втрат корисні для боротьби з промахами в класифікації.<ref name=":0" /><ref>{{Cite journal|last=Leistner|first=C.|last2=Saffari|first2=A.|last3=Roth|first3=P. M.|last4=Bischof|first4=H.|date=September 2009|title=On robustness of on-line boosting - a competitive study|journal=2009 IEEE 12th International Conference on Computer Vision Workshops, ICCV Workshops|pages=1362–1369|doi=10.1109/ICCVW.2009.5457451|isbn=978-1-4244-4442-7}}</ref> Для всіх функцій втрат, породжених з (2), апостеріорну ймовірність <math>p(y=1|\vec{x})</math> можна знайти за допомогою функції зворотного ''звʼязку'' як <math>p(y=1|\vec{x})=\eta=f^{-1}(v)</math>. Функції втрат, де апостеріорна ймовірність може бути відновлена за допомогою інветнованого зв'язку, називаються ''власними функціями втрат''.
{| class="wikitable"
|+Таблиця-I
! Назва функції втрат
! <math>\phi(v)</math>
! <math>C(\eta)</math>
! <math>f^{-1}(v)</math>
! <math>f(\eta)</math>
|-
| Експоненціальна
| <math>e^{-v}</math>
| <math>2\sqrt{\eta(1-\eta)}</math>
| <math>\frac{e^{2v}}{1+e^{2v}}</math>
| <math>\frac{1}{2}\log(\frac{\eta}{1-\eta})</math>
|-
| Логістична
| <math>\frac{1}{\log(2)}\log(1+e^{-v})</math>
| <math>\frac{1}{\log(2)}[-\eta\log(\eta)-(1-\eta)\log(1-\eta)]</math>
| <math>\frac{e^v}{1+e^v}</math>
| <math>\log(\frac{\eta}{1-\eta})</math>
|-
| Квадратна
| <math>(1-v)^2</math>
| <math>4\eta(1-\eta)</math>
| <math>\frac{1}{2}(v+1)</math>
| <math>2\eta-1</math>
|-
| Savage
| <math>\frac{1}{(1+e^v)^2}</math>
| <math>\eta(1-\eta)</math>
| <math>\frac{e^v}{1+e^v}</math>
| <math>\log(\frac{\eta}{1-\eta})</math>
|-
| Tangent
| <math>(2\arctan(v)-1)^2</math>
| <math>4\eta(1-\eta)</math>
| <math>\arctan(v)+\frac{1}{2}</math>
| <math>\tan(\eta-\frac{1}{2})</math>
|}
Єдиний мінімізатор очікуваного ризику, <math>f^*_{\phi}</math>, пов'язаний з вищезгаданими функціями втрат, можна безпосередньо знайти з рівняння (1) і показати, що він дорівнює відповідній <math>
f(\eta)
</math>. Це справедливо навіть для неопуклих функцій втрат і означає, що алгоритми на основі градієнтного спуску, такі як {{не перекладено|Бустер градієнта|бустер градієнта|en|Gradient boosting}}, можна використовувати для побудови мінімізатора.

== Власні функції втрат, маржа втрат та регуляризація ==
[[Файл:LogitLossMarginWithMu.jpg|альт=|міні| (Червоний) стандартна логістична втрата

(<math>\gamma=1, \mu=2</math>) і

(Синій) підвищена маржа у логістичній втраті (<math>\gamma=0.2</math>).]]
Для власних функцій ''втрат маржу'' можна визначити як <math>\mu_{\phi}=-\frac{\phi'(0)}{\phi''(0)}</math> і показати, що вона безпосередньо пов'язана з властивостями регуляризації класифікатора.<ref>{{Cite journal|last=Vasconcelos|first=Nuno|last2=Masnadi-Shirazi|first2=Hamed|date=2015|title=A View of Margin Losses as Regularizers of Probability Estimates|url=http://jmlr.org/papers/v16/masnadi15a.html|journal=Journal of Machine Learning Research|volume=16|issue=85|pages=2751–2795|issn=1533-7928}}</ref> Зокрема, функція втрат з більшою маржою збільшує регуляризацію і дає кращі оцінки апостеріорної ймовірності. Наприклад, маржа втрат може бути збільшена для логістичних функцій втрат шляхом введення <math>\gamma</math> параметра і визначення функції як <math>\frac{1}{\gamma}\log(1+e^{-\gamma v})</math>, де менший <math>0<\gamma<1</math> збільшує маржу втрат. Показано, що це прямо еквівалентно зменшенню швидкості навчання при {{не перекладено|Бустер градієнта|градієнтному бустері|en|Gradient boosting}} <math>F_m(x) = F_{m-1}(x) + \gamma h_m(x),</math> де зменшення параметру <math>\gamma</math> покращує регуляризацію посиленого класифікатора. Теорія чітко дає зрозуміти, що використання швидкості навчання <math>\gamma</math> зумовлює появу корректної формули для отримання апостеріорної ймовірності <math>\eta=f^{-1}(\gamma F(x))</math>.

На закінчення, обравши функцію втрат з більшою маржою (меншим <math>\gamma</math>), ми збільшуємо регуляризацію та покращуємо наші оцінки апостеріорної ймовірності, що, у свою чергу, покращує криву ROC кінцевого класифікатора.

== Квадратична функція втрат ==
Хоча квадратична функція втрат частіше використовується в регресії, її можна переписати як функцію <math>\phi(yf(\vec{x}))</math> і використовувати для класифікації. Квадратичну функцію можна створити за допомогою (2) і Таблиці-I наступним чином

: <math>\phi(v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)] = 4(\frac{1}{2}(v+1))(1-\frac{1}{2}(v+1))+(1-\frac{1}{2}(v+1))(4-8(\frac{1}{2}(v+1)))=(1-v)^2.</math>

Функція квадратичних втрат є як опуклою, так і гладкою. Однак, квадратична функція втрат має тенденцію надмірно штрафувати промахи, що призводить до повільніших показників збіжності (що стосується складності вибірки) порівняно з функціями логістичних або шарнірних втрат.<ref name="mit" /> Крім того, функції, які дають високі значення <math>f(\vec{x})</math> для деяких <math>x \in X</math> будуть погано працювати з функцією квадратичних втрат, оскільки високі значення <math>yf(\vec{x})</math> будуть суворо каратися, незалежно від того, чи співпадають ознаки у <math>y</math> і <math>f(\vec{x})</math>.

Перевага функції квадратичних втрат полягає в тому, що її структура піддається легкій перехресній перевірці параметрів регуляризації. Спеціально для [[Регуляризація Тихонова|регуляризації Тихонова]] можна вирішити задачу для параметра регуляризації, використовуючи [[Перехресне затверджування|перехресну перевірку]] без виключення, за той самий час, що й для вирішення однієї проблеми.<ref>{{Citation|last=Rifkin|first=Ryan M.|last2=Lippert|first2=Ross A.|title=Notes on Regularized Least Squares|publisher=MIT Computer Science and Artificial Intelligence Laboratory|date=1 травня 2007|url=https://dspace.mit.edu/bitstream/handle/1721.1/37318/MIT-CSAIL-TR-2007-025.pdf?sequence=1}}</ref>

Мінімізатор <math>I[f]</math> для квадратичної функції втрат можна знайти безпосередньо з рівняння (1) як

: <math>f^*_\text{Square}= 2\eta-1=2p(1\mid x)-1.</math>

== Логістична функція втрат ==
Логістична функція втрат може бути отримана за допомогою (2) та таблиці-I наступним чином

: <math>\begin{align}
\phi(v) &= C[f^{-1}(v)]+\left(1-f^{-1}(v)\right)\, C'\left[f^{-1}(v)\right] \\ 
&= \frac{1}{\log(2)}\left [\frac{-e^v}{1+e^v}\log\frac{e^v}{1+e^v}-\left(1-\frac{e^v}{1+e^v}\right)\log\left(1-\frac{e^v}{1+e^v}\right)\right ]+\left(1-\frac{e^v}{1+e^v}\right) \left [\frac{-1}{\log(2)}\log\left(\frac{\frac{e^v}{1+e^v}}{1-\frac{e^v}{1+e^v}}\right)\right] \\ 
&=\frac{1}{\log(2)}\log(1+e^{-v}).
\end{align}
</math>

Логістична функція втрат є опуклою і зростає лінійно для від'ємних значень, що робить її менш чутливою до викидів. Логістичні втрати використовуються в {{не перекладено|LogitBoost алгоритм|LogitBoost алгоритмі|en|LogitBoost}}.

Мінімізатор <math>I[f]</math> для логістичної функції втрат можна знайти безпосередньо з рівняння (1) як

: <math>f^*_\text{Logistic}= \log\left(\frac{\eta}{1-\eta}\right)=\log\left(\frac{p(1\mid x)}{1-p(1\mid x)}\right).</math>

Ця функція не визначена, коли <math>p(1\mid x)=1</math> або <math>p(1\mid x)=0</math> (що прямує до ∞ і −∞ відповідно), але передбачає плавну криву, яка зростає, коли <math>p(1\mid x)</math> росте і дорівнює 0, коли <math>p(1\mid x)= 0.5.</math><ref name="mitlec"/>

Легко перевірити, що логістична функція втрат та функція втрат від двійково [[Перехресна ентропія|перехресної ентропії]] (Log втрата) насправді однакові (до множення на константу <math>\frac{1}{\log(2)}</math>). Функція втрат від перехресної ентропії тісно пов'язана з [[Розходження Кульбака — Лейблера|розходженням Кульбака–Лейблера]] між емпіричним і прогнозованим розподілом. Перехресні втрати ентропії є широко розповсюдженими у сучасних [[Глибоке навчання|глибоких нейронних мережах]].

== Експоненціальна функція втрат ==
Експоненціальну функцію втрат можна згенерувати за допомогою (2) та таблиці-I наступним чином

: <math>\phi(v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)] = 2\sqrt{(\frac{e^{2v}}{1+e^{2v}})(1-\frac{e^{2v}}{1+e^{2v}})}+(1-\frac{e^{2v}}{1+e^{2v}})(\frac{1-\frac{2e^{2v}}{1+e^{2v}}}{\sqrt{\frac{e^{2v}}{1+e^{2v}}(1-\frac{e^{2v}}{1+e^{2v}})}}) = e^{-v}</math>

Експоненціальна функція втрат є опуклою і зростає експоненціально для негативних значень, що робить її більш чутливою до викидів. Експоненціальна функція втрат використовується в {{не перекладено|AdaBoost алгоритм|AdaBoost алгоритмі|en|AdaBoost}}.

Мінімізатор <math>I[f]</math> для експоненціальної функції втрат можна безпосередньо знайти з рівняння (1) як

: <math>f^*_\text{Exp}= \frac{1}{2}\log\left(\frac{\eta}{1-\eta}\right)=\frac{1}{2}\log\left(\frac{p(1\mid x)}{1-p(1\mid x)}\right).</math>

== Функція втрат Savage ==
Функцію втрат Savage<ref name=":0">{{Cite journal|last=Masnadi-Shirazi|first=Hamed|last2=Vasconcelos|first2=Nuno|date=2008|title=On the Design of Loss Functions for Classification: Theory, Robustness to Outliers, and SavageBoost|url=https://papers.nips.cc/paper/3591-on-the-design-of-loss-functions-for-classification-theory-robustness-to-outliers-and-savageboost.pdf|journal=Proceedings of the 21st International Conference on Neural Information Processing Systems|series=NIPS'08|location=USA|publisher=Curran Associates Inc.|pages=1049–1056|isbn=9781605609492}}</ref> можна отримати за допомогою (2) та таблиці-I наступним чином

: <math>\phi(v)=C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)] = (\frac{e^v}{1+e^v})(1-\frac{e^v}{1+e^v})+(1-\frac{e^v}{1+e^v})(1-\frac{2e^v}{1+e^v}) = \frac{1}{(1+e^v)^2}.</math>

Функція втрат Savage є квазіопуклою і обмеженою для великих від'ємних значень, що робить її менш чутливою до викидів. Функція втрат Savage була використана для {{не перекладено|Бустер градієнта|градієнтного бустера|en|Gradient boosting}} та в алгоритмі SavageBoost.

Мінімізатор <math>I[f]</math> для функції втрат Savage можна безпосередньо знайти з рівняння (1) як

: <math>f^*_\text{Savage}= \log\left(\frac{\eta}{1-\eta}\right)=\log\left(\frac{p(1\mid x)}{1-p(1\mid x)}\right).</math>

== Функція втрат Tangent ==
Тангенсну функцію втрат<ref>{{Cite journal|last=Masnadi-Shirazi|first=H.|last2=Mahadevan|first2=V.|last3=Vasconcelos|first3=N.|date=June 2010|title=On the design of robust classifiers for computer vision|journal=2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition|pages=779–786|doi=10.1109/CVPR.2010.5540136|isbn=978-1-4244-6984-0}}</ref> можна отримати за допомогою (2) та таблиці-I наступним чином

: <math>
\begin{align}
\phi(v) & = C[f^{-1}(v)]+(1-f^{-1}(v))C'[f^{-1}(v)] = 4(\arctan(v)+\frac{1}{2})(1-(\arctan(v)+\frac{1}{2}))+(1-(\arctan(v)+\frac{1}{2}))(4-8(\arctan(v)+\frac{1}{2}))\\
& = (2\arctan(v)-1)^2.
\end{align}
</math>

Тангенсна функція втрат є квазіопуклою і обмеженою для великих від'ємних значень, що робить її менш чутливою до викидів. Цікаво, що тангенсна функція втрат також накладає обмежене покарання на точки, які були класифіковані як «занадто правильні». Це може допомогти у запобіганні перенавчанню набору даних. Тангенсна функція втрат використовується для {{не перекладено|Бустер градієнта|градієнтного бустера|en|Gradient boosting}}, алгоритму TangentBoost та Alternating Decision Forests<ref>{{Cite journal|last=Schulter|first=S.|last2=Wohlhart|first2=P.|last3=Leistner|first3=C.|last4=Saffari|first4=A.|last5=Roth|first5=P. M.|last6=Bischof|first6=H.|date=June 2013|title=Alternating Decision Forests|journal=2013 IEEE Conference on Computer Vision and Pattern Recognition|pages=508–515|doi=10.1109/CVPR.2013.72|isbn=978-0-7695-4989-7}}</ref>.

Мінімізатор <math>I[f]</math> для тангенсної функції втрат можна безпосередньо знайти з рівняння (1) як

: <math>f^*_\text{Tangent}= \tan(\eta-\frac{1}{2})=\tan(p(1\mid x)-\frac{1}{2}).</math>

== Завісна функція втрат ==
{{main|Завісні втрати}}
Завісна функція втрат визначається за допомогою <math>\phi(\upsilon) = \max(0, 1-\upsilon) = [1-\upsilon]_{+}</math>, де <math>[a]_{+} = \max(0,a)</math> — {{не перекладено|Додатні та відʼємні частини|додатня частина|en|Positive and negative parts}} функції.

: <math>V(f(\vec{x}),y) = \max(0, 1-yf(\vec{x})) = [1 - yf(\vec{x}) ]_{+}.</math>

Завісна функція втрат забезпечує відносно жорстку, опуклу верхню межу для [[Характеристична функція|характеристичної функції]] 0–1. Зокрема, завісна функція втрат дорівнює [[Характеристична функція|характеристичній функції]] 0–1, коли <math>\operatorname{sgn}(f(\vec{x})) = y</math> і <math>|yf(\vec{x})| \geqslant 1</math>. Крім того, емпірична мінімізація ризику цієї втрати еквівалентна класичному формулюванню для [[Метод опорних векторів|методу опорного вектора]] (SVM). Правильно класифіковані точки, що лежать за межами мержі опорних векторів, не штрафуються, тоді як точки в межах границь або на неправильній стороні гіперплощини штрафуються лінійно порівняно з їх відстанню до правильної межі.<ref name="Utah" />

Хоча завісна функція втрат є як опуклою, так і безперервною, вона не є гладкою (не диференційованою) при <math>yf(\vec{x})=1</math>. Отже, вона не може використовуватися з методами [[Градієнтний спуск|градієнтного спуску]] або методами [[Стохастичний градієнтний спуск|стохастичного градієнтного спуску]], які покладаються на диференційованість по всій області. Проте завісна функція втрат має субградієнт на <math>yf(\vec{x})=1</math>, що дозволяє використовувати [[Субградієнтний метод|субградієнтні методи спуску]].<ref name="Utah" /> SVM, які використовують завісну функцію втрат, також можна вирішити за допомогою [[Квадратичне програмування|квадратичного програмування]].

Мінімізатор <math>I[f]</math> для завісної функції втрат визначається як

: <math>f^*_\text{Hinge}(\vec{x}) \;=\; \begin{cases} 1& \text{if }p(1\mid\vec{x}) > p(-1\mid\vec{x}) \\ -1 & \text{if }p(1\mid\vec{x}) < p(-1\mid\vec{x}) \end{cases}</math>

коли <math>p(1\mid x) \ne 0.5</math>, що відповідає характеристичній функції 0–1. Цей висновок робить завісну функція втрат досить привабливою, оскільки можна встановити межі як різницю між очікуваним ризиком та знаком завісної функції втрат.<ref name="mit" /> Завісну функція втрат не можна отримати з (2), оскільки <math>f^*_{\text{Hinge}}</math> не є оберненою.

== Узагальнена плавна завісна функція втрат ==
Узагальнена плавна завісна функція втрат з параметром <math>\alpha</math> визначається як

: <math>f^*_\alpha(z) \;=\; \begin{cases} \frac{\alpha}{\alpha + 1} - z & \text{if }z \leqslant 0 \\ \frac{1}{\alpha + 1}z^{\alpha + 1} - z + \frac{\alpha}{\alpha + 1} & \text{if } 0<z<1 \\ 0 & \text{if } z \geqslant 1 \end{cases},</math>

де

: <math>z = yf(\vec{x}).</math>

Вона монотонно зростає і досягає 0, коли <math>z = 1</math>.

== Див. також ==

* {{не перекладено|Диференційоване програмування|Диференційоване програмування|en|Differentiable programming}}

== Примітки ==
{{Примітки}}

{{Диференційовні обчислення}}

[[Категорія:Алгоритми машинного навчання]]