Softmax

В математиці, функція Softmax, або ж нормована експоненційна функціяШаблон:Rp — це узагальнення логістичної функції, що «стискує» Шаблон:Mvar-вимірний вектор $𝐳$ із довільним значеннями компонент до Шаблон:Mvar-вимірного вектора $\sigma (𝐳)$ з дійсними значеннями компонент в області [0, 1] що в сумі дають одиницю. Функція задається наступним чином:

$\sigma :{ℝ}^K\to [0,1{]}^K$

$\sigma (𝐳{)}_j=\frac{e^{z_j}}{\sum _{k=1}^K{e}^{z_k}}$    for j = 1, …, K.

В теорії ймовірності, результат софтмакс-функції може використовуватись для того щоб представити категорійний розподіл, тобто розподіл ймовірності при Шаблон:Mvar різних можливих варіантах. Функція софтмакс використовується в різних методах Шаблон:Нп, таких, як наприклад Шаблон:Нп (також відома як софтмакс-регресія), багатокласовий лінійний розділювальний аналіз, наївний баєсів класифікатор, і штучні нейронні мережі.

Інтерпретації

Згладжений arg max

Шаблон:See alsoНазва «softmax» вводить в оману — функція не є згладженим максимумом (гладке наближення до функції максимуму), а є скоріше гладким наближенням до функції arg max — аргумента максимального значення функції. Насправді, термін «softmax» також використовується для тісно пов'язаної Шаблон:Нп, яка є згладженим максимумом. З цієї причини дехто вважає кращим більш точний термін «softargmax», але термін «softmax» є прийнятим у машинному навчанні.Шаблон:Sfn У цьому розділі використовується термін «softargmax», щоб підкреслити цю інтерпретацію.

Теорія ймовірностей

У теорії ймовірностей значення функції softargmax можна використовувати для представлення категорійного розподілу, тобто розподілу ймовірностей для Шаблон:Mvar різних можливих результатів.

Статистична механіка

У статистичній механіці функція Softargmax відома як розподіл Больцмана (або розподіл Гіббса):Шаблон:Rpнабір індексів $1,\dots ,k$ — мікростани системи; входи $z_i$ — енергії цих станів; знаменник відомий як статистична сума, часто позначається як Шаблон:Mvar ; а коефіцієнт Шаблон:Mvar називається термодинамічна бета, або обернена температура.

Застосування

Функція softmax використовується в різних Шаблон:Нп, таких як: Шаблон:Нп (також відома як softmax регресія)Шаблон:Rp, багатокласовий лінійний дискримінантний аналіз, наївних баєсівих класифікаторах та штучних нейронних мережах. Зокрема, у мультиноміальній логістичній регресії та лінійному дискримінантному аналізі вхідними даними функції є результати Шаблон:Mvar різних лінійних функцій, а прогнозована ймовірність для Шаблон:Mvar-го класу з урахуванням вектора вибірки Шаблон:Math і вектора ваги Шаблон:Math є:

$P(y=j\mid 𝐱)=\frac{e^{{𝐱}^{𝖳}{𝐰}_j}}{\sum _{k=1}^K{e}^{{𝐱}^{𝖳}{𝐰}_k}}$

Це можна розглядати як композицію Шаблон:Mvar лінійних функцій $𝐱\mapsto {𝐱}^{𝖳}{𝐰}_1,\dots ,𝐱\mapsto {𝐱}^{𝖳}{𝐰}_K$ і функції softmax (де ${𝐱}^{𝖳}𝐰$ позначає внутрішній добуток $𝐱$ і $𝐰$). Операція еквівалентна застосуванню лінійного оператора, визначеного за допомогою $𝐰$ до векторів $𝐱$, перетворюючи таким чином вхідний, можливо, багатовимірний, вектор аргументів на вектор у Шаблон:Mvar -вимірному просторі ${ℝ}^K$.

Нейронні мережі

Функція softmax часто використовується в останньому шарі класифікаторів на основі нейронних мереж. Такі мережі зазвичай навчаються за допомогою перехресної ентропії, що дає нелінійний варіант поліноміальної логістичної регресії.

Оскільки функція переводить вектор $\mathbf{\text{q}}$ і певний індекс $i$ в дійсне число, то похідна повинна враховувати ще й індекс:

$\frac{\partial }{\partial q_k}\sigma (\mathbf{\text{q}},i)=\sigma (\mathbf{\text{q}},i)({\delta }_{ik}-\sigma (\mathbf{\text{q}},k)).$

Цей вираз є симетричним відносно індексів $i$ та $k$, тому він також може бути виражений як

$\frac{\partial }{\partial q_k}\sigma (\mathbf{\text{q}},i)=\sigma (\mathbf{\text{q}},k)({\delta }_{ik}-\sigma (\mathbf{\text{q}},i)).$

Тут для простоти використовується символ Кронекера (похідна від сигмоїдної функції виражається через саму функцію).

Якщо функція масштабується за допомогою параметра $\beta$, то ці вирази потрібно помножити на $\beta$.

Див. Шаблон:Нп для ймовірнісної моделі, яка використовує функцію активації softmax.

Навчання з підкріпленням

У сфері навчання з підкріпленням функція softmax може використовуватися для перетворення значень у ймовірності дії. Зазвичай використовується наступна функція:

$P_t(a)=\frac{\exp (q_t(a)/\tau )}{\sum _{i=1}^n\exp (q_t(i)/\tau )}\text{,}$

де цінність дії $q_t(a)$ відповідає очікуваній винагороді за наступну дію $a$, а $\tau$ називається параметром температури (натяк на статистичну механіку). Для високих температур ($\tau \to \mathrm{\infty }$), всі дії мають майже однакову ймовірність, а чим нижча температура, тим більше очікувана винагорода впливає на ймовірність обирання дії. Для низької температури ($\tau \to 0^{+}$), ймовірність дії з найбільшою очікуваною винагородою наближається до 1.

Властивості

Геометрично функція softmax відображає векторний простір ${ℝ}^K$ на межі $(K-1)$-вимірного симплекса, зменшуючи розмірність на одиницю (діапазоном значень стає $(K-1)$-вимірний симплекс в $K$-вимірному просторі), через лінійне обмеження, що сума елементів вихідного вектору дорівнює 1, що означає, що він лежить на гіперплощині.

По головній діагоналі $(x,x,\dots ,x),$ softmax стає просто рівномірним розподілом, $(1/n,\dots ,1/n)$: рівні ваги дають рівні ймовірності.

Загалом, softmax є інваріантним щодо зсуву на одне й те саме значення в кожній координаті: додавання $𝐜=(c,\dots ,c)$ до вектору вхідних значень $𝐳$ дає $\sigma (𝐳+𝐜)=\sigma (𝐳)$, оскільки softmax множить кожен показник на один і той же коефіцієнт, $e^c$ (тому що $e^{z_i+c}=e^{z_i}\cdot e^c$), тобто співвідношення не змінюється:

$\sigma (𝐳+𝐜{)}_j=\frac{e^{z_j+c}}{\sum _{k=1}^K{e}^{z_k+c}}=\frac{e^{z_j}\cdot e^c}{\sum _{k=1}^K{e}^{z_k}\cdot e^c}=\sigma (𝐳{)}_j.$

Геометрично, softmax є постійним уздовж діагоналей: це відповідає тому, що вихідне значення softmax не залежить від зсуву вхідних значень. Можна нормалізувати вхідні бали, якщо сума дорівнює нулю (відняти середнє: $𝐜$, де $c=\frac{1}{n}\sum z_i$), тоді softmax відображає гіперплощину точок, сума яких дорівнює нулю, $\sum z_i=0$, до відкритого симплекса додатних значень, сума яких дорівнює 1: $\sum \sigma (𝐳{)}_i=1$, аналогічно тому, як експонента відображає 0 на 1, $e^0=1$.

Але softmax не є інваріантним відносно масштабування. Наприклад, $\sigma ((0,1))=(1/(1+e),e/(1+e))$ але

$\sigma ((0,2))=(1/(1+e^2),e^2/(1+e^2)).$

Функція softmax — це градієнт функції Шаблон:Нп — згладженого максимуму.

$\frac{\partial }{\partial z_i}\mathrm{LSE}(𝐳)=\frac{\exp z_i}{\sum _{j=1}^K\exp z_j}=\sigma (𝐳{)}_i,\text{ for }i=1,\dots ,K,𝐳=(z_1,\dots ,z_K)\in {ℝ}^K,$

де функція LogSumExp визначена як $\mathrm{LSE}(z_1,\dots ,z_n)=\log (\exp (z_1)+\cdots +\exp (z_n))$.

Приклад

Якщо ми візьмемо вектор вхідних значень [1, 2, 3, 4, 1, 2, 3], то softmax цього вектору буде дорівнювати [0,024, 0,064, 0,175, 0,475, 0,024, 0,064, 0,175]. Результат застосування функції має найбільшу вагу там, де «4» у векторі вхідних даних. Це і є найчастішою метою застосування функції — відокремлення найбільших значень і придушення значень, що значно нижчі за максимальне. Але варто зауважити: softmax не є інваріантним відносно масштабування, тому якби вхідні дані були [0,1, 0,2, 0,3, 0,4, 0,1, 0,2, 0,3] (сума чого становить 1,6), softmax став би [0,125, 0,138, 0,153, 0,169, 0,153 0,125, 0,138, 0,153]. Це показує, що для значень від 0 до 1 softmax фактично деакцентує максимальне значення (зверніть увагу, що 0,169 не тільки менше 0,475, це також менше, ніж початкове відношення 0,4/1,6=0,25).

Коду мовою Python для обчислення для цього прикладу:

>>> import numpy as np
>>> a = [1.0, 2.0, 3.0, 4.0, 1.0, 2.0, 3.0]
>>> np.exp(a) / np.sum(np.exp(a)) 
array([0.02364054, 0.06426166, 0.1746813, 0.474833, 0.02364054,
       0.06426166, 0.1746813])