Передавальна функція штучного нейрона

Шаблон:Не плутати Функція активації, передавальна функція або функція збудження (Шаблон:Lang-en, також excitation function, squashing function, transfer function) штучного нейрона — залежність вихідного сигналу штучного нейрона від вхідного.

Зазвичай передавальна функція $\varphi (x)$ відображає дійсні числа на інтервал $(-1,1)$ або $(0,1)$.

Більшість видів нейронних мереж для функції активації використовують сигмоїди. ADALINE і самоорганізаційні карти використовують лінійні функції активації, а радіально базисні мережі використовують радіальні базисні функції.

Математично доведено, що тришаровий перцептрон з використанням сигмоїдної функції активації може апроксимувати будь-яку неперервну функцію з довільною точністю (Теорема Цибенка).

Метод зворотного поширення помилки вимагає, щоб функція активації була неперервною, нелінійною, монотонно зростаючою, і диференційовною.

В задачі Шаблон:Нп класифікації нейрони останнього шару зазвичай використовують softmax як функцію активації.

У хемометриці — функція, яка використовується в методі нейронної сітки для перетворення у вузлах вхідних даних з будь-якої області значень (зокрема неперервних) у чітко окреслений ряд значень (напр., в 0 чи 1).

Порівняння передавальних функцій

Деякі бажані властивості передавальної функції включають:

• Нелінійна — коли передавальна функція нелінійна, то, як доведено, двошарова нейронна мережа є універсальною апроксимацією функцій. Тотожна передавальна функція не має такої властивості. Коли декілька шарів використовують тотожну передавальну функцію, тоді вся мережа еквівалентна одношаровій моделі.
• Неперервна диференційовність — ця властивість бажана (RELU не є неперервно диференційовною і має неоднозначне рішення для оптимізації заснованій на градієнті) для використання методів оптимізації заснованих на градієнті. Передавальна функція двійковий крок не диференційовна у 0, але диференційовна в усіх інших значення, що є проблемою для методів заснованих на градієнті.
• Область визначення.
• Монотонність.
• Гладка функція з монотонною похідною.
• Наближення до тотожної функції $f(x)=x$ в початку координат.

У наступній таблиці порівнюються деякі передавальні функції від однієї змінної Шаблон:Mvar з попереднього шару:

Назва	Графік	Рівняння	Похідна (по x)	Область	Порядок гладкості	Монотонність	Монотонність похідної	Наближення до Тотожної функції в початку координат
Тотожна		$f(x)=x$	$f^{\prime }(x)=1$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Шаблон:Yes	Шаблон:Yes	Шаблон:Yes
Двійковий крок		$f(x)=\{\begin{array}{cc}0& \text{for }x<0\\ 1& \text{for }x⩾0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}0& \text{for }x\ne 0\\ ?& \text{for }x=0\end{array}$	$\{0,1\}$	$C^{-1}$	Шаблон:Yes	Шаблон:No	Шаблон:No
Логістична (a.k.a. Сігмоїда або М'який крок)		$f(x)=\sigma (x)=\frac{1}{1+e^{-x}}$Шаблон:Ref	$f^{\prime }(x)=f(x)(1-f(x))$	$(0,1)$	$C^{\mathrm{\infty }}$	Шаблон:Yes	Шаблон:No	Шаблон:No
TanH		$f(x)=\tanh (x)=\frac{(e^x-e^{-x})}{(e^x+e^{-x})}$	$f^{\prime }(x)=1-f(x{)}^2$	$(-1,1)$	$C^{\mathrm{\infty }}$	Шаблон:Yes	Шаблон:No	Шаблон:Yes
ArcTan		$f(x)={\tan }^{-1}(x)$	$f^{\prime }(x)=\frac{1}{x^2+1}$	$(-\frac{\pi }{2},\frac{\pi }{2})$	$C^{\mathrm{\infty }}$	Шаблон:Yes	Шаблон:No	Шаблон:Yes
Softsign		$f(x)=\frac{x}{1+|x|}$	$f^{\prime }(x)=\frac{1}{(1+|x|{)}^2}$	$(-1,1)$	$C^1$	Шаблон:Yes	Шаблон:No	Шаблон:Yes
Inverse square root unit (ISRU)		$f(x)=\frac{x}{\sqrt{1+\alpha x^2}}$	$f^{\prime }(x)={\left(\frac{1}{\sqrt{1+\alpha x^2}}\right)}^3$	$(-\frac{1}{\sqrt{\alpha }},\frac{1}{\sqrt{\alpha }})$	$C^{\mathrm{\infty }}$	Шаблон:Yes	Шаблон:No	Шаблон:Yes
Випрямлена лінійна (Rectified linear unit, ReLU)		$f(x)=\{\begin{array}{cc}0& \text{for }x<0\\ x& \text{for }x⩾0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}0& \text{for }x<0\\ 1& \text{for }x⩾0\end{array}$	$[0,\mathrm{\infty })$	$C^0$	Шаблон:Yes	Шаблон:Yes	Шаблон:No
Leaky rectified linear unit (Leaky ReLU)		$f(x)=\{\begin{array}{cc}0.01x& \text{for }x<0\\ x& \text{for }x⩾0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}0.01& \text{for }x<0\\ 1& \text{for }x⩾0\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Шаблон:Yes	Шаблон:Yes	Шаблон:No
Parameteric rectified linear unit (PReLU)		$f(\alpha ,x)=\{\begin{array}{cc}\alpha x& \text{for }x<0\\ x& \text{for }x⩾0\end{array}$	$f^{\prime }(\alpha ,x)=\{\begin{array}{cc}\alpha & \text{for }x<0\\ 1& \text{for }x⩾0\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$Шаблон:Ref	$C^0$	Шаблон:Depends	Шаблон:Yes	Шаблон:Depends
Randomized leaky rectified linear unit (RReLU)		$f(\alpha ,x)=\{\begin{array}{cc}\alpha x& \text{for }x<0\\ x& \text{for }x⩾0\end{array}$Шаблон:Ref	$f^{\prime }(\alpha ,x)=\{\begin{array}{cc}\alpha & \text{for }x<0\\ 1& \text{for }x⩾0\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Шаблон:Yes	Шаблон:Yes	Шаблон:No
Exponential linear unit (ELU)		$f(\alpha ,x)=\{\begin{array}{cc}\alpha (e^x-1)& \text{for }x<0\\ x& \text{for }x⩾0\end{array}$	$f^{\prime }(\alpha ,x)=\{\begin{array}{cc}f(\alpha ,x)+\alpha & \text{for }x<0\\ 1& \text{for }x⩾0\end{array}$	$(-\alpha ,\mathrm{\infty })$	$\{\begin{array}{cc}{C}_1& \text{when }\alpha =1\\ C_0& \text{otherwise }\end{array}$	Шаблон:Depends	Шаблон:Depends	Шаблон:Depends
Scaled exponential linear unit (SELU)		$f(\alpha ,x)=\lambda \{\begin{array}{cc}\alpha (e^x-1)& \text{for }x<0\\ x& \text{for }x⩾0\end{array}$ з $\lambda =1.0507$ та $\alpha =1.67326$	$f^{\prime }(\alpha ,x)=\lambda \{\begin{array}{cc}\alpha (e^x)& \text{for }x<0\\ 1& \text{for }x⩾0\end{array}$	$(-\lambda \alpha ,\mathrm{\infty })$	$C^0$	Шаблон:Yes	Шаблон:No	Шаблон:No
S-shaped rectified linear activation unit (SReLU)		$f_{t_l,a_l,t_r,a_r}(x)=\{\begin{array}{cc}{t}_l+a_l(x-t_l)& \text{for }x⩽t_l\\ x& \text{for }{t}_l<x<t_r\\ t_r+a_r(x-t_r)& \text{for }x⩾t_r\end{array}$ $t_l,a_l,t_r,a_r$ are parameters.	$f{\text{'}}_{t_l,a_l,t_r,a_r}(x)=\{\begin{array}{cc}{a}_l& \text{for }x⩽t_l\\ 1& \text{for }{t}_l<x<t_r\\ a_r& \text{for }x⩾t_r\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Шаблон:No	Шаблон:No	Шаблон:No
Inverse square root linear unit (ISRLU)		$f(x)=\{\begin{array}{cc}\frac{x}{\sqrt{1+\alpha x^2}}& \text{for }x<0\\ x& \text{for }x⩾0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}{\left(\frac{1}{\sqrt{1+\alpha x^2}}\right)}^3& \text{for }x<0\\ 1& \text{for }x⩾0\end{array}$	$(-\frac{1}{\sqrt{\alpha }},\mathrm{\infty })$	$C^2$	Шаблон:Yes	Шаблон:Yes	Шаблон:Yes
Adaptive piecewise linear (APL)		$f(x)=\max (0,x)+\sum _{s=1}^S{a}_i^s\max (0,-x+b_i^s)$	$f^{\prime }(x)=H(x)-\sum _{s=1}^S{a}_i^{s}H(-x+b_i^s)$Шаблон:Ref	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$	Шаблон:No	Шаблон:No	Шаблон:No
SoftPlus		$f(x)=\ln (1+e^x)$	$f^{\prime }(x)=\frac{1}{1+e^{-x}}$	$(0,\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Шаблон:Yes	Шаблон:Yes	Шаблон:No
Bent identity		$f(x)=\frac{\sqrt{x^2+1}-1}{2}+x$	$f^{\prime }(x)=\frac{x}{2\sqrt{x^2+1}}+1$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Шаблон:Yes	Шаблон:Yes	Шаблон:Yes
Sigmoid-weighted linear unit (SiLU) (a.k.a. Swish)		$f(x)=x\cdot \sigma (x)$Шаблон:Ref	$f^{\prime }(x)=f(x)+\sigma (x)(1-f(x))$Шаблон:Ref	$[\approx -0.28,\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Шаблон:No	Шаблон:No	Шаблон:No
SoftExponential		$f(\alpha ,x)=\{\begin{array}{cc}-\frac{\ln (1-\alpha (x+\alpha ))}{\alpha }& \text{for }\alpha <0\\ x& \text{for }\alpha =0\\ \frac{e^{\alpha x}-1}{\alpha }+\alpha & \text{for }\alpha >0\end{array}$	$f^{\prime }(\alpha ,x)=\{\begin{array}{cc}\frac{1}{1-\alpha (\alpha +x)}& \text{for }\alpha <0\\ e^{\alpha x}& \text{for }\alpha ⩾0\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^{\mathrm{\infty }}$	Шаблон:Yes	Шаблон:Yes	Шаблон:Depends
Синусоїда		$f(x)=\sin (x)$	$f^{\prime }(x)=\cos (x)$	$[-1,1]$	$C^{\mathrm{\infty }}$	Шаблон:No	Шаблон:No	Шаблон:Yes
Sinc		$f(x)=\{\begin{array}{cc}1& \text{for }x=0\\ \frac{\sin (x)}{x}& \text{for }x\ne 0\end{array}$	$f^{\prime }(x)=\{\begin{array}{cc}0& \text{for }x=0\\ \frac{\cos (x)}{x}-\frac{\sin (x)}{x^2}& \text{for }x\ne 0\end{array}$	$[\approx -.217234,1]$	$C^{\mathrm{\infty }}$	Шаблон:No	Шаблон:No	Шаблон:No
Гауссіан		$f(x)=e^{-x^2}$	$f^{\prime }(x)=-2x{e}^{-x^2}$	$(0,1]$	$C^{\mathrm{\infty }}$	Шаблон:No	Шаблон:No	Шаблон:No

Шаблон:NoteТут, Шаблон:Mvar це функція Гевісайда.

Шаблон:NoteШаблон:Mvar є стохастичною змінною вибраною з нормального розподілу під час навчання і зафіксована як очікуване значення розподілу до часу тестування.

Шаблон:NoteШаблон:NoteШаблон:NoteТут, $\sigma$ — логістична функція.

Шаблон:Note $\alpha >0$ виконується для всього інтервалу.

Наступна таблиця містить передавальні функції від декількох змінних:

Назва	Рівняння	Похідна(ні)	Область	Порядок гладкості
Softmax	$f_i(\overrightarrow{x})=\frac{e^{x_i}}{\sum _{j=1}^J{e}^{x_j}}$    for Шаблон:Mvar = 1, …, Шаблон:Mvar	$\frac{\partial f_i(\overrightarrow{x})}{\partial x_j}=f_i(\overrightarrow{x})({\delta }_{ij}-f_j(\overrightarrow{x}))$Шаблон:Ref	$(0,1)$	$C^{\mathrm{\infty }}$
Maxout	$f(\overrightarrow{x})=\underset{i}{\max }{x}_i$	$\frac{\partial f}{\partial x_j}=\{\begin{array}{cc}1& \text{for }j=\underset{i}{\mathrm{argmax}}{x}_i\\ 0& \text{for }j\ne \underset{i}{\mathrm{argmax}}{x}_i\end{array}$	$(-\mathrm{\infty },\mathrm{\infty })$	$C^0$

Шаблон:Note Тут, ${\delta }_{ij}$ — символ Кронекера.

Див. також

• Функція втрат