Swish функція

Swish функція це математична функція, що описується виразом:

$\mathrm{swish}(x):=x\times \mathrm{sigmoid}(\beta x)=\frac{x}{1+e^{-\beta x}}.$

де β є константою або параметром, який залежить від типу моделі.

Похідна функції $f^{\prime }(x)=f(x)+\sigma (x)(1-f(x))$.

Застосування

Застосовується в якості функції активації штучного нейрона. У 2017 році, провівши аналіз даних ImageNet, дослідники з Google стверджували, що використання функції swish як функції активації в штучних нейронних мережах покращує продуктивність порівняно з функціями ReLU та сигмоподібної форми. Вважається, що однією з причин покращення є те, що функція swish допомагає полегшити проблему зникаючого градієнта під час зворотного поширення.

Див. також

• Передавальна функція штучного нейрона