Сигмоїда

Сигмоїда

Сигмоїда — це неперервно диференційована монотонна нелінійна S-подібна функція, яка часто застосовується для «згладжування» значень деякої величини.

Часто під сигмоїдою розуміють логістичну криву (див. рисунок ліворуч), яка визначається формулою

$S(x)=\frac{1}{1+e^{-x}}=\frac{e^x}{e^x+1}.$

Родина функцій класу сигмоїд

У родину функцій класу сигмоїд також входять такі функції як арктангенс, гіперболічний тангенс та інші.

Функція Фермі (Експоненційна сигмоїда): $f(s)=\frac{1}{1+e^{-2\alpha s}}$

Раціональна сигмоїда: $f(s)=\frac{s}{|s|+\alpha }$

Гіперболічний тангенс: $f(s)=th\frac{s}{\alpha }=\frac{e^{\frac{s}{\alpha }}-e^{-\frac{s}{\alpha }}}{e^{\frac{s}{\alpha }}+e^{-\frac{s}{\alpha }}}$

Застосування

Сигмоїда застосовується в нейронних мережах для того, щоб ввести деяку нелінійність в роботу мережі, але при цьому не дуже сильно змінити результат її роботи.

Одна з причин через яку сигмоїда використовується в нейронних мережах — це простий вираз її похідної через саму функцію (що дозволило істотно скоротити обчислювальну складність методу зворотного поширення помилки, зробивши його придатним на практиці):

${\sigma }^{\prime }(x)=\sigma (x)\cdot (1-\sigma (x))$

Не менш важливою причиною введення нелінійності є математично доведена можливість отримати як завгодно точне наближення будь-якої неперервної функції багатьох змінних, використовуючи операції додавання та множення на число, суперпозицію функцій, лінійні функції, а також одну довільну неперервну нелінійну функцію однієї змінної.

Див. також

• Штучна нейронна мережа
• Перцептрон