Перегляд вихідного коду сторінки ReLU

[[Файл:Rectifier and softplus functions.svg|thumb|Графіки ReLU (синій) та [[Передавальна функція штучного нейрона#Порівняння передавальних функцій|softplus]] (зелений) передавальних функцій в околі {{nobr|''x'' {{=}} 0}}]]
'''Зрі́заний ліні́йний ву́зол'''<ref>{{cite conference|title=Використання методів глибинного навчання для сегментації пухлин головного мозку на МРТ-зображеннях|first1=Наталія|last=Білоус|first2=Олексій|last2=Комаров|url=https://openarchive.nure.ua/bitstream/document/8332/1/IST_2018.pdf#page=439|year=2018|conference=Інформаційні системи та технології|location=Коблеве&nbsp;— Харків|page=438|accessdate=16 травня 2021|archive-date=16 травня 2021|archive-url=https://web.archive.org/web/20210516113556/https://openarchive.nure.ua/bitstream/document/8332/1/IST_2018.pdf#page=439}}</ref><ref>{{cite web|last=Проніна|first=О.&nbsp;І.|year=2019|title=Робоча програма навчальної дисципліни «Машинне навчання» для здобувачів освітнього ступеня магістра за спеціальністю 122 «Комп’ютерні науки», освітньої програми «Інформаційні системи та технології»|url=http://umm.pstu.edu/bitstream/handle/123456789/18171/1947.doc?sequence=1|publisher=[[ПДТУ]]|location=Маріуполь|accessdate=16 травня 2021|archive-date=16 травня 2021|archive-url=https://web.archive.org/web/20210516113556/http://umm.pstu.edu/bitstream/handle/123456789/18171/1947.doc?sequence=1}} {{Webarchive|url=https://web.archive.org/web/20210516113556/http://umm.pstu.edu/bitstream/handle/123456789/18171/1947.doc?sequence=1 |date=2021-05-16 }}</ref>, іноді '''ви́прямлений ліні́йний ву́зол'''<ref>{{cite conference|last=Момотюк|first=П.&nbsp;В.|year=2016|title=Оптимізація архітектури згорткових нейронних мереж за розташуванням вузлів ''ReLU''|url=http://molodyvcheny.in.ua/files/conf/tech/12dec2016/30.pdf|conference=Перспективи розвитку сучасної науки|location=Львів|pages=94—96|accessdate=16 травня 2021|archive-date=16 травня 2021|archive-url=https://web.archive.org/web/20210516113554/http://molodyvcheny.in.ua/files/conf/tech/12dec2016/30.pdf}}</ref> ({{lang-en|rectified linear unit, '''ReLU'''}}<ref name="nair2010">{{cite conference|authors=Vinod Nair and [[Джефрі Гінтон|Geoffrey Hinton]]|first=|date=|year=2010|title=Rectified Linear Units Improve Restricted Boltzmann Machines|url=https://www.cs.toronto.edu/~hinton/absps/reluICML.pdf|conference=[[International Conference on Machine Learning|ICML]]|volume=|pages=|via=|accessdate=10 серпня 2018|archive-date=29 липня 2018|archive-url=https://web.archive.org/web/20180729001901/http://www.cs.toronto.edu/~hinton/absps/reluICML.pdf}}</ref>), або '''випрямля́ч'''<ref>{{cite journal|first1=О.&nbsp;В.|last1=Бубенщиков|first2=Є.&nbsp;В.|last2=Лєпа|year=2019|title=Використання згортальних нейронних мереж для ідентифікації обличчя людини|url=http://www.irbis-nbuv.gov.ua/cgi-bin/irbis_nbuv/cgiirbis_64.exe?C21COM=2&I21DBN=UJRN&P21DBN=UJRN&IMAGE_FILE_DOWNLOAD=1&Image_file_name=PDF/Vkhdtu_2019_1_21.pdf|journal=Вісник ХНТУ|department=Інформаційні технології|volume=1|issue=68|pages=136—142|publisher=[[ХНТУ]]|location=Херсон|accessdate=12 травня 2022|archive-date=6 березня 2022|archive-url=https://web.archive.org/web/20220306140310/http://irbis-nbuv.gov.ua/cgi-bin/irbis_nbuv/cgiirbis_64.exe?C21COM=2&I21DBN=UJRN&P21DBN=UJRN&IMAGE_FILE_DOWNLOAD=1&Image_file_name=PDF%2FVkhdtu_2019_1_21.pdf}}</ref><ref>{{cite journal|first1=К.&nbsp;М.|last1=Ялова|first2=К.&nbsp;В.|last2=Яшина|first3=М.&nbsp;В.|last3=Ткаченко|location=Хмельницький|title=Розпізнавання образів згортковою нейронною мережею|url=http://www.irbis-nbuv.gov.ua/cgi-bin/irbis_nbuv/cgiirbis_64.exe?C21COM=2&I21DBN=UJRN&P21DBN=UJRN&IMAGE_FILE_DOWNLOAD=1&Image_file_name=PDF/Vchnu_tekh_2018_2_37.pdf|journal=Вісник ХНУ|department=Технічні науки|volume=2|issue=259|year=2018|publisher=[[Хмельницький національний університет|ХНУ]]|accessdate=12 травня 2022|archive-date=18 квітня 2022|archive-url=https://web.archive.org/web/20220418004116/http://irbis-nbuv.gov.ua/cgi-bin/irbis_nbuv/cgiirbis_64.exe?C21COM=2&I21DBN=UJRN&P21DBN=UJRN&IMAGE_FILE_DOWNLOAD=1&Image_file_name=PDF%2FVchnu_tekh_2018_2_37.pdf}}</ref> ({{lang-en|rectifier}}) у контексті [[Штучна нейронна мережа|штучних нейронних мереж]] є [[Передавальна функція штучного нейрона|передавальною функцією]], яка визначена таким чином:

: <math>f(x) = x^+ = \max(0, x)</math>,

де ''x'' вхідне значення нейрона. Вона є аналогом [[Випрямлення змінного струму#Напівперіодний випрямляч|напівперіодичного випрямляча]] у схемотехніці.
Ця [[Передавальна функція штучного нейрона|передавальна функція]] була запроваджена для динамічних мереж Ганлозером ({{lang-en|Hahnloser}}) та іншими у 2000 році<ref name="Hahnloser2000">{{cite conference |authors=R Hahnloser, R. Sarpeshkar, M A Mahowald, R. J. Douglas, H.S. Seung |title=Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit |journal=Nature |volume=405 |year=2000 |pages=947–951}}</ref> з біологічним підґрунтям та математичним обґрунтуванням.<ref name="Hahnloser2001">{{cite conference |authors=R Hahnloser, H.S. Seung |year=2001 |title=Permitted and Forbidden Sets in Symmetric Threshold-Linear Networks|conference=NIPS 2001}}</ref> В 2011 році вперше було продемонстровано, як забезпечити краще навчання глибоких мереж,<ref name="glorot2011">{{cite conference |authors=Xavier Glorot, Antoine Bordes and {{нп|Йошуа Бенжіо|Yoshua Bengio||Yoshua Bengio}} |year=2011 |title=Deep sparse rectifier neural networks |conference=AISTATS |url=http://jmlr.org/proceedings/papers/v15/glorot11a/glorot11a.pdf |accessdate=10 серпня 2018 |archive-date=13 грудня 2016 |archive-url=https://web.archive.org/web/20161213022121/http://www.jmlr.org/proceedings/papers/v15/glorot11a/glorot11a.pdf }}</ref> на відміну від передавальних функцій, які широко використовувались до цього, а саме, [[Логістична функція|логістичною функцією]] (яка була запозичена з теорії ймовірностей; дивись [[логістична регресія]]) і виявились більш практичними<ref>{{cite encyclopedia |authors=[[Ян ЛеКун|Yann LeCun]], [[Leon Bottou]], Genevieve B. Orr and {{нп|Клаус-Роберт Мюллер|Klaus-Robert Müller||Klaus-Robert Müller}} |year=1998 |url=http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf |title=Efficient BackProp |editors=G. Orr and K. Müller |encyclopedia=Neural Networks: Tricks of the Trade |publisher=Springer |accessdate=10 серпня 2018 |archivedate=31 серпня 2018 |archiveurl=https://web.archive.org/web/20180831075352/http://yann.lecun.com/exdb/publis/pdf/lecun-98b.pdf }}</ref> ніж [[Гіперболічні функції|гіперболічний тангенс]]. ReLU є, {{as of|2018|lc=y}}, найбільш популярною передавальною функцією для [[Глибоке навчання|глибоких нейронних мереж]].<ref>{{cite journal |first1=Yann |last1=LeCun |first2=Yoshua |last2=Bengio |first3=Geoffrey |last3=Hinton |title=Deep learning |journal=Nature |volume=521 |issue=7553 |year=2015 |pages=436–444 |doi=10.1038/nature14539 |pmid=26017442|bibcode=2015Natur.521..436L }}</ref><ref>{{cite arXiv |last1=Ramachandran |first1=Prajit |last2=Barret |first2=Zoph |last3=Quoc |first3=V. Le |date=16 жовтня 2017 |title=Searching for Activation Functions |eprint=1710.05941 |class=cs.NE}}</ref>

Гладке наближення ReLU є [[Гладка функція|гладкою функцією]]
: <math>f(x) = \log(1 + \exp x),</math>
яка називається '''softplus'''-функцією.<ref>C. Dugas, Y. Bengio, F. Bélisle, C. Nadeau, R. Garcia, NIPS'2000, (2001), [http://papers.nips.cc/paper/1920-incorporating-second-order-functional-knowledge-for-better-option-pricing.pdf Incorporating Second-Order Functional Knowledge for Better Option Pricing] {{Webarchive|url=https://web.archive.org/web/20180831073911/http://papers.nips.cc/paper/1920-incorporating-second-order-functional-knowledge-for-better-option-pricing.pdf |date=31 серпня 2018 }}.</ref> Похідною softplus є <math>f'(x) = \exp x / (1 + \exp x) = 1 / (1 + \exp (-x))</math>, тобто [[логістична функція]].

ReLU часто використовується при глибокому навчанні в задачах [[Комп'ютерний зір|комп'ютерного зору]]<ref name="glorot2011"/> та [[розпізнавання мовлення]]<ref name="tothl2013">{{cite conference |authors=László Tóth |year=2013 |title=Phone Recognition with Deep Sparse Rectifier Neural Networks |conference=[[International Conference on Acoustics, Speech and Signal Processing|ICASSP]] |url=http://www.inf.u-szeged.hu/~tothl/pubs/ICASSP2013.pdf |accessdate=10 серпня 2018 |archive-date=25 вересня 2019 |archive-url=https://web.archive.org/web/20190925000806/http://www.inf.u-szeged.hu/~tothl/pubs/ICASSP2013.pdf }}</ref><ref name="maas2014">Andrew L. Maas, Awni Y. Hannun, Andrew Y. Ng (2014). [http://web.stanford.edu/~awni/papers/relu_hybrid_icml2013_final.pdf Rectifier Nonlinearities Improve Neural Network Acoustic Models] {{Webarchive|url=https://web.archive.org/web/20180619033927/http://web.stanford.edu/~awni/papers/relu_hybrid_icml2013_final.pdf |date=19 червня 2018 }}</ref>.

== Варіації ==

=== ReLU з шумом ===
До ReLU можна додати [[гауссів шум]], що дає ReLU з шумом<ref name="nair2010"/>
: <math>f(x) = \max(0, x + Y)</math>, з <math>Y \sim \mathcal{N}(0, \sigma(x))</math>

ReLU з шумом успішно використовуються в задачах комп'ютерного зору в [[Обмежена машина Больцмана|обмежених машинах Больцмана]].<ref name="nair2010"/>

=== Нещільна ReLU ===

Нещільна ReLU використовує невеличкий додатній градієнт, коли передавач не активний.<ref name="maas2014"/>
: <math>f(x)  = \begin{cases}
    x, & \mbox{якщо } x > 0 \\
    0.01x, & \mbox{інакше}
\end{cases}</math>

==== Параметрична ReLU ====
Параметрична ReLU узагальнює нещільну ReLU, а саме додається параметр нещільності, який навчається разом з іншими параметрами нейронної мережі.<ref name="prelu">{{cite arxiv  |eprint=1502.01852 |last1=He |first1=Kaiming |title=Delving Deep into Rectifiers: Surpassing Human-Level Performance on Image ''Net'' Classification |last2=Zhang |first2=Xiangyu |last3=Ren |first3=Shaoqing |last4=Sun |first4=Jian |class=cs.CV |year=2015}}</ref>

: <math>f(x)  = \begin{cases}
    x, & \mbox{якщо } x > 0 \\
    a x, & \mbox{інакше}
\end{cases}</math>
Зауважте, що для <math>a\leqslant  1</math>, це еквівалентно
: <math>f(x)  = \max(x, ax)</math>
і тому таке відношення називають «максимальним виводом» ({{lang-en|maxout}}) мережі.<ref name="prelu"/>

=== ELU ===
Експоненціально-лінійна ReLU робить середнє передавача ближчим до нуля, що прискорює навчання. Було показано, що ELU може отримати більш високу точність класифікації, ніж ReLU.<ref>{{Cite arxiv  |eprint=1511.07289 |last1=Clevert |first1=Djork-Arné |title=Fast and Accurate Deep Network Learning by Exponential Linear Units (ELUs) |last2=Unterthiner |first2=Thomas |last3=Hochreiter |first3=Sepp |class=cs.LG |year=2015}}</ref>

<math>f(x) = \begin{cases} 
x, & \mbox{якщо } x \geqslant 0 \\ 
a(e^x-1), & \mbox{інакше}
\end{cases}</math>

<math>a</math> є [[Гіперпараметр (машинне навчання)|гіперпараметром]], який налаштовується і <math>a \geqslant 0</math>&nbsp;— константа.

== Переваги ==

* Біологічна правдоподібність: Одностороння на відміну від [[Центральна симетрія|центрально симетричного]] [[Гіперболічні функції|гіперболічного тангенса]].
* Розріджена активація: наприклад, у випадково ініціалізованій мережі, тільки близько 50&nbsp;% прихованих елементів активуються (мають не нульове значення).
* Краще градієнтне поширення: рідше виникає [[проблема зникання градієнту]] у порівнянні з сигмоїдальною передавальною функцією, яка може виникнути в обох напрямках.<ref>{{Cite journal|last=Glorot|first=Xavier|last2=Bordes|first2=Antoine|last3=Bengio|first3=Yoshua|date=2011-06-14|title=Deep Sparse Rectifier Neural Networks|url=http://proceedings.mlr.press/v15/glorot11a.html|journal=PMLR|language=en|accessdate=11 серпня 2018|archive-date=24 серпня 2018|archive-url=https://web.archive.org/web/20180824202741/http://proceedings.mlr.press/v15/glorot11a.html}}</ref>
* Швидкість обчислення: тільки порівняння, додавання та множення.
* Інваріантність відносно масштабування: <math>\max(0, ax) = a \max(0, x)</math> для <math>a \geqslant 0</math>.

ReLU було використано для відокремлення специфічного збудження та неспецифічного інгібування у піраміді з нейронною абстракцією ({{lang-en|Neural Abstraction Pyramid}}), яка була [[Кероване навчання|навчена керовано]], щоб вирішувати декілька завдань комп'ютерного зору.<ref name=NeuralAbstractionPyramid>{{cite book|last=Behnke|first=Sven|year=2003|title=Hierarchical Neural Networks for Image Interpretation|url=https://www.researchgate.net/publication/220688219_Hierarchical_Neural_Networks_for_Image_Interpretation|series=Lecture Notes in Computer Science|volume=2766|publisher=Springer|doi=10.1007/b11963|accessdate=11 серпня 2018|archive-date=11 серпня 2018|archive-url=https://web.archive.org/web/20180811132018/https://www.researchgate.net/publication/220688219_Hierarchical_Neural_Networks_for_Image_Interpretation}}</ref>
У 2011,<ref name="glorot2011"/> ReLU використовували як елемент нелінійності з метою показати, можливість глибокого навчання нейронної мережі без попереднього [[Некероване навчання|некерованого навчання]]. ReLU, на відміну від [[сигмоїда]] та подібних передавальних функцій, дозволяє швидше та ефективніше навчання глибоких нейронних мереж на великих та складних наборах даних.

== Потенційні складнощі ==
* Не регулярна у нулі: проте похідна існує в усіх інших точках, також можна на власний розсуд задати значення у нулі&nbsp;— 0 або 1.
* Несиметрична
* Необмежена
* Наявність мертвих зон: може трапитись так, що нейрони будуть переведені у стан, в якому вони стануть неактивними для всіх вхідних значень. Для такого стану відсутнє зворотне поширення градієнту, яке проходить через нейрон і тому в такому стані нейроном потрапляє у незмінний стан і «вмирає». Це один з різновидів [[Проблема зникання градієнту|проблеми зникання градієнту]]. В деяких випадках велика кількість нейронів мережі може застигнути у мертвому стані, і справити ефект зменшення місткості моделі. Така проблема зазвичай виникає коли встановлено дуже велику швидкість навчання. Цей ефект можна послабити, якщо натомість використати нещільну ReLU.

== Див. також ==
* [[Softmax]]
* [[Сигмоїда]]
* [[Swish функція]]
* {{Нп|Тобіт модель|||Tobit model}}

== Примітки ==
{{reflist}}

{{Перекласти|en}}

{{Диференційовні обчислення}}

[[Категорія:Нейронні мережі]]