Перегляд вихідного коду сторінки Рекурентна нейронна мережа

{{Машинне навчання|Штучна нейронна мережа}}
{{Distinguish|Рекурсивна нейронна мережа}}
'''Рекуре́нтні нейро́нні мере́жі''' ('''РНМ''', {{lang-en|recurrent neural networks, RNN}})&nbsp;— це клас [[Штучна нейронна мережа|штучних нейронних мереж]], у якому з'єднання між вузлами утворюють [[Орієнтований граф|граф орієнтований]] у часі. Це створює внутрішній стан мережі, що дозволяє їй проявляти динамічну поведінку в часі. На відміну від [[Нейронна мережа прямого поширення|нейронних мереж прямого поширення]], РНМ можуть використовувати свою внутрішню пам'ять для обробки довільних послідовностей входів. Це робить їх застосовними до таких задач, як [[Розпізнавання рукописного введення|розпізнавання несегментованого неперервного рукописного тексту]]<ref>A. Graves, M. Liwicki, S. Fernandez, R. Bertolami, H. Bunke, J. Schmidhuber. A Novel Connectionist System for Improved Unconstrained Handwriting Recognition. IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 31, no. 5, 2009. {{ref-en}}</ref> та [[розпізнавання мовлення]].<ref>H. Sak and A. W. Senior and F. Beaufays. Long short-term memory recurrent neural network architectures for large scale acoustic modeling. Proc. Interspeech, pp338-342, Singapore, Sept. 201 {{ref-en}}</ref>

== Архітектури ==

=== Повнорекурентна мережа ===

Це&nbsp;— основна архітектура, розроблена в 1980-х роках: мережа [[Штучний нейрон|нейроноподібних]] вузлів, кожен з [[Орієнтований граф|орієнтованим з'єднанням]] до кожного іншого вузла.{{Citation needed|date=Квітень 2017}} Кожен з вузлів має змінну в часі дійснозначну активацію. Кожне з'єднання має змінювану дійснозначну {{нп|Зважування (математика)|вагу||Weighting}}. Деякі з вузлів називаються входовими вузлами, деякі&nbsp;— виходовими, а решта&nbsp;— прихованими вузлами. Більшість із наведених нижче архітектур є окремими випадками.

Для постановок [[Кероване навчання|керованого навчання]] з дискретним часом тренувальні послідовності входових векторів стають послідовностями активацій входових вузлів, по одному вектору на кожен момент часу.{{clarify|date=Квітень 2017}} В кожен заданий момент часу кожен не входовий вузол обчислює свою поточну активацію як нелінійну функцію від зваженої суми активацій всіх вузлів, від яких до нього надходять з'єднання.{{clarify|date=Квітень 2017}} Для деяких із виходових вузлів на певних тактах можуть бути задані вчителем цільові активації. Наприклад, якщо входова послідовність є мовленнєвим сигналом, що відповідає вимовленій цифрі, то кінцевий цільовий вихід у кінці послідовності може бути міткою, яка класифікує цю цифру. Для кожної послідовності її похибка є сумою відхилень усіх цільових сигналів від відповідних активацій, обчислених мережею. Для тренувального набору численних послідовностей загальна похибка є сумою похибок усіх окремих послідовностей. Алгоритми мінімізації цієї похибки згадано в [[#Тренування|розділі алгоритмів тренування]] нижче.

У постановках [[навчання з підкріпленням]] не існує вчителя, який надавав би цільові сигнали для РНМ, натомість час від часу застосовується [[функція допасованості]] або [[функція винагороди]] для оцінювання продуктивності РНМ, яка впливає на її входовий потік через виходові вузли, з'єднані з приводами, що впливають на середовище. Знов-таки, зробіть порівняння в розділі про тренувальні алгоритми нижче.

=== Рекурсивні нейронні мережі ===
{{Main|Рекурсивна нейронна мережа}}

[[Рекурсивна нейронна мережа]]<ref>{{cite journal|doi=10.1109/ICNN.1996.548916|title=Learning task-dependent distributed representations by backpropagation through structure|last1=Goller|first1=C.|last2=Küchler|first2=A.|journal=Neural Networks, 1996., IEEE}} {{ref-en}}</ref> створюється [[Рекурсія|рекурсивним]] застосуванням одного й того ж набору ваг до диференційовної графоподібної структури шляхом обходу цієї структури в [[Топологічне сортування|топологічній послідовності]]. Також, такі мережі зазвичай тренують зворотним режимом [[Автоматичне диференціювання|автоматичного диференціювання]].<ref name="lin1970">{{нп|Сеппо Ліннаінмаа|Seppo Linnainmaa||Seppo Linnainmaa}} (1970). The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors. Master's Thesis (in Finnish), Univ. Helsinki, 6-7. {{ref-fi}}</ref><ref name="grie2008">Griewank, Andreas and Walther, A.. Principles and Techniques of Algorithmic Differentiation, Second Edition. SIAM, 2008. {{ref-en}}</ref> Їх було введено для навчання [[Розподілене представлення|розподілених представлень]] структури, таких як [[Математична логіка|терміни логіки]]. Окремим випадком рекурсивних нейронних мереж є самі РНМ, чия структура відповідає лінійному ланцюжкові. Рекурсивні нейронні мережі застосовували до [[Обробка природної мови|обробки природної мови]].<ref>{{cite journal|last1=Socher|first1=Richard|last2=Lin|first2=Cliff|last3=Ng|first3=Andrew Y.|last4=Manning|first4=Christopher D.|title=Parsing Natural Scenes and Natural Language with Recursive Neural Networks|journal=The 28th International Conference on Machine Learning (ICML 2011)}} {{ref-en}}</ref> Рекурсивна нейронна тензорна мережа ({{lang-en|Recursive Neural Tensor Network}}) використовує функцію компонування на основі [[тензор]]ів для всіх вузлів дерева.<ref>{{cite journal|last1=Socher|first1=Richard|last2=Perelygin|first2=Alex|last3=Y. Wu|first3=Jean|last4=Chuang|first4=Jason|last5=D. Manning|first5=Christopher|last6=Y. Ng|first6=Andrew|last7=Potts|first7=Christopher|title=Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank|journal=EMNLP 2013|url=http://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf|accessdate=17 квітня 2017|archive-date=28 грудня 2016|archive-url=https://web.archive.org/web/20161228100300/http://nlp.stanford.edu/%7Esocherr/EMNLP2013_RNTN.pdf}} {{ref-en}}</ref>

=== Мережа Хопфілда ===
{{Головна|Мережа Хопфілда}}

[[Мережа Хопфілда]] становить історичний інтерес, хоч вона й не є загальноприйнятою РНМ, оскільки її побудовано не для обробки послідовностей зразків. Вона натомість вимагає [[Стаціонарний процес|стаціонарних]] входів. Вона є РНМ, в якій усі з'єднання є симетричними. Винайдена [[Джон Хопфілд|Джоном Хопфілдом]] 1982 року, вона гарантує, що її динаміка збігатиметься. Якщо з'єднання тренуються із застосуванням [[Геббове навчання|геббового навчання]], то мережа Хопфілда може працювати як [[Робастність (інформатика)|робастна]] [[асоціативна пам'ять]], стійка до змін з'єднань.

Одним із варіантів мережі Хопфілда є [[двоспрямована асоціативна пам'ять]] (ДАП, {{lang-en|bidirectional associative memory, BAM}}). ДАП має два шари, кожен з яких можна використовувати як входовий, щоби викликати асоціацію й виробити вихід на іншому шарі.<ref>
{{cite book
 | url = https://books.google.com/books?id=txsjjYzFJS4C&pg=PA336&dq=%22Bidirectional+associative+memory%22+%22recurrent%22
 | page = 336
 | title = Neural networks: a systematic introduction
 | author = Rául Rojas
 | publisher = Springer
 | isbn = 978-3-540-60505-8
 | year = 1996
 }} {{ref-en}}</ref>

=== Мережі Елмана та Джордана ===
{{Головна|Мережа Елмана|Мережа Джордана}}
[[Файл:Elman srnn.png|thumb|Right|Мережа Елмана]]

Наступний окремий випадок наведеної вище основної архітектури було застосовано {{нп|Джефф Елман|Джеффом Елманом||Jeff Elman}}. Використовується тришарова мережа (впорядкована на ілюстрації по горизонталі як ''x'', ''y'' та ''z'') з додаванням набору «контекстних вузлів» ({{lang-en|context units}}, на ілюстрації&nbsp;— ''u''). Існують з'єднання з середнього (прихованого) шару з цими контекстними вузлами з незмінними одиничними вагами.<ref name="bmm615">Cruse, Holk; [http://www.brains-minds-media.org/archive/615/bmm615.pdf ''Neural Networks as Cybernetic Systems''] {{Webarchive|url=https://web.archive.org/web/20161020014209/http://www.brains-minds-media.org/archive/615/bmm615.pdf |date=20 жовтня 2016 }}, 2nd and revised edition {{ref-en}}</ref> На кожному такті вхід поширюється стандартним прямим чином, а потім застосовується правило навчання. Незмінні зворотні з'єднання призводять до того, що контекстні вузли завжди зберігають копію попередніх значень прихованих вузлів (оскільки вони поширюються з'єднаннями до застосування правила навчання). Таким чином, [[мережа Елмана]] може зберігати свого роду стан, що дозволяє їй виконувати такі задачі, як передбачення послідовностей, що є за межами можливостей стандартного багатошарового перцептрону.

[[Мережа Джордана|Мережі Джордана]], що завдячують своєю назвою {{нп|Майкл І. Джордан|Майклові І. Джордану||Michael I. Jordan}}, подібні до мереж Елмана. Проте подавання на контекстні вузли йде з виходового шару замість прихованого. Контекстні вузли в мережі Джордана також називають шаром стану, і вони мають рекурентні з'єднання самі з собою, без інших вузлів на цих з'єднаннях.<ref name="bmm615" />

Мережі Елмана та Джордана відомі також як «прості рекурентні мережі» (ПРМ, {{lang-en|simple recurrent networks, SRN}}).

;Мережа Елмана<ref>{{cite journal
 | last=Elman
 | first=Jeffrey L.
 | title=Finding Structure in Time
 | journal=Cognitive Science
 | year=1990
 | volume=14
 | issue=2
 | pages=179–211
 | doi=10.1016/0364-0213(90)90002-E}} {{ref-en}}</ref>
: <math>
\begin{align}
h_t &= \sigma_h(W_{h} x_t + U_{h} h_{t-1} + b_h) \\
y_t &= \sigma_y(W_{y} h_t + b_y)
\end{align}
</math>
;Мережа Джордана<ref>{{cite journal
 | last=Jordan
 | first=Michael I.
 | title=Serial Order: A Parallel Distributed Processing Approach
 | year=1986
}} {{ref-en}}</ref>
: <math>
\begin{align}
h_t &= \sigma_h(W_{h} x_t + U_{h} y_{t-1} + b_h) \\
y_t &= \sigma_y(W_{y} h_t + b_y)
\end{align}
</math>

Змінні та функції
* <math>x_t</math>: входовий вектор
* <math>h_t</math>: вектор прихованого шару
* <math>y_t</math>: виходовий вектор
* <math>W</math>, <math>U</math> та <math>b</math>: матриці та вектор параметрів
* <math>\sigma_h</math> та <math>\sigma_y</math>: [[Функція активації|функції активації]]

=== Резервуарне обчислення ===
[[Резервуарне обчислення]]&nbsp;— особливий підхід у рекурентних нейронних мережах, що використовує фіксовану випадкову структуру, відому як «резервуар», для ефективної обробки тимчасових даних. Резервуар складається з взаємопов'язаних вузлів із випадковими з'єднаннями, що утворюють динамічну систему, здатну вловлювати складні часові закономірності. На відміну від традиційних РНМ, обчислення пластів передбачає навчання лише вихідного рівня, що спрощує процес навчання. Його обчислювальна ефективність, яка пояснюється фіксованою структурою резервуару, робить його вигідним для завдань, що потребують інтенсивної пам'яті. Застосування охоплюють різні сфери, такі як прогнозування часових рядів і розпізнавання мовлення, демонструючи свою ефективність у обробці послідовних даних. Типи, такі як [[мережа з відлунням стану]] (Echo State Networks) і [[рідкий скінченний автомат]] (Liquid State Machines,) розширюють його застосування в різних контекстах.<ref name=":0">{{Cite news|title=Recent advances in physical reservoir computing: A review|url=https://www.sciencedirect.com/science/article/pii/S0893608019300784|work=Neural Networks|date=2019-07-01|accessdate=2023-12-15|issn=0893-6080|doi=10.1016/j.neunet.2019.03.005|pages=100–123|volume=115|first=Gouhei|last=Tanaka|first2=Toshiyuki|last2=Yamane|first3=Jean Benoit|last3=Héroux|first4=Ryosho|last4=Nakane|first5=Naoki|last5=Kanazawa|first6=Seiji|last6=Takeda|first7=Hidetoshi|last7=Numata|first8=Daiju|last8=Nakano|first9=Akira|last9=Hirose}}</ref><ref name=":1">{{Cite news|title=Next generation reservoir computing|url=https://www.nature.com/articles/s41467-021-25801-2|work=[[Nature Communications]]|date=2021-09-21|accessdate=2023-12-15|issn=2041-1723|pmc=PMC8455577|pmid=34548491|doi=10.1038/s41467-021-25801-2|pages=5564|volume=12|issue=1|language=en|first=Daniel J.|last=Gauthier|first2=Erik|last2=Bollt|first3=Aaron|last3=Griffith|first4=Wendson A. S.|last4=Barbosa}}</ref>

Незважаючи на свої переваги, оптимізація продуктивності пласта для конкретних завдань залишається проблемою. Тим не менш, резервуарні обчислення є перспективною архітектурою в РНМ, пропонуючи обчислювальну ефективність і майстерність в обробці тимчасової інформації. Постійні дослідження спрямовані на підвищення його можливостей і розширення його застосування в різних сферах. Ця парадигма являє собою значний прогрес в архітектурі нейронних мереж, готовий запровадити інновації в часовій обробці даних.<ref name=":0" /><ref name=":1" />

==== Мережа з відлунням стану ====
{{Головна|Мережа з відлунням стану}}

[[Мережа з відлунням стану]] ({{lang-en|echo state network, ESN}})&nbsp;— це рекурентна нейронна мережа з розріджено з'єднаним випадковим прихованим шаром. Унікальність цієї мережі полягає у тому, що лише ваги виходних нейронів підлягають змінам та навчанню, тоді як структура та внутрішній стан резервуару залишаються незмінними. Такі мережі є добрими для відтворення певних [[Часовий ряд|часових рядів]].<ref>H. Jaeger. Harnessing nonlinearity: Predicting chaotic systems and saving energy in wireless communication. Science, 304:78–80, 2004. {{ref-en}}</ref>

Основні особливості<ref>{{Cite news|title=Direct model of memory properties and the linear reservoir topologies in echo state networks|url=https://www.sciencedirect.com/science/article/pii/S1568494614002142|work=Applied Soft Computing|date=2014-09-01|accessdate=2023-12-15|issn=1568-4946|doi=10.1016/j.asoc.2014.04.038|pages=622–628|volume=22|first=Qianli|last=Ma|first2=Weibiao|last2=Chen|first3=Jia|last3=Wei|first4=Zhiwen|last4=Yu}}</ref><ref name=":0" /><ref>{{Cite news|title=Exploring unsupervised pre-training for echo state networks|url=https://link.springer.com/10.1007/s00521-023-08988-x|work=Neural Computing and Applications|date=2023-12|accessdate=2023-12-15|issn=0941-0643|doi=10.1007/s00521-023-08988-x|pages=24225–24242|volume=35|issue=34|language=en|first=Peter|last=Steiner|first2=Azarakhsh|last2=Jalalvand|first3=Peter|last3=Birkholz}}</ref>:

* Резервуар у мережі з відлунням стану має велику кількість взаємопов'язаних вузлів, що формують розріджений прихований шар.
* Лише вихідні ваги піддаються тренуванню, що спрощує процес навчання та зменшує обчислювальну складність.
* Мережі з відлунням стану відомі своєю здатністю успішно відтворювати складні часові ряди та використовуються у завданнях прогнозування та моделювання послідовних даних.

==== Рідкий скінченний автомат ====
Варіант для {{нп|Нейронна мережа з потенціалом дії|нейронів з потенціалом дії||Spiking neural network}} відомий як [[Рідкий скінченний автомат|рідкі скінченні автомати]].<ref>W. Maass, T. Natschläger, and H. Markram. A fresh look at real-time computation in generic recurrent neural circuits. Technical report, Institute for Theoretical Computer Science, TU Graz, 2002. {{ref-en}}</ref> Ця модифікація мережі дозволяє здійснювати більш точні та гнучкі прогнози в обробці послідовних даних.<ref>{{Cite news|title=Extended liquid state machines for speech recognition|url=https://www.frontiersin.org/articles/10.3389/fnins.2022.1023470|work=Frontiers in Neuroscience|date=2022|accessdate=2023-12-15|issn=1662-453X|pmc=PMC9651956|pmid=36389242|doi=10.3389/fnins.2022.1023470|volume=16|first=Lucas|last=Deckers|first2=Ing Jyh|last2=Tsang|first3=Werner|last3=Van Leekwijck|first4=Steven|last4=Latré}}</ref><ref>{{Cite web|title=Mosaic LSM: A Liquid State Machine Approach for Multimodal Longitudinal Data Analysis {{!}} IEEE Conference Publication {{!}} IEEE Xplore|url=https://ieeexplore.ieee.org/document/10191256/|website=ieeexplore.ieee.org|accessdate=2023-12-15|doi=10.1109/ijcnn54540.2023.10191256}}</ref><ref>{{Cite web|title=Real-world Performance Estimation of Liquid State Machines for Spoken Digit Classification {{!}} IEEE Conference Publication {{!}} IEEE Xplore|url=https://ieeexplore.ieee.org/document/10191451/|website=ieeexplore.ieee.org|accessdate=2023-12-15|doi=10.1109/ijcnn54540.2023.10191451}}</ref><ref>{{Cite news|title=Adaptive structure evolution and biologically plausible synaptic plasticity for recurrent spiking neural networks|url=https://www.nature.com/articles/s41598-023-43488-x|work=[[Scientific Reports]]|date=2023-10-07|accessdate=2023-12-15|issn=2045-2322|pmc=PMC10560283|pmid=37805632|doi=10.1038/s41598-023-43488-x|pages=16924|volume=13|issue=1|language=en|first=Wenxuan|last=Pan|first2=Feifei|last2=Zhao|first3=Yi|last3=Zeng|first4=Bing|last4=Han}}</ref>

=== Нейронний стискач історії ===

[[Проблема зникання градієнту|Проблему зникання градієнту]]<ref name="hochreiter1991">{{нп|Зепп Хохрайтер|Sepp Hochreiter||Sepp Hochreiter}} (1991), [http://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf Untersuchungen zu dynamischen neuronalen Netzen] {{Webarchive|url=https://web.archive.org/web/20150306075401/http://people.idsia.ch/~juergen/SeppHochreiter1991ThesisAdvisorSchmidhuber.pdf |date=6 березня 2015 }}, Diploma thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber. {{ref-de}}</ref> [[Автоматичне диференціювання|автоматичного диференціювання]] та [[Зворотне поширення|зворотного поширення]] в нейронних мережах було частково подолано 1992 року ранньою [[Породжувальна модель|породжувальною моделлю]], названою нейронним стискачем історії, реалізованою як некерована стопка рекурентних нейронних мереж (РНМ).<ref name="schmidhuber1992">[[Юрген Шмідгубер|Jürgen Schmidhuber]]. Learning complex, extended sequences using the principle of history compression. Neural Computation, 4(2):234–242. [ftp://ftp.idsia.ch/pub/juergen/chunker.pdf Online]{{Недоступне посилання}} {{ref-en}}</ref> РНМ на входовому рівні навчається передбачувати свій наступний вхід з історії попередніх входів. Лише непередбачувані входи певної РНМ в цій ієрархії стають входами до РНМ наступного вищого рівня, яка відтак переобчислює свій внутрішній стан лише зрідка. Кожна РНМ вищого рівня відтак навчається стисненого представлення інформації в нижчій РНМ. Це здійснюється таким чином, що вхідну послідовність може бути точно відтворено з представлення цієї послідовності на найвищому рівні. Ця система дієво мінімізує довжину опису або від'ємний [[логарифм]] імовірності даних.<ref name="scholarpedia2015pre">[[Юрген Шмідгубер|Jürgen Schmidhuber]] (2015). Deep Learning. Scholarpedia, 10(11):32832. [http://www.scholarpedia.org/article/Deep_Learning#Fundamental_Deep_Learning_Problem_and_Unsupervised_Pre-Training_of_RNNs_and_FNNs Section on Unsupervised Pre-Training of RNNs and FNNs] {{Webarchive|url=https://web.archive.org/web/20160419024349/http://www.scholarpedia.org/article/Deep_Learning#Fundamental_Deep_Learning_Problem_and_Unsupervised_Pre-Training_of_RNNs_and_FNNs |date=19 квітня 2016 }} {{ref-en}}</ref> Якщо в послідовності вхідних даних є багато передбачуваності, яка піддається навчанню, то РНМ найвищого рівня може використовувати кероване навчання, щоби легко класифікувати навіть глибокі послідовності з дуже тривалими часовими інтервалами між важливими подіями. 1993 року така система вже розв'язала задачу «дуже глибокого навчання» ({{lang-en|Very Deep Learning}}), яка вимагає понад 1&nbsp;000 послідовних шарів в розгорнутій у часі РНМ.<ref name="schmidhuber1993">[[Юрген Шмідгубер|Jürgen Schmidhuber]] (1993). Habilitation thesis, TUM, 1993. Page 150 ff demonstrates credit assignment across the equivalent of 1,200 layers in an unfolded RNN. [ftp://ftp.idsia.ch/pub/juergen/habilitation.pdf Online]{{Недоступне посилання}} {{ref-en}}</ref>

Також можливо перегнати всю цю ієрархію РНМ в лише дві РНМ, що називають «свідомим» фрагментатором ({{lang-en|"conscious" chunker}}, вищий рівень) та «підсвідомим» автоматизатором ({{lang-en|"subconscious" automatizer}}, нижчий рівень).<ref name="schmidhuber1992"/> Щойно фрагментатор навчився передбачувати та стискати входи, які є все ще не передбачуваними автоматизатором, то в наступній фазі навчання можна навантажити автоматизатор передбачуванням або імітуванням через особливі додаткові вузли прихованих вузлів повільніше змінюваного фрагментатора. Це полегшує автоматизаторові навчання доречних рідко змінюваних спогадів протягом дуже тривалих проміжків часу. Це, своєю чергою, допомагає автоматизаторові робити багато з його колись непередбачуваних входів передбачуваними, таким чином, що фрагментатор може зосередитися на решті все ще непередбачуваних подій, щоби стискати дані ще сильніше.<ref name="schmidhuber1992"/>

=== Довга короткочасна пам'ять ===
{{Головна|Довга короткочасна пам'ять}}

Численні дослідники нині використовують РНМ [[Глибоке навчання|глибокого навчання]], яку називають мережею [[Довга короткочасна пам'ять|довгої короткочасної пам'яті]] (ДКЧП, {{lang-en|long short-term memory, LSTM}}), опубліковану {{нп|Зепп Хохрайтер|Хохрайтером||Sepp Hochreiter}} та [[Юрген Шмідгубер|Шмідгубером]] 1997 року.<ref name=lstm>{{нп|Зепп Хохрайтер|Hochreiter, Sepp||Sepp Hochreiter}}; and [[Юрген Шмідгубер|Schmidhuber, Jürgen]]; ''Long Short-Term Memory'', Neural Computation, 9(8):1735–1780, 1997 {{ref-en}}</ref> Це система [[Глибоке навчання|глибокого навчання]], яка, на відміну від традиційних РНМ, не має [[Проблема зникання градієнту|проблеми зникання градієнту]] (порівняйте в [[#Тренування|розділі алгоритмів тренування]] нижче). ДКЧП в нормі є доповненою рекурентними вентилями, які називають забувальними ({{lang-en|forget gates}}).<ref name="gers2002">Felix Gers, Nicholas Schraudolph, and [[Юрген Шмідгубер|Jürgen Schmidhuber]] (2002). Learning precise timing with LSTM recurrent networks. Journal of Machine Learning Research 3:115–143. {{ref-en}}</ref> РНМ ДКЧП запобігають зниканню та вибуханню зворотно поширюваних похибок.<ref name="hochreiter1991"/> Натомість похибки можуть плинути в зворотному напрямку крізь необмежене число віртуальних шарів розгорнутої в просторі РНМ ДКЧП. Тобто, ДКЧП може вчитися завдань «дуже глибокого навчання» ({{lang-en|Very Deep Learning}}),<ref name="schmidhuber2015">[[Юрген Шмідгубер|Jürgen Schmidhuber]] (2015). Deep learning in neural networks: An overview. Neural Networks 61 (2015): 85-117. [http://arxiv.org/abs/1404.7828 ArXiv] {{Webarchive|url=https://web.archive.org/web/20170508085728/https://arxiv.org/abs/1404.7828 |date=8 травня 2017 }} {{ref-en}}</ref> які вимагають спогадів про події, що трапилися тисячі або навіть мільйони тактів тому. Можливо розвивати ДКЧП-подібні проблемно-орієнтовані топології.<ref name="bayer2009">Justin Bayer, Daan Wierstra, Julian Togelius, and Jürgen Schmidhuber (2009). Evolving memory cell structures for sequence learning. Proceedings of ICANN (2), pp. 755—764. {{ref-en}}</ref> ДКЧП працює навіть за тривалих затримок, і може обробляти сигнали, що мають суміш низько- та високочастотних складових.

Нині багато застосунків використовують стопки РНМ ДКЧП<ref name="fernandez2007">Santiago Fernandez, Alex Graves, and [[Юрген Шмідгубер|Jürgen Schmidhuber]] (2007). Sequence labelling in structured domains with hierarchical recurrent neural networks. Proceedings of IJCAI. {{ref-en}}</ref> і тренують їх нейромережевою часовою класифікацією (НЧК, {{lang-en|Connectionist Temporal Classification, CTC}})<ref name="graves2006">Alex Graves, Santiago Fernandez, Faustino Gomez, and [[Юрген Шмідгубер|Jürgen Schmidhuber]] (2006). Connectionist temporal classification: Labelling unsegmented sequence data with recurrent neural nets. Proceedings of ICML'06, pp. 369—376. {{ref-en}}</ref> для знаходження такої вагової матриці РНМ, яка максимізує ймовірність послідовностей міток у тренувальному наборі для заданих відповідних вхідних послідовностей. НЧК досягає як вирівнювання, так і розпізнавання. Близько 2007 року ДКЧП почали революціювати [[розпізнавання мовлення]], перевершуючи традиційні моделі в деяких мовленнєвих застосуваннях.<ref name="fernandez2007keyword">Santiago Fernandez, Alex Graves, and Jürgen Schmidhuber (2007). An application of recurrent neural networks to discriminative keyword spotting. Proceedings of ICANN (2), pp. 220—229. {{ref-en}}</ref> 2009 року ДКЧП, тренована НЧК, стала першою РНМ, яка перемогла в змаганнях із розпізнавання образів, коли вона виграла кілька змагань із неперервного [[Розпізнавання рукописного введення|рукописного розпізнавання]].<ref name="schmidhuber2015"/><ref>Graves, Alex; and Schmidhuber, Jürgen; ''Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks'', in Bengio, Yoshua; Schuurmans, Dale; Lafferty, John; Williams, Chris K. I.; and Culotta, Aron (eds.), ''Advances in Neural Information Processing Systems 22 (NIPS'22), December 7th–10th, 2009, Vancouver, BC'', Neural Information Processing Systems (NIPS) Foundation, 2009, pp. 545—552 {{ref-en}}</ref> 2014 року китайський пошуковий гігант [[Baidu]] застосував РНМ, треновані НЧК, щоби перевершити еталон розпізнавання мовлення Switchboard Hub5'00, без застосування жодних традиційних методів обробки мовлення.<ref name="hannun2014">Awni Hannun, Carl Case, Jared Casper, Bryan Catanzaro, Greg Diamos, Erich Elsen, Ryan Prenger, Sanjeev Satheesh, Shubho Sengupta, Adam Coates, [[Ендрю Ин|Andrew Ng]] (2014). Deep Speech: Scaling up end-to-end speech recognition. [http://arxiv.org/abs/1412.5567 arXiv:1412.5567] {{Webarchive|url=https://web.archive.org/web/20161221014541/https://arxiv.org/abs/1412.5567 |date=21 грудня 2016 }} {{ref-en}}</ref> ДКЧП також поліпшила велико-словникове розпізнавання мовлення,<ref name="sak2014">Hasim Sak and Andrew Senior and Francoise Beaufays (2014). Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling. Proceedings of Interspeech 2014. {{ref-en}}</ref><ref name="liwu2015">Xiangang Li, Xihong Wu (2015). Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition [http://arxiv.org/abs/1410.4281 arXiv:1410.4281] {{Webarchive|url=https://web.archive.org/web/20170926235637/https://arxiv.org/abs/1410.4281 |date=26 вересня 2017 }} {{ref-en}}</ref> [[синтез мовлення]] з тексту,<ref name="fan2015">Bo Fan, Lijuan Wang, Frank K. Soong, and Lei Xie (2015). Photo-Real Talking Head with Deep Bidirectional LSTM. In Proceedings of ICASSP 2015. {{ref-en}}</ref> також і для [[Google Android]],<ref name="schmidhuber2015"/><ref name="zen2015">Heiga Zen and Hasim Sak (2015). Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis. In Proceedings of ICASSP, pp. 4470-4474. {{ref-en}}</ref> і фото-реалістичні голови, що розмовляють.<ref name="fan2015"/> 2015 року в розпізнаванні мовлення Google, як повідомляється, стався різкий 49-відсотковий{{Citation needed|date=квітень 2017}} стрибок продуктивності завдяки НЧК-тренованій ДКЧП, яка тепер доступна через [[Google Voice Search]] всім користувачам смартфонів.<ref name="sak2015">Haşim Sak, Andrew Senior, Kanishka Rao, Françoise Beaufays and Johan Schalkwyk (September 2015): [http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html Google voice search: faster and more accurate.] {{Webarchive|url=https://web.archive.org/web/20160309191532/http://googleresearch.blogspot.ch/2015/09/google-voice-search-faster-and-more.html |date=9 березня 2016 }} {{ref-en}}</ref>

ДКЧП також стала дуже популярною в галузі [[Обробка природної мови|обробки природної мови]]. На відміну від попередніх моделей на основі [[Прихована марковська модель|ПММ]] та подібних понять, ДКЧП може вчитися розпізнавати {{нп|Контекстно-чутлива мова|контекстно-чутливі мови||Context-sensitive language}}.<ref name="gers2001">Felix A. Gers and [[Юрген Шмідгубер|Jürgen Schmidhuber]]. LSTM Recurrent Networks Learn Simple Context Free and Context Sensitive Languages. IEEE TNN 12(6):1333–1340, 2001. {{ref-en}}</ref> ДКЧП поліпшила [[машинний переклад]],<ref name="sutskever2014">Ilya Sutskever, Oriol Vinyals, and Quoc V. Le (2014). Sequence to Sequence Learning with Neural Networks. [http://arxiv.org/abs/1409.3215 arXiv] {{Webarchive|url=https://web.archive.org/web/20170429174221/https://arxiv.org/abs/1409.3215 |date=29 квітня 2017 }}
 {{ref-en}}</ref> [[моделювання мов]]<ref name="vinyals2016">Rafal Jozefowicz, Oriol Vinyals, Mike Schuster, Noam Shazeer, Yonghui Wu (2016). Exploring the Limits of Language Modeling. [http://arxiv.org/abs/1602.02410 arXiv] {{Webarchive|url=https://web.archive.org/web/20170606220921/https://arxiv.org/abs/1602.02410 |date=6 червня 2017 }}
 {{ref-en}}</ref> та багатомовну обробку мов.<ref name="gillick2015">Dan Gillick, Cliff Brunk, Oriol Vinyals, Amarnag Subramanya (2015). Multilingual Language Processing From Bytes. [http://arxiv.org/abs/1512.00103 arXiv] {{Webarchive|url=https://web.archive.org/web/20170726111718/https://arxiv.org/abs/1512.00103 |date=26 липня 2017 }} {{ref-en}}</ref> ДКЧП у поєднанні зі [[Згорткова нейронна мережа|згортковими нейронними мережами]] (ЗНМ) також поліпшила автоматичний опис зображень<ref name="vinyals2015">Oriol Vinyals, Alexander Toshev, Samy Bengio, and Dumitru Erhan (2015). Show and Tell: A Neural Image Caption Generator. [http://arxiv.org/abs/1411.4555 arXiv] {{Webarchive|url=https://web.archive.org/web/20170404042625/https://arxiv.org/abs/1411.4555 |date=4 квітня 2017 }} {{ref-en}}</ref> і безліч інших застосувань.

=== Вентильний рекурентний вузол ===
{{Головна|Вентильний рекурентний вузол}}

[[Вентильний рекурентний вузол]] ({{lang-en|gated recurrent unit}}) є однією з рекурентних нейронних мереж, представлених 2014 року.

=== Двонаправлена РНМ ===
{{Головна|Двонаправлені рекурентні нейронні мережі}}
Винайдена Шустером та Палівалом 1997 року,<ref>Bidirectional recurrent neural networks. IEEE Transactions on Signal Processing, 45:2673–81, November 1997. {{ref-en}}</ref> двонаправлена РНМ ({{lang-en|bi-directional RNN}}), або ДРНМ ({{lang-en|BRNN}}), використовує скінченну послідовність, щоби передбачувати або мітити кожен елемент цієї послідовності на основі як минулого, так і майбутнього контексту цього елементу. Це здійснюється шляхом з'єднання виходів двох РНМ, одна з яких обробляє послідовність зліва направо, а інша&nbsp;— справа наліво. Поєднані виходи є передбаченнями заданих учителем цільових сигналів. Ця методика виявилася особливо корисною при поєднанні з РНМ ДКЧП.<ref>A. Graves and [[Юрген Шмідгубер|J. Schmidhuber]]. Framewise phoneme classification with bidirectional LSTM and other neural network architectures. Neural Networks, 18:602–610, 2005. {{ref-en}}</ref>

=== РНМ неперервного часу ===

Рекурентна нейронна мережа неперервного часу (РНМНЧ, {{lang-en|continuous time recurrent neural network, CTRNN}})&nbsp;— це модель [[Психологічне моделювання|динамічних систем]] [[Біологічна нейронна мережа|біологічних нейронних мереж]]. Для моделювання впливів на нейрон входового ланцюжка активацій РНМНЧ застосовує систему [[Звичайні диференціальні рівняння|звичайних диференціальних рівнянь]].

Для нейрону <math>i</math> в мережі з [[Потенціал дії|потенціалом дії]] <math>y_{i}</math> темп зміни збудження задається як

: <math>\tau_{i}\dot{y}_{i}=-y_{i}+\sum_{j=1}^{n}w_{ji}\sigma(y_{j}-\Theta_{j})+I_{i}(t)</math>

де

* <math>\tau_{i}</math> : часова стала [[Синапс|постсинаптичного]] вузла
* <math>y_{i}</math> : збудження постсинаптичного вузла
* <math>\dot{y}_{i}</math> : темп зміни збудження постсинаптичного вузла
* <math>w{}_{ji}</math> : вага з'єднання від пре- до постсинаптичного вузла
* <math>\sigma(x)</math> : [[сигмоїда]] <math>x</math>, наприклад, <math>\sigma(x) = 1/(1+e^{-x})</math>.
* <math>y_{j}</math> : збудження пресинаптичного вузла
* <math>\Theta_{j}</math> : упередження пресинаптичного вузла
* <math>I_{i}(t)</math> : вхід (якщо є) до вузла

РНМНЧ часто застосовували в галузі {{нп|Еволюційна робототехніка|еволюційної робототехніки||Evolutionary robotics}}, де їх використовували, щоби братися за, наприклад, бачення,<ref name="Seeing the light: Artificial evolution, real vision">{{cite journal|last=Harvey|first=Inman |author2=Husbands, P. |author3=Cliff, D.|title=Seeing the light: Artificial evolution, real vision|journal=Proceedings of the third international conference on Simulation of adaptive behavior: from animals to animats 3|year=1994|pages=392–401}} {{ref-en}}</ref> взаємодію<ref name="Evolving communication without dedicated communication channels">{{cite journal|last=Quinn|first=Matthew|title=Evolving communication without dedicated communication channels|journal=Advances in Artificial Life|year=2001|pages=357–366|doi=10.1007/3-540-44811-X_38|series=Lecture Notes in Computer Science|isbn=978-3-540-42567-0|volume=2159}} {{ref-en}}</ref> та мінімально пізнавальну поведінку.<ref name="The dynamics of adaptive behavior: A research program">{{cite journal|last=Beer|title=The dynamics of adaptive behavior: A research program|first=R.D.|journal=Robotics and Autonomous Systems|year=1997|pages=257–289|doi=10.1016/S0921-8890(96)00063-2|volume=20|issue=2–4}} {{ref-en}}</ref>

Зауважте, що за [[Теорема відліків Шеннона|теоремою відліків Шеннона]] рекурентні нейронні мережі дискретного часу можна розглядати як рекурентні нейронні мережі неперервного часу, в яких диференціальне рівняння було перетворено на рівнозначне [[різницеве рівняння]] після того, як функції збудження постсинаптичних вузлів <math>y_i(t)</math> було пропущено через низькочастотний фільтр перед дискретизацією.

=== Ієрархічна РНМ ===

Існує багато прикладів ієрархічних РНМ ({{lang-en|hierarchical RNN}}), чиї елементи з'єднано різними способами для розкладу ієрархічної поведінки на корисні підпрограми.<ref name="schmidhuber1992"/><ref>R.W. Paine, J. Tani, "How hierarchical control self-organizes in artificial adaptive systems, " Adaptive Behavior, 13(3), 211—225, 2005. {{ref-en}}</ref>

=== Рекурентний багатошаровий перцептрон ===

Як правило, рекурентний багатошаровий перцептрон (РБШП, {{lang-en|Recurrent Multi-Layer Perceptron, RMLP}}) складається з ряду каскадованих підмереж, кожна з яких складається з декількох шарів вузлів. Кожна з цих підмереж є мережею прямого поширення повністю, крім останнього шару, який може мати зворотні зв'язки всередині себе. Кожна з цих підмереж під'єднується лише зв'язками прямого поширення.<ref>{{cite web |url=http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.45.3527 |title=CiteSeerX — Recurrent Multilayer Perceptrons for Identification and Control: The Road to Applications |publisher=Citeseerx.ist.psu.edu |accessdate=2014-01-03 |archive-date=28 грудня 2013 |archive-url=https://web.archive.org/web/20131228095823/http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.45.3527 }} {{ref-en}}</ref>

=== РНМ другого порядку ===

РНМ другого порядку ({{lang-en|second order RNN}}) використовують ваги вищих порядків <math>w{}_{ijk}</math> замість стандартних вагів <math>w{}_{ij}</math>, а входи та стани можуть бути добутком. Це уможливлює пряме відображення на [[скінченний автомат]], як у тренуванні, стійкості, так і в представленні.<ref>C.L. Giles, C.B. Miller, D. Chen, H.H. Chen, G.Z. Sun, Y.C. Lee, [https://clgiles.ist.psu.edu/pubs/NC1992-recurrent-NN.pdf «Learning and Extracting Finite State Automata with Second-Order Recurrent Neural Networks»] {{Webarchive|url=https://web.archive.org/web/20210415015753/https://clgiles.ist.psu.edu/pubs/NC1992-recurrent-NN.pdf |date=15 квітня 2021 }}, Neural Computation, 4(3), p. 393, 1992. {{ref-en}}</ref><ref>C.W. Omlin, C.L. Giles, [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.32.2364&rep=rep1&type=pdf «Constructing Deterministic Finite-State Automata in Recurrent Neural Networks»] {{Webarchive|url=https://web.archive.org/web/20170418084708/http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.32.2364&rep=rep1&type=pdf |date=18 квітня 2017 }} Journal of the ACM, 45(6), 937—972, 1996. {{ref-en}}</ref> Довга короткочасна пам'ять є прикладом цього, крім того, що вона не має таких формальних відображень та доведення стійкості.

=== Модель рекурентної нейронної мережі кількох масштабів часу ===

Модель рекурентної нейронної мережі кількох масштабів часу ({{lang-en|multiple timescales recurrent neural network, MTRNN}}) є можливою обчислювальною моделлю на нейронній основі, яка до деякої міри імітує діяльність головного мозку.<ref>Y. Yamashita, J. Tani, "Emergence of functional hierarchy in a multiple timescale neural network model: a humanoid robot experiment, " PLoS Computational Biology, 4(11), e1000220, 211—225, 2008. http://journals.plos.org/ploscompbiol/article?id=10.1371/journal.pcbi.1000220 {{Webarchive|url=https://web.archive.org/web/20220305130356/https://journals.plos.org/ploscompbiol/article?id=10.1371%2Fjournal.pcbi.1000220 |date=5 березня 2022 }} {{ref-en}}</ref><ref>Alnajjar F, Yamashita Y, Tani J (2013) The Hierarchical and Functional Connectivity of Higher-order Cognitive Mechanisms: Neurorobotic Model to Investigate the Stability and Flexibility of Working Memory, Frontiers in Neurorobotics, 7:2. doi: 10.3389/fnbot.2013.00002 {{PMID|3575058}} {{ref-en}}</ref> Вона має здатність імітувати функційну ієрархію головного мозку через самоорганізацію, яка залежить не лише від просторових зв'язків між нейронами, а й від окремих типів нейронної активності, кожного з окремими часовими властивостями. За таких різних нейронних активностей неперервні послідовності будь-якої множини поведінки сегментуються на придатні до повторного використання примітиви, які своєю чергою гнучко вбудовуються до різноманітних послідовностей поведінки. Біологічне підтвердження такого типу ієрархії обговорювалося в теорії [[Система пам'яті—передбачування|пам'яті—передбачування]] функціювання мозку {{нп|Джефф Гокінс|Джеффом Гокінсом||Jeff Hawkins}} у його книзі «[[Про інтелект]]».

=== Послідовні каскадні мережі Поллака ===

{{lang-en|Pollack's sequential cascaded networks}}

=== Нейронні машини Тюрінга ===
{{Головна|Нейронна машина Тюрінга}}

[[Нейронна машина Тюрінга|Нейронні машини Тюрінга]] (НМТ, {{lang-en|Neural Turing machine, NTM}})&nbsp;— це метод розширення можливостей рекурентних нейронних мереж шляхом з'єднання їх із зовнішніми ресурсами пам'яті, з якими вони можуть взаємодіяти за допомогою {{нпні|Процес зосередження уваги|процесів зосередження уваги||Attentional process}}. Така об'єднана система аналогічна [[Машина Тюрінга|машині Тюрінга]] або [[Архітектура фон Неймана|архітектурі фон Неймана]], але є [[Диференційовність|диференційовною]] з краю в край, що дозволяє їй продуктивно тренуватися за допомогою [[Градієнтний спуск|градієнтного спуску]].<ref>{{cite journal |arxiv= 1410.5401 |title= Neural Turing Machines |last1= Graves |first1= Alex |last2= Wayne |first2= Greg |last3= Danihelka |first3= Ivo |year= 2014 |url= http://arxiv.org/pdf/1410.5401v2.pdf |journal=  |accessdate= 17 квітня 2017 |archive-date= 7 червня 2017 |archive-url= https://web.archive.org/web/20170607101452/https://arxiv.org/pdf/1410.5401v2.pdf }}
 {{ref-en}}</ref>

=== Нейромережеві магазинні автомати ===

Нейромережеві магазинні автомати ({{lang-en|Neural network pushdown automata, NNPDA}}) аналогічні НМТ, але стрічки замінюються аналоговими стеками, які є диференційовними, і тренуються для керування. Таким чином, вони подібні за складністю до розпізнавачів [[Контекстно-вільна граматика|контекстно-вільних граматик]].<ref>Guo-Zheng Sun, C. Lee Giles, Hsing-Hen Chen, "The Neural Network Pushdown Automaton: Architecture, Dynamics and Training, " Adaptive Processing of Sequences and Data Structures, Lecture Notes in Computer Science, Volume 1387, 296—345, 1998. {{ref-en}}</ref>

=== Двоспрямована асоціативна пам'ять ===
{{Головна|Двоспрямована асоціативна пам'ять}}

Представлені вперше Бартом Коско,<ref>{{cite journal|last1=Kosko|first1=B.|title=Bidirectional associative memories|journal=IEEE Transactions on Systems, Man, and Cybernetics|date=1988|volume=18|issue=1|pages=49–60|doi=10.1109/21.87054}} {{ref-en}}</ref> мережі [[Двоспрямована асоціативна пам'ять|двоспрямованої асоціативної пам'яті]] (ДАП, {{lang-en|bidirectional associative memory, BAM}}) зберігають асоціативні дані як вектор. Двоспрямованість походить від передавання інформації матрицею та її [[Транспонована матриця|транспозицією]]. Як правило, для двійкового кодування пар асоціацій віддають перевагу {{нп|Біполярне кодування|біполярному кодуванню||Bipolar encoding}}. Нещодавно стохастичні моделі ДАП з [[Ланцюги Маркова|марковським]] кроком було оптимізовано для вищої стійкості мережі та відповідності для реальних застосувань.<ref>{{cite journal|last1=Rakkiyappan|first1=R.|last2=Chandrasekar|first2=A.|last3=Lakshmanan|first3=S.|last4=Park|first4=Ju H.|title=Exponential stability for markovian jumping stochastic BAM neural networks with mode-dependent probabilistic time-varying delays and impulse control|journal=Complexity|date=2 січня 2015|volume=20|issue=3|pages=39–65|doi=10.1002/cplx.21503}} {{ref-en}}</ref>

== Тренування ==

=== Градієнтний спуск ===

Щоби мінімізувати загальну [[Похибка (статистика)|похибку]], може застосовуватися [[градієнтний спуск]] для зміни кожної ваги пропорційно [[Похідна|похідній]] похибки по відношенню до цієї ваги, за умови, що нелінійні [[Функція активації|функції активації]] є [[Диференційовність|диференційовними]]. Для здійснення цього в 1980-х і на початку 1990-х років було розроблено різні методи {{нп|Пол Вербос|Полом Вербосом||Paul Werbos}}, [[Рональд Вільямс|Рональдом Вільямсом]], Тоні Робінсоном, [[Юрген Шмідгубер|Юргеном Шмідгубером]], {{нп|Зепп Хохрайтер|Зеппом Хохрайтером||Sepp Hochreiter}}, {{Link-interwiki|Барак Перлмуттер|text=Бараком Перлмуттером|Q=Q30511981}} та іншими.

{{якірець|Реальночасове рекурентне навчання}}Стандартний метод називається «[[зворотне поширення в часі]]» ({{lang-en|backpropagation through time}}), або ЗПЧ ({{lang-en|BPTT}}), і є узагальненням [[Зворотне поширення|зворотного поширення]] для мереж прямого поширення,<ref>P. J. Werbos. Generalization of backpropagation with application to a recurrent gas market model. Neural Networks, 1, 1988. {{ref-en}}</ref><ref>David E. Rumelhart; Geoffrey E. Hinton; Ronald J. Williams. Learning Internal Representations by Error Propagation. {{ref-en}}</ref> і, як і той метод, є зразком [[Автоматичне диференціювання|автоматичного диференціювання]] в режимі зворотного накопичення, або [[Принцип мінімуму Понтрягіна|принципу мінімуму Понтрягіна]]. Обчислювально більш витратний інтерактивний варіант називається «реальночасове рекурентне навчання» ({{lang-en|Real-Time Recurrent Learning}}), або РЧРН ({{lang-en|RTRL}}),<ref>A. J. Robinson and F. Fallside. The utility driven dynamic error propagation network. Technical Report CUED/F-INFENG/TR.1, Cambridge University Engineering Department, 1987. {{ref-en}}</ref><ref>R. J. Williams and D. Zipser. Gradient-based learning algorithms for recurrent networks and their computational complexity. In Back-propagation: Theory, Architectures and Applications. Hillsdale, NJ: Erlbaum, 1994. {{ref-en}}</ref> і є зразком [[Автоматичне диференціювання|автоматичного диференціювання]] в режимі послідовного накопичення зі складеними векторами тангенсів. На відміну від ЗПЧ, цей алгоритм є ''локальним в часі, але не локальним у просторі''.

В цьому контексті ''локальний у просторі'' означає, що вектор ваг вузла може бути уточнено лише із застосуванням інформації, що зберігається в з'єднаних вузлах та самому вузлі, так що складність уточнення одного вузла є лінійною по відношенню до розмірності вектору ваг. ''Локальний в часі'' означає, що уточнення відбуваються неперервно (інтерактивно), і залежать лише від найнещодавнішого такту, а не від декількох тактів у межах заданого обрію часу, як у ЗПЧ. Біологічні нейронні мережі видаються локальними як у часі, так і в просторі.<ref>[[Юрген Шмідгубер|J. Schmidhuber]]. A local learning algorithm for dynamic feedforward and recurrent networks. Connection Science, 1(4):403–412, 1989. {{ref-en}}</ref><ref>Neural and Adaptive Systems: Fundamentals through Simulation. J.C. Principe, N.R. Euliano, W.C. Lefebvre {{ref-en}}</ref>

Недоліком РНРЧ є те, що для рекурсивного обчислення часткових похідних від має часову складність ''Ο''(кількість прихованих × кількість ваг) на такт для обчислення [[Матриця Якобі|матриць Якобі]], тоді як ЗПЧ займає лише ''Ο''(кількість ваг) на такт, ціною, проте, зберігання всіх прямих активацій в межах заданого обрію часу.<ref name="Ollivier2015">Ollivier, Y. and Tallec, C. and Charpiat, G. (2015). Training recurrent networks online without backtracking. [http://arxiv.org/abs/1507.07680 arXiv] {{Webarchive|url=https://web.archive.org/web/20170706225042/https://arxiv.org/abs/1507.07680 |date=6 липня 2017 }} {{ref-en}}</ref>

Існує також інтерактивний гібрид ЗПЧ і РНРЧ з проміжною складністю,<ref>[[Юрген Шмідгубер|J. Schmidhuber]]. A fixed size storage O(n3) time complexity learning algorithm for fully recurrent continually running networks. Neural Computation, 4(2):243–248, 1992. {{ref-en}}</ref><ref>R. J. Williams. Complexity of exact gradient computation algorithms for recurrent neural networks. Technical Report Technical Report NU-CCS-89-27, Boston: Northeastern University, College of Computer Science, 1989. {{ref-en}}</ref> і є варіанти для неперервного часу.<ref>B. A. Pearlmutter. Learning state space trajectories in recurrent neural networks. Neural Computation, 1(2):263–269, 1989. {{ref-en}}</ref> Головною проблемою градієнтного спуску для стандартних архітектур РНМ є те, що [[Проблема зникання градієнту|градієнти похибки зникають]] експоненційно швидко з розміром часової затримки між важливими подіями.<ref name="hochreiter1991"/><ref>{{нп|Зепп Хохрайтер|S. Hochreiter||Sepp Hochreiter}}, Y. Bengio, P. Frasconi, and [[Юрген Шмідгубер|J. Schmidhuber]]. Gradient flow in recurrent nets: the difficulty of learning long-term dependencies. In S. C. Kremer and J. F. Kolen, editors, A Field Guide to Dynamical Recurrent Neural Networks. IEEE Press, 2001. {{ref-en}}</ref> Як спробу подолання цих проблем було запропоновано архітектуру довгої короткочасної пам'яті разом з гібридним методом навчання ЗПЧ/РНРЧ.<ref name="lstm" />

Крім того, інтерактивний алгоритм, що називається причинним рекурсивним зворотним поширенням (ПРЗП, {{lang-en|causal recursive backpropagation, CRBP}}), реалізує та поєднує разом парадигми ЗПЧ та РНРЧ для локальної рекурентної мережі.<ref>{{Cite journal|last=P. Campolucci, A. Uncini, F. Piazza, B. D. Rao|first=|year=1999|title=On-Line Learning Algorithms for Locally Recurrent Neural Networks|url=|journal=IEEE Transaction On Neural Networks|volume=10 (2)|pages=253–271|via=http://ieeexplore.ieee.org/document/750549/}} {{ref-en}}</ref> Він працює з найзагальнішими локально рекурентними мережами. Алгоритм ПРЗП може мінімізувати глобальну похибку; цей факт призводить до поліпшеної стійкості алгоритму, забезпечуючи об'єднавчий погляд на методики градієнтних обчислень для рекурентних мереж із локальним зворотним зв'язком.

Цікавий підхід до обчислення градієнтної інформації в РНМ довільних архітектур, що запропонували Ван та Буфе,<ref>{{Cite journal|last=E. A. Wan, F. Beaufays|first=|year=1996|title=Diagrammatic derivation of gradient algorithms for neural networks|url=https://archive.org/details/sim_neural-computation_1996-01_8_1/page/182|journal=Neural Computation|volume=8|pages=182–201|via=http://www.mitpressjournals.org/doi/abs/10.1162/neco.1996.8.1.182?journalCode=neco#.WJ14jYWcGOw}} {{ref-en}}</ref> ґрунтується на діаграмному виведенні графів плину сигналу для отримання пакетного алгоритму ЗПЧ, тоді як Камполуччі, Унчіні та Піацца запропонували його швидку інтерактивну версію<ref>{{Cite journal|last=P. Campolucci, A. Uncini, F. Piazza|first=|year=2000|title=A Signal-Flow-Graph Approach to On-line Gradient Calculation|url=|journal=Neural Computation|volume=12|pages=1901–1927|via=http://www.mitpressjournals.org/doi/abs/10.1162/089976600300015196?journalCode=neco#.WJ16EoWcGOw}} {{ref-en}}</ref> на основі теореми Лі<ref>{{Cite journal|last=A. Y.  Lee|first=|year=1974|title=Signal Flow Graphs-Computer-Aided System Analysis and Sensitivity Calculations|url=|journal=IEEE Transactions on Circuits and Systems|volume=21|pages=209–216|via=http://ieeexplore.ieee.org/document/1083832/}} {{ref-en}}</ref> для обчислення чутливості мереж.

=== Методи глобальної оптимізації ===

Тренування ваг у нейронній мережі можливо моделювати як нелінійну задачу [[Глобальна оптимізація|глобальної оптимізації]]. Цільову функцію для оцінки допасованості або похибки певного вагового вектора може бути сформовано таким чином: Спершу ваги в мережі встановлюються відповідно до цього вагового вектора. Далі, мережа оцінюється за тренувальною послідовністю. Як правило, для представлення похибки поточного вагового вектора використовують суму квадратів різниць між передбаченнями та цільовими значеннями, вказаними в тренувальній послідовності. Потім для мінімізації цієї цільової функції може бути застосовано довільні методики глобальної оптимізації.

Найуживанішим методом глобальної оптимізації для тренування РНМ є [[Генетичний алгоритм|генетичні алгоритми]], особливо в неструктурованих мережах.<ref>F. J. Gomez and R. Miikkulainen. Solving non-Markovian control tasks with neuroevolution. Proc. IJCAI 99, Denver, CO, 1999. Morgan Kaufmann. {{ref-en}}</ref><ref>{{cite web|url=http://arimaa.com/arimaa/about/Thesis/|title=Applying Genetic Algorithms to Recurrent Neural Networks for Learning Network Parameters and Architecture|publisher=|accessdate=17 квітня 2017|archive-date=6 грудня 2010|archive-url=https://web.archive.org/web/20101206141930/http://arimaa.com/arimaa/about/Thesis/}} {{ref-en}}</ref><ref>F. Gomez,
[[Юрген Шмідгубер|J. Schmidhuber]], R. Miikkulainen. Accelerated Neural Evolution through Cooperatively Coevolved Synapses. Journal of Machine Learning Research (JMLR), 9:937-965, 2008. {{ref-en}}</ref>

Спочатку генетичний алгоритм кодується вагами нейронної мережі в наперед визначеному порядку, коли один ген у хромосомі представляє одне зважене з'єднання, і так далі; вся мережа представляється єдиною хромосомою. Функція допасованості обчислюється наступним чином: 1) кожна вага, закодована в хромосомі, призначається відповідному зваженому з'єднанню мережі; 2) потім тренувальний набір зразків представляється мережі, яка поширює вхідні сигнали далі; 3) до функції допасованості повертається середньоквадратична похибка; 4) ця функція потім веде процес генетичного відбору.

Популяцію складають багато хромосом; таким чином, багато різних нейронних мереж еволюціюють, поки не буде досягнуто критерію зупинки. Поширеною схемою зупинки є: 1) коли нейронна мережа засвоїла певний відсоток тренувальних даних, або 2) коли досягнуто мінімального значення середньоквадратичної похибки, або 3) коли було досягнуто максимального числа тренувальних поколінь. Критерій зупинки оцінюється функцією допасованості при отриманні нею оберненого значення середньоквадратичної похибки з кожної з нейронних мереж під час тренування. Отже, метою генетичного алгоритму є максимізувати функцію допасованості, знизивши таким чином середньоквадратичну похибку.

Для пошуку доброго набору ваг можуть застосовуватися й інші методики глобальної (та/або еволюційної) оптимізації, такі як [[імітація відпалу]] та [[метод рою часток]].

== Пов'язані галузі та моделі ==

РНМ можуть поводитися [[Теорія хаосу|хаотично]]. В таких випадках для аналізу можна використовувати [[Теорія динамічних систем|теорію динамічних систем]].

Рекурентні нейронні мережі насправді є [[Рекурсивна нейронна мережа|рекурсивними нейронними мережами]] з певною структурою: такою, як в лінійного ланцюжка. В той час як рекурсивні нейронні мережі працюють на будь-якій ієрархічній структурі, поєднуючи дочірні представлення в батьківські, рекурентні нейронні мережі діють на лінійній послідовності часу, поєднуючи попередній такт і приховане представлення в представлення поточного такту.

Рекурентні нейронні мережі, зокрема, можна представляти як нелінійні версії фільтрів [[Фільтр зі скінченною імпульсною характеристикою|зі скінченною]] та {{нп|Нескінченна імпульсна характеристика|нескінченною імпульсною характеристикою||Infinite impulse response}}, а також як [[Нелінійна авторегресійна екзогенна модель|нелінійну авторегресійну екзогенну модель]] ({{lang-en|nonlinear autoregressive exogenous model, NARX}}).<ref>Hava T. Siegelmann, Bill G. Horne, C. Lee Giles, "Computational capabilities of recurrent NARX neural networks, " IEEE Transactions on Systems, Man, and Cybernetics, Part B 27(2): 208—215 (1997). {{ref-en}}</ref>

== Поширені бібліотеки РНМ ==

* {{нп|Apache Singa}}
* [[Caffe (програмне забезпечення)|Caffe]]: Створена Центром бачення та навчання Берклі ({{lang-en|Berkeley Vision and Learning Center, BVLC}}). Підтримує як [[Центральний процесор|ЦП]], так і [[ГП]]. Розроблена мовою [[C++]], має обгортки для [[Python]] та [[MATLAB]].
* [[Deeplearning4j]]: Глибоке навчання в [[Java]] та [[Scala]] на [[Apache Spark|Spark]] з підтримкою багатьох ГП. [http://deeplearning4j.org/ Бібліотека глибокого навчання] {{Webarchive|url=https://web.archive.org/web/20160330205423/http://deeplearning4j.org/ |date=30 березня 2016 }} загального призначення для продуктового стека [[JVM]], що працює на [https://github.com/deeplearning4j/libnd4j рушії наукових обчислень C++] {{Webarchive|url=https://web.archive.org/web/20180611160648/https://github.com/deeplearning4j/libnd4j |date=11 червня 2018 }}. Дозволяє створювати спеціальні шари. Інтегрується з [[Hadoop]] та [[Apache Kafka|Kafka]].
* [[Keras]]
* [[Microsoft Cognitive Toolkit]]
* [[TensorFlow]]: Theano-подібна бібліотека з ліцензією Apache 2.0 з підтримкою ЦП, ГП та запатентованих компанією Google [[Тензорний блок обробки|ТП]],<ref>{{cite news |url=https://www.wired.com/2016/05/google-tpu-custom-chips/ |author=Cade Metz |newspaper=Wired |date=18 травня 2016 |title=Google Built Its Very Own Chips to Power Its AI Bots |accessdate=17 квітня 2017 |archive-date=13 січня 2018 |archive-url=https://web.archive.org/web/20180113150305/https://www.wired.com/2016/05/google-tpu-custom-chips/ }}
 {{ref-en}}</ref> мобільних
* [[Theano]]: Еталонна бібліотека глибокого навчання для Python з [[Прикладний програмний інтерфейс|ППІ]], значною мірою сумісним з популярною бібліотекою [[NumPy]]. Дозволяє користувачам писати символічні математичні вирази, потім автоматично породжує їхні похідні, вберігаючи користувача від обов'язку кодувати градієнти або зворотне поширення. Ці символічні вирази автоматично компілюються в [[CUDA]] для отримання швидкої реалізації на ГП.
* [[Torch]] ([http://www.torch.ch/ www.torch.ch] {{Webarchive|url=https://web.archive.org/web/20160709085819/http://torch.ch/ |date=9 липня 2016 }}): Науковий обчислювальний каркас із широкою підтримкою алгоритмів машинного навчання, написаний мовами [[C (мова програмування)|C]] та [[lua]]. Головним автором є Ронан Коллоберт, наразі застосовується у Facebook AI Research та Twitter.

== Додаткова література ==

=== Книги ===

* Tyagi, Amit Kumar; Abraham, Ajith, ред. (2023). ''Recurrent neural networks: concepts and applications'' (1st edition). Boca Raton London New York: CRC Press, [[Taylor & Francis|Taylor & Francis Group]]. [[ISBN]]&nbsp;[[Спеціальна:Джерела книг/978-1-032-08164-9|978-1-032-08164-9]].
* Salem, Fathi M. (2022). ''Recurrent Neural Networks: From Simple to Gated Architectures'' (англ.). Cham: Springer International Publishing, [[Springer Nature]]. [[ISBN]]&nbsp;[[Спеціальна:Джерела книг/978-3-030-89928-8|978-3-030-89928-8]].

=== Статті ===

* Talaei Khoei, Tala; Ould Slimane, Hadjar; Kaabouch, Naima (2023-11). [https://link.springer.com/content/pdf/10.1007/s00521-023-08957-4.pdf Deep learning: systematic review, models, challenges, and research directions.] ''Neural Computing and Applications'' (англ.) '''35''' (31). [[Цифровий ідентифікатор об'єкта|doi]]:[[doi:10.1007/s00521-023-08957-4|10.1007/s00521-023-08957-4]].
* Orojo, Oluwatamilore; Tepper, Jonathan; McGinnity, T. M.; Mahmud, Mufti (1 січня 2023). [https://www.sciencedirect.com/science/article/pii/S1877050923009523/pdf?md5=816be9e15af54acc2873d389a550337d&pid=1-s2.0-S1877050923009523-main.pdf The Multi-Recurrent Neural Network for State-Of-The-Art Time-Series Processing.] ''Procedia Computer Science'' '''222'''. [[Цифровий ідентифікатор об'єкта|doi]]:[[doi:10.1016/j.procs.2023.08.187|10.1016/j.procs.2023.08.187]].
* [https://ieeexplore.ieee.org/document/9705533 A Review of Recurrent Neural Network-Based Methods in Computational Physiology] | [[Інститут інженерів з електротехніки та електроніки|IEEE]] Journals & Magazine. [[Цифровий ідентифікатор об'єкта|doi]]:[[doi:10.1109/TNNLS.2022.3145365|10.1109/tnnls.2022.3145365]].

== Примітки ==

{{Примітки|2}}
{{refbegin}}
* {{cite book |author1=Mandic, Danilo P.  |author2=Chambers, Jonathon A.  |lastauthoramp=yes | title=Recurrent Neural Networks for Prediction: Learning Algorithms, Architectures and Stability | publisher=Wiley | year=2001 | isbn=0-471-49517-4}}
{{refend}}

== Посилання ==

* [https://github.com/zhongkaifu/RNNSharp RNNSharp] {{Webarchive|url=https://web.archive.org/web/20170804194006/https://github.com/zhongkaifu/RNNSharp |date=4 серпня 2017 }} CRF на основі рекурентних нейронних мереж ([[C Sharp|C#]], [[.NET Framework|.NET]])
* [http://www.idsia.ch/~juergen/rnn.html Recurrent Neural Networks] {{Webarchive|url=https://web.archive.org/web/20140102212108/http://www.idsia.ch/~juergen/rnn.html |date=2 січня 2014 }} з понад 60 працями з РНМ від групи [[Юрген Шмідгубер|Юргена Шмідгубера]] в {{нп|Інститут дослідження штучного інтелекту Далле Молле|Інституті дослідження штучного інтелекту Далле Молле||Dalle Molle Institute for Artificial Intelligence Research}} {{ref-en}}
* [http://jsalatas.ictpro.gr/weka Реалізація нейронної мережі Елмана] {{Webarchive|url=https://web.archive.org/web/20170202154602/http://jsalatas.ictpro.gr/weka/ |date=2 лютого 2017 }} для [[WEKA]]
* [https://web.archive.org/web/20180721111002/https://deeplearning4j.org/recurrentnetwork Рекурентні нейронні мережі та ДКЧП в Java] {{ref-en}}

{{Диференційовні обчислення}}

[[Категорія:Архітектури нейронних мереж]]