Перегляд вихідного коду сторінки Типи штучних нейронних мереж

{{Short description|Класифікація штучних нейронних мереж (ШНМ)}}
Існує багато '''типів штучних нейронних мереж''' ('''ШНМ''', {{lang-en|artificial neural networks, ANN}}).

[[Штучна нейронна мережа|Штучні нейронні мережі]]&nbsp;— це {{нп|Обчислювальна модель|обчислювальні моделі||Computational model}}, натхнені [[Біологічна нейронна мережа|біологічними нейронними мережами]], й які використовують, щоби [[Теорема про універсальне наближення|наближувати]] [[Функція (математика)|функції]], зазвичай невідомі. Зокрема, їх надихає поведінка [[нейрон]]ів та електричних сигналів, які вони передають між входом (наприклад, від очей або нервових закінчень у руці), обробкою, та виходом із мозку (наприклад, реакцією на світло, дотик або тепло). Спосіб забезпечення нейронами семантичного зв'язку є областю поточних досліджень.<ref>{{cite news|url=https://www.sciencedaily.com/releases/2004/06/040616064016.htm|author=University Of Southern California|date=2004-06-16|title=Gray Matters: New Clues Into How Neurons Process Information|newspaper=ScienceDaily|language=en}} Цитата: «… „Дивно, що після сотні років сучасних нейронаукових досліджень ми досі не знаємо базових функцій обробки інформації нейроном“, зазначив Барлетт Мел…»</ref><ref>{{cite news|url=https://www.sciencedaily.com/releases/2007/03/070327144225.htm|author=Weizmann Institute of Science.|date=2007-04-02|title=It's Only A Game Of Chance: Leading Theory Of Perception Called Into Question|newspaper=ScienceDaily|language=en}} Цитата: «…„Починаючи з 1980-х років, багато нейробіологів вірили, що вони володіють ключем до того, як нарешті почати розуміти роботу мозку. Але ми надали переконливі свідчення того, що мозок може не кодувати інформацію за допомогою точних моделей діяльності.“…»</ref><ref>{{cite news|url=https://www.sciencedaily.com/releases/2004/12/041208084855.htm|author=University Of California – Los Angeles|date=2004-12-14|title=UCLA Neuroscientist Gains Insights Into Human Brain From Study Of Marine Snail|newspaper=ScienceDaily|language=en}} Цитата: «…„Наша робота передбачає, що мозкові механізми для формування такого роду асоціацій можуть бути надзвичайно подібними у равликів і вищих організмів… Ми не повністю розуміємо навіть дуже прості види навчання у цих тварин.“…»</ref><ref>{{cite news|url=https://www.sciencedaily.com/releases/2006/04/060412223937.htm|author=Yale University|date=2006-04-13|title=Brain Communicates In Analog And Digital Modes Simultaneously|newspaper=ScienceDaily|language=en}} Цитата: «…Маккормік сказав, що майбутні дослідження та моделі роботи нейронів у мозку повинні враховувати змішану аналогово-цифрову природу зв'язку. Лише завдяки глибокому розумінню цього змішаного способу передачі сигналу можна досягти дійсно глибокого розуміння мозку та його розладів, сказав він…»</ref> Більшість штучних нейронних мереж лише дещо схожі на свої складніші біологічні аналоги, але вони дуже ефективні у виконанні поставлених завдань (наприклад, класифікування чи сегментування).

Деякі штучні нейронні мережі є [[Адаптивна система|адаптивними системами]], і їх використовують, наприклад, для {{нп|Популяційна модель|моделювання популяцій||Population model}} та середовищ, які постійно змінюються.

Нейронні мережі можуть бути апаратними (нейрони подано фізичними складовими) та {{нп|Програмне забезпечення нейронних мереж|програмними||Neural network software}} (комп'ютерні моделі), й можуть використовувати різноманітні топології та алгоритми навчання.

{{TOC limit|3}}

== Прямого поширення ==
{{Main|Нейронна мережа прямого поширення}}

Нейронна мережа прямого поширення ({{lang-en|feedforward neural network}}) була першим і найпростішим типом. У цій мережі інформація рухається лише від шару входу безпосередньо крізь будь-які приховані шари до шару виходу, без циклів/петель. Мережі прямого поширення можливо будувати за допомогою різних типів вузлів, таких як бінарні [[Штучний нейрон|нейрони Маккаллоха&nbsp;— Піттса]], найпростішим з яких є [[перцептрон]]. Неперервні нейрони, часто з сигмоїдною [[Передавальна функція штучного нейрона|передавальною функцією]], використовують у контексті [[Зворотне поширення|зворотного поширення]].

=== Метод групового урахування аргументів ===
{{Main|Метод групового урахування аргументів}}

Метод групового урахування аргументів (МГУА, {{lang-en|Group Method of Data Handling, GMDH}})<ref name="ivak1968">{{cite journal|last1=Ivakhnenko|first1=Alexey Grigorevich|author-link=Івахненко Олексій Григорович|year=1968|title=The group method of data handling – a rival of the method of stochastic approximation|journal=Soviet Automatic Control|language=en|volume=13|issue=3|pages=43–55|title-link=Метод групового урахування аргументів}}</ref> має повністю автоматичну структурну та параметричну оптимізацію моделі. Передавальними функціями вузлів є [[Ряд Вінера|поліноми Колмогорова&nbsp;— Габора]], які допускають додавання та множення. Він використовує глибокий багатошаровий [[перцептрон]] із вісьмома шарами.<ref name="ivak1971">{{Cite journal|last1=Ivakhnenko|first1=A. G.|year=1971|title=Polynomial Theory of Complex Systems|url=https://api.semanticscholar.org/CorpusID:17606980|journal=IEEE Transactions on Systems, Man, and Cybernetics|language=en|issue=4|pages=364–378|doi=10.1109/TSMC.1971.4308320|volume=1|s2cid=17606980}}</ref> Це мережа [[Кероване навчання|керованого навчання]], яка зростає шар за шаром, де кожен шар тренується за допомогою [[Регресійний аналіз|регресійного аналізу]]. Непотрібні елементи виявляються за допомогою [[Затверджувальний набір даних|затверджувального набору]] й відсікаються за допомогою [[Регуляризація (математика)|регуляризації]]. Розмір та глибина отримуваної мережі залежать від поставленого завдання.<ref name="kondo2008">{{cite journal|last1=Kondo|first1=T.|last2=Ueno|first2=J.|year=2008|title=Multi-layered GMDH-type neural network self-selecting optimum neural network architecture and its application to 3-dimensional medical image recognition of blood vessels|url=https://www.researchgate.net/publication/228402366|journal=International Journal of Innovative Computing, Information and Control|language=en|volume=4|issue=1|pages=175–187}}</ref>

=== Автокодувальник ===
{{Main|Автокодувальник}}

Автокодувальник ({{lang-en|autoencoder}}), автоасоціатор, або мережа діаболо<ref name="bengio">{{Cite journal|date=2009-11-15|title=Learning Deep Architectures for AI|url=http://www.iro.umontreal.ca/~lisa/pointeurs/TR1312.pdf|journal=Foundations and Trends in Machine Learning|language=en|volume=2|issue=1|pages=1–127|doi=10.1561/2200000006|last1=Bengio|first1=Y.|citeseerx=10.1.1.701.9550|s2cid=207178999|issn=1935-8237 }}</ref>{{rp|19}} схожий на [[багатошаровий перцептрон]] (БШП, {{lang-en|MLP}})&nbsp;— із шаром входу, шаром виходу й одним або декількома прихованими шарами, що їх з'єднують. Проте шар виходу має таку ж кількість вузлів, що й шар входу. Його призначення&nbsp;— відбудовувати власні дані входу (замість видавати цільове значення). Тож автокодувальники&nbsp;— моделі [[Некероване навчання|некерованого навчання]]. Автокодувальник використовують для [[Некероване навчання|некерованого навчання]] [[Навчання ознак|ефективних кодувань]],<ref>{{cite journal | doi = 10.1016/j.neucom.2008.04.030 | volume=71 | title=Modeling word perception using the Elman network | year=2008 | journal=Neurocomputing | language=en | pages=3150–3157 | last1 = Liou | first1 = Cheng-Yuan| issue=16–18 | url=http://ntur.lib.ntu.edu.tw/bitstream/246246/155195/1/21.pdf }}</ref><ref>{{cite journal | doi = 10.1016/j.neucom.2013.09.055 | volume=139 | title=Autoencoder for words | year=2014 | journal=Neurocomputing | language=en | pages=84–96 | last1 = Liou | first1 = Cheng-Yuan}}</ref> зазвичай з метою [[зниження розмірності]] та для навчання [[Породжувальна модель|породжувальних моделей]] даних.<ref name="VAE">{{cite arXiv |eprint=1312.6114|author1=Diederik P Kingma|last2=Welling|first2=Max|title=Auto-Encoding Variational Bayes|language=en|year=2013|class=stat.ML}}</ref><ref name="gan_faces">{{cite blog|title=Generating Faces with Torch|language=en|last1=Boesen|first1=A.|last2=Larsen|first2=L.|last3=Sonderby|first3=S.K.|year=2015|url=http://torch.ch/blog/2015/11/13/gan.html}}</ref>

=== Імовірнісний ===
{{Main|Імовірнісна нейронна мережа}}

Імовірнісна нейронна мережа (ІНМ, {{lang-en|PNN}})&nbsp;— це чотирирівнева нейронна мережа прямого поширення. Шари: входу, приховані образів та підсумовування, та виходу. В алгоритмі ІНМ батьківську [[Функція густини імовірності|функцію густини ймовірності]] (ФГІ, {{lang-en|PDF}}) кожного класу наближують [[Ядрова оцінка густини розподілу|вікном Парцена]] та непараметричною функцією. Потім, використовуючи ФГІ кожного класу, оцінюють класову ймовірність нового входу й використовують правило Баєса, щоби віднести його до класу з найвищою апостеріорною ймовірністю.<ref>{{Cite web|url=https://www.researchgate.net/publication/312519997|title=Competitive probabilistic neural network (PDF Download Available)|website=ResearchGate|language=en|access-date=2017-03-16}}</ref> Її отримали з [[Баєсова мережа|баєсової мережі]]<ref>{{cite web |url=http://herselfsai.com/2007/03/probabilistic-neural-networks.html |title=Probabilistic Neural Networks |language=en |access-date=2012-03-22 |url-status=dead |archive-url=https://web.archive.org/web/20101218121158/http://herselfsai.com/2007/03/probabilistic-neural-networks.html |archive-date=2010-12-18 }}</ref> та статистичного алгоритму під назвою {{нп|ядровий фішерів розділювальний аналіз|||Kernel Fisher discriminant analysis}}.<ref>{{cite web |last1=Cheung |first1=Vincent |last2=Cannons |first2=Kevin |date=2002-06-10 |url=http://www.psi.toronto.edu/~vincent/research/presentations/PNN.pdf |title=An Introduction to Probabilistic Neural Networks |website=Probabilistic and Statistical Inference Group |language=en |access-date=2012-03-22 |url-status=dead |archive-url=https://web.archive.org/web/20120131053940/http://www.psi.toronto.edu/~vincent/research/presentations/PNN.pdf |archive-date=2012-01-31 }}</ref> Її використовують для класифікування та розпізнавання образів.

=== Часова затримка ===
{{Main|Нейронна мережа з часовою затримкою}}

Нейронна мережа з часовою затримкою ({{lang-en|time delay neural network, TDNN}})&nbsp;— це архітектура прямого поширення для послідовних даних, яка розпізнає [[Ознака (машинне навчання)|ознаки]] незалежно від положення в послідовності. Щоби досягти інваріантності щодо зсуву в часі, до даних входу додають затримки, щоби кілька точок даних (точок у часі) аналізувалися разом.

Зазвичай вона є частиною більшої системи розпізнавання образів. Її втілювали за допомогою мережі [[перцептрон]]а, вагові коефіцієнти з'єднань якої було треновано зворотним поширенням (керованим навчанням).<ref>{{cite web|url=http://www.ra.cs.uni-tuebingen.de/SNNS/UserManual/node176.html|title=TDNN Fundamentals|language=en|url-status=dead|access-date=2023-07-30|archive-date=2017-03-22|archive-url=https://web.archive.org/web/20170322055555/http://www.ra.cs.uni-tuebingen.de/SNNS/UserManual/node176.html}}, глава з інтернетпосібника ''{{нп|SNNS||de|Stuttgart Neural Network Simulator}}''</ref>

=== Згорткова ===
{{Main|Згорткова нейронна мережа}}

Згорткова нейронна мережа (ЗНМ, {{lang-en|CNN, ConvNet}}, або зсувоінваріанта чи просторовоінваріантна, {{lang-en|shift invariant, space invariant}})&nbsp;— це клас глибоких мереж, складених з одного або кількох [[Згортка (математичний аналіз)|згорткових]] шарів, із повноз'єднаними шарами (що відповідають шарам типових ШНМ) нагорі.<ref name=":1">{{Cite journal|last=Zhang|first=Wei|date=1990|title=Parallel distributed processing model with local space-invariant interconnections and its optical architecture|url=https://drive.google.com/file/d/0B65v6Wo67Tk5ODRzZmhSR29VeDg/view?usp=sharing|journal=Applied Optics|language=en|volume=29|issue=32|pages=4790–7|doi=10.1364/ao.29.004790|pmid=20577468|bibcode=1990ApOpt..29.4790Z}}</ref><ref name=":0">{{Cite journal|last=Zhang|first=Wei|date=1988|title=Shift-invariant pattern recognition neural network and its optical architecture|url=https://drive.google.com/file/d/0B65v6Wo67Tk5Zm03Tm1kaEdIYkE/view?usp=sharing|journal=Proceedings of Annual Conference of the Japan Society of Applied Physics|language=en}}</ref> Вона використовує зв'язані ваги та шари агрегування. Зокрема, максимізаційного агрегування ({{lang-en|max-pooling}}).<ref name="Weng19932">{{cite conference|first1=J.|last1=Weng|first2=N.|last2=Ahuja|first3=T. S.|last3=Huang|url=http://www.cse.msu.edu/~weng/research/CresceptronICCV1993.pdf|title=Learning recognition and segmentation of 3-D objects from 2-D images|conference=4th International Conf. Computer Vision|language=en|location=Berlin, Germany|pp=121–128|date=травень 1993}}</ref> Її часто структурують за допомогою згорткової архітектури Фукусіми.<ref name="FUKU1980">{{cite journal|last1=Fukushima|first1=K.|year=1980|title=Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position|url=https://api.semanticscholar.org/CorpusID:206775608|journal=Biol. Cybern.|language=en|volume=36|issue=4|pages=193–202|doi=10.1007/bf00344251|pmid=7370364|s2cid=206775608}}</ref> Вони є видозмінами [[Багатошаровий перцептрон|багатошарових перцептронів]], які використовують мінімальну [[Попередня обробка даних|попередню обробку]].<ref name="LeCun">{{cite web|url=http://yann.lecun.com/exdb/lenet/|title=LeNet-5, convolutional neural networks|language=en|last=LeCun|first=Yann|access-date=16 листопада 2013}}</ref> Ця архітектура дозволяє ЗНМ використовувати переваги двовимірної структури даних входу.

Її схема з'єднання вузлів натхнена будовою [[Зорова кора|зорової кори]]. Вузли реагують на стимули в обмеженій області простору, відомій як [[рецептивне поле]]. Рецептивні поля частково перекриваються, накриваючи все [[Зорове поле|поле зору]]. Відгук вузла можливо наблизити математично операцією [[Згортка (математичний аналіз)|згортки]].<ref name="deeplearning">{{cite web|url=http://deeplearning.net/tutorial/lenet.html|title=Convolutional Neural Networks (LeNet) – DeepLearning 0.1 documentation|work=DeepLearning 0.1|language=en|publisher=LISA Lab|access-date=31 серпня 2013|archive-date=28 грудня 2017|archive-url=https://web.archive.org/web/20171228091645/http://deeplearning.net/tutorial/lenet.html|url-status=dead}} {{Webarchive|url=https://web.archive.org/web/20171228091645/http://deeplearning.net/tutorial/lenet.html |date=2017-12-28 }}</ref>

ЗНМ підходять для обробки візуальних та інших двовимірних даних.<ref name="LECUN1989">{{cite journal|vauthors=LeCun ''et al.''|title=Backpropagation Applied to Handwritten Zip Code Recognition|url=https://archive.org/details/sim_neural-computation_winter-1989_1_4/page/541|journal=Neural Computation|language=en|volume=1|pp=541–551|year=1989}}</ref><ref name="lecun2016slides">{{cite web|authorlink=Ян ЛеКун|first=Yann|last=LeCun|year=2016|title=Slides on Deep Learning Online|url=https://indico.cern.ch/event/510372/|language=en}}</ref> Вони показали чудові результати у застосуваннях як до зображень, так і до мовлення. Їх можливо тренувати стандартним зворотним поширенням. ЗНМ тренувати легше, ніж інші звичайні глибокі нейронні мережі прямого поширення, і вони мають набагато менше параметрів для оцінювання.<ref name="STANCNN">{{Cite web|url=http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/|title=Unsupervised Feature Learning and Deep Learning Tutorial|website=ufldl.stanford.edu|language=en}}</ref>

[[Капсульна нейронна мережа|Капсульні нейронні мережі]] ({{lang-en|CapsNet}}) додають до ЗНМ структури, звані капсулами ({{lang-en|capsules}}), й перевикористовують дані виходу кількох капсул для формування стабільніших (щодо різних збурень) подань.<ref>{{Citation|last1=Hinton|first1=Geoffrey E.|date=2011|pages=44–51|publisher=Springer|citeseerx=10.1.1.220.5099|doi=10.1007/978-3-642-21735-7_6|isbn=9783642217340|last2=Krizhevsky|first2=Alex|last3=Wang|first3=Sida D.|title=Artificial Neural Networks and Machine Learning – ICANN 2011 |chapter=Transforming Auto-Encoders |series=Lecture Notes in Computer Science |language=en |volume=6791 |s2cid=6138085 }}</ref>

До прикладів застосувань у комп'ютерному зорі належать ''[[DeepDream]]''<ref name="deepdream">{{cite conference
 | last1 = Szegedy | first1 = Christian
 | last2 = Liu | first2 = Wei
 | last3 = Jia | first3 = Yangqing
 | last4 = Sermanet | first4 = Pierre
 | last5 = Reed | first5 = Scott E.
 | last6 = Anguelov | first6 = Dragomir
 | last7 = Erhan | first7 = Dumitru
 | last8 = Vanhoucke | first8 = Vincent
 | last9 = Rabinovich | first9 = Andrew
 | arxiv = 1409.4842
 | contribution = Going deeper with convolutions
 | doi = 10.1109/CVPR.2015.7298594
 | pages = 1–9
 | publisher = IEEE Computer Society
 | title = IEEE Conference on Computer Vision and Pattern Recognition, CVPR 2015, Boston, MA, USA, June 7–12, 2015
 | language = en
 | year = 2015}}</ref> і {{нп|навігація роботів|||Robot navigation}}.<ref>{{cite journal|last1=Ran|first1=Lingyan|last2=Zhang|first2=Yanning|last3=Zhang|first3=Qilin|last4=Yang|first4=Tao|date=2017-06-12|title=Convolutional Neural Network-Based Robot Navigation Using Uncalibrated Spherical Images|url=https://qilin-zhang.github.io/_pages/pdfs/sensors-17-01341.pdf|journal=Sensors|language=en|volume=17|issue=6|page=1341|doi=10.3390/s17061341|issn=1424-8220|pmc=5492478|pmid=28604624|bibcode=2017Senso..17.1341R|doi-access=free}}</ref> Вони мають широке застосування в [[Комп'ютерне бачення|розпізнаванні зображень і відео]], [[Рекомендаційна система|рекомендаційних системах]]<ref>{{Cite book|url=http://papers.nips.cc/paper/5004-deep-content-based-music-recommendation.pdf|title=Deep content-based music recommendation|language=en|last1=van den Oord|first1=Aaron|last2=Dieleman|first2=Sander|last3=Schrauwen|first3=Benjamin|date=2013-01-01|publisher=Curran Associates|editor-last=Burges|editor-first=C. J. C.|pages=2643–2651|editor-last2=Bottou|editor-first2=L.|editor-last3=Welling|editor-first3=M.|editor-last4=Ghahramani|editor-first4=Z.|editor-last5=Weinberger|editor-first5=K. Q.}}</ref> та [[Обробка природної мови|обробці природної мови]].<ref>{{Cite book|last1=Collobert|first1=Ronan|last2=Weston|first2=Jason|title=Proceedings of the 25th international conference on Machine learning - ICML '08 |chapter=A unified architecture for natural language processing |language=en |date=2008-01-01|publisher=ACM|isbn=978-1-60558-205-4|series=<!---->|location=New York, NY, USA|pages=160–167|doi=10.1145/1390156.1390177|s2cid=2617020}}</ref>

=== Глибока складальна мережа ===

Глибока складальна мережа (ГСМ, {{lang-en|deep stacking network, DSN}})<ref name="ref172">{{cite book|last1=Deng|first1=Li|last2=Yu|first2=Dong|last3=Platt|first3=John|title=2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)|chapter=Scalable stacking and learning for building deep architectures|language=en|date=2012|chapter-url=http://research-srv.microsoft.com/pubs/157586/DSN-ICASSP2012.pdf|pages=2133–2136|doi=10.1109/ICASSP.2012.6288333|isbn=978-1-4673-0046-9|s2cid=16171497|accessdate=2023-07-30|archive-date=2016-03-04|archive-url=https://web.archive.org/web/20160304120900/http://research-srv.microsoft.com/pubs/157586/DSN-ICASSP2012.pdf}}</ref> (глибока опукла мережа, {{lang-en|deep convex network}}) ґрунтується на ієрархії блоків спрощених нейромережних модулів. Її запропонували 2011 року Ден та Ю.<ref name="ref162">{{cite journal|last1=Deng|first1=Li|last2=Yu|first2=Dong|date=2011|title=Deep Convex Net: A Scalable Architecture for Speech Pattern Classification|url=http://www.truebluenegotiations.com/files/deepconvexnetwork-interspeech2011-pub.pdf|journal=Proceedings of the Interspeech|language=en|pages=2285–2288|doi=10.21437/Interspeech.2011-607|s2cid=36439 }}</ref> Вона формулює навчання як [[Опукла оптимізація|задачу опуклої оптимізації]] з [[Вираз замкненого вигляду|розв'язком замкненого вигляду]], підкреслюючи подібність цього механізму до [[Складальне узагальнювання|складального узагальнювання]].<ref name="ref18">{{cite journal|last1=David|first1=Wolpert|date=1992|title=Stacked generalization|url=https://archive.org/details/sim_neural-networks_1992_5_2/page/241|journal=Neural Networks|language=en|volume=5|issue=2|pages=241–259|citeseerx=10.1.1.133.8090|doi=10.1016/S0893-6080(05)80023-1}}</ref> Кожен блок ГСМ&nbsp;— це простий модуль, який сам по собі легко натренувати [[Кероване навчання|керованим]] чином без зворотного поширення для цілих блоків.<ref name="bengio" />

Кожен блок складається зі спрощеного [[Багатошаровий перцептрон|багатошарового перцептрона]] (БШП) з єдиним прихованим шаром. Прихований шар '''''h''''' має логістичні [[Сигмоїда|сигмоїдні]] [[Штучний нейрон|вузли]], а шар виходу&nbsp;— лінійні. З'єднання між цими шарами подано ваговою матрицею '''''U;''''' з'єднання входу з прихованим шаром мають вагову матрицю '''''W'''''. Цільові вектори '''''t''''' утворюють стовпці матриці '''''T''''', а вектори даних входу '''''x''''' утворюють стовпці матриці '''''X.''''' Матрицею прихованих вузлів є <math>\boldsymbol{H} = \sigma(\boldsymbol{W}^T\boldsymbol{X})</math>. Модулі тренують по черзі, тож ваги нижчого шару '''''W''''' на кожному етапі відомі. Функція виконує поелементну [[Логістична рівність|логістичну сигмоїдну]] дію. Кожен із блоків оцінює один і той же клас кінцевих міток ''y'', і його оцінка поєднується з первинним входом '''''X''''' для утворення розширеного входу для наступного блоку. Таким чином, вхід першого блоку містить лише первинні дані, тоді як до входів наступних блоків додаються також і виходи попередніх блоків. Тоді навчання вагової матриці '''''U''''' вищого шару за заданих інших ваг у мережі можливо сформулювати як задачу опуклої оптимізації:

: <math>\min_{U^T} f = \|\boldsymbol{U}^T \boldsymbol{H} - \boldsymbol{T}\|^2_F,</math>

що має розв'язок замкненого вигляду.<ref name="ref172" />

На відміну від інших глибоких архітектур, таких як [[Глибока мережа переконань|ГМП]], метою є не виявляння перетвореного подання [[Ознака (машинне навчання)|ознак]]. Структура ієрархії такого типу архітектури робить паралельне навчання прямолінійним, як задача оптимізації в пакетному режимі. У суто [[Розрізнювальна модель|розрізнювальних завданнях]] ГСМ перевершують звичайні ГМП.

==== Тензорні глибокі складальні мережі ====

Ця архітектура&nbsp;— розширення ГСМ. Вона пропонує два важливі вдосконалення: вона використовує інформацію вищого порядку з [[Коваріація|коваріаційних]] статистик, і вона перетворює [[Опукла оптимізація|неопуклу задачу]] нижчого шару на опуклу підзадачу вищого шару.<ref name="ref19">{{cite journal|last1=Hutchinson|first1=Brian|last2=Deng|first2=Li|last3=Yu|first3=Dong|date=2012|title=Tensor deep stacking networks|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|language=en|volume=1–15|issue=8|pages=1944–1957|doi=10.1109/tpami.2012.268|pmid=23267198|s2cid=344385}}</ref> ТГСМ використовують коваріаційну статистику в [[Білінійне відображення|білінійному відображенні]] з кожного з двох окремих наборів прихованих вузлів одного й того ж шару до передбачень за допомогою [[тензор]]а третього порядку.

В той час як розпаралелювання й масштабованість у звичайних&nbsp;{{H:title|Глибока нейронна мережа|ГНМ}} не розглядають серйозно,<ref name="ref26">{{cite journal|last1=Hinton|first1=Geoffrey|last2=Salakhutdinov|first2=Ruslan|date=2006|title=Reducing the Dimensionality of Data with Neural Networks|journal=Science|language=en|volume=313|issue=5786|pages=504–507|bibcode=2006Sci...313..504H|doi=10.1126/science.1127647|pmid=16873662|s2cid=1658773}}</ref><ref name="ref27">{{cite journal|last1=Dahl|first1=G.|last2=Yu|first2=D.|last3=Deng|first3=L.|last4=Acero|first4=A.|date=2012|title=Context-Dependent Pre-Trained Deep Neural Networks for Large-Vocabulary Speech Recognition|journal=IEEE Transactions on Audio, Speech, and Language Processing|language=en|volume=20|issue=1|pages=30–42|citeseerx=10.1.1.227.8990|doi=10.1109/tasl.2011.2134090|s2cid=14862572}}</ref><ref name="ref28">{{cite journal|last1=Mohamed|first1=Abdel-rahman|last2=Dahl|first2=George|last3=Hinton|first3=Geoffrey|date=2012|title=Acoustic Modeling Using Deep Belief Networks|journal=IEEE Transactions on Audio, Speech, and Language Processing|language=en|volume=20|issue=1|pages=14–22|citeseerx=10.1.1.338.2670|doi=10.1109/tasl.2011.2109382|s2cid=9530137}}</ref> все навчання для {{H:title|Глибока складальна мережа|ГСМ}} і {{H:title|Тензорна глибока складальна мережа|ТГСМ}} здійснюється в пакетному режимі, що уможливлює розпаралелювання.<ref name="ref162"/><ref name="ref172"/> Розпаралелювання дозволяє масштабувати цю конструкцію на більші (глибші) архітектури та набори даних.

Ця базова архітектура підходить для різноманітних завдань, таких як [[Класифікування (машинне навчання)|класифікування]] та [[Регресійний аналіз|регресія]].

== Регуляторний зворотній зв'язок ==

Мережі з регуляторним зворотним зв'язком ({{lang-en|regulatory feedback networks}}) мали початок як модель для пояснення мозкових явищ, виявляних під час розпізнавання, включно {{нп|Пакетування|пакетуванням||Bursting}} в усій мережі та {{нп|Зоровий пошук|труднощами зі схожістю||Visual search}}, універсальними при сенсорному розпізнаванні. Механізм для виконання оптимізації під час розпізнавання створюють за допомогою гальмівних з'єднань зворотного зв'язку з тими же входами, які їх активують. Це зменшує вимоги під час навчання та дозволяє полегшити навчання та уточнення, залишаючи можливість виконувати складне розпізнавання.

Мережа з регуляторним зворотним зв'язком здійснює висновування з використанням [[Негативний зворотний зв'язок|негативного зворотного зв'язку]].<ref name="shedding2">{{cite conference|last1=Achler|first1=T.|last2=Omar|first2=C.|last3=Amir|first3=E.|title=Shedding Weights: More With Less|conference=International Joint Conference on Neural Networks|language=en|year=2008}}</ref> Зворотній зв'язок використовується для пошуку оптимального збудження вузлів. Це найбільше схоже на {{нп|Непараметричні методи|непараметричний метод||Non-parametric methods}}, але відрізняється від [[Метод k-найближчих сусідів|''k''-найближчих сусідів]] тим, що математично емулює мережі прямого поширення.

== Радіальні базисні функції (РБФ) ==
{{Main|Радіальнобазисна мережа}}

Радіальні базисні функції ({{lang-en|radial basis functions}})&nbsp;— це функції, які мають критерій відстані відносно якогось центру. Радіальні базисні функції застосовували як заміну сигмоїдної передавальної характеристики прихованого шару в багатошарових перцептронах. Радіальнобазисні мережі (РБМ) мають два шари: на першому дані входу відображувано на кожну РБФ у «прихованому» шарі. Як РБФ зазвичай обирають гауссіани. У задачах регресії шар виходу це лінійна комбінація значень прихованого шару, що подає середній передбачуваний результат. Інтерпретація цього значення шару виходу така же, як і [[Регресійний аналіз|регресійна модель]] у статистиці. У задачах класифікування шар виходу це зазвичай [[Сигмоїда|сигмоїдна функція]] лінійної комбінації значень прихованого шару, що подає апостеріорну ймовірність. Продуктивність в обох випадках часто покращують за допомогою {{нп|Стискання (статистика)|стискальних||Shrinkage (statistics)}} методик, відомих у класичній статистиці як [[гребенева регресія]]. Це відповідає апріорному переконанню в малих значеннях параметрів (а відтак і гладких функціях виходу) в [[Баєсова статистика|баєсовій]] системі.

Радіальнобазисні мережі мають перевагу уникання локальних мінімумів так само, як і багатошарові перцептрони. Це пов'язано з тим, що єдині параметри, які підлаштовуються в процесі навчання, це лінійне відображення з прихованого шару до шару виходу. Лінійність гарантує, що поверхня похибки квадратична, і відтак має єдиний мінімум, який легко знаходити. У задачах регресії його можливо знаходити за одну матричну операцію. У задачах класифікування із фіксованою нелінійністю, яку вносить сигмоїдна функція виходу, найефективніше впоруватися за допомогою {{нп|Ітеративно перезважувані найменші квадрати|ітеративно перезважуваних найменших квадратів||Iteratively reweighted least squares}}.

РБМ мають недолік вимагання доброго покриття простору входу радіальними базисними функціями. Центри РБФ визначають із прив'язкою до розподілу даних входу, але без прив'язки до завдання передбачування. Як результат, ресурси подання можуть марнуватися на ділянках простору входу, що не мають відношення до цього завдання. Поширене розв'язання&nbsp;— пов'язати кожну точку даних з її власним центром, хоча це може розширювати лінійну систему для розв'язування на кінцевому шарі, й потребувати стискальних методик задля уникнення [[перенавчання]].

Пов'язування кожних вхідних даних із РБФ природним чином призводить до таких ядрових методів як [[Опорновекторна машина|опорновекторні машини]] (ОВМ) та гауссові процеси (РБФ&nbsp;— {{нп|ядрова функція|||Kernel function}}). Усі три підходи використовують нелінійну ядрову функцію для проєціювання даних входу до простору, в якому задачу навчання можливо розв'язати за допомогою лінійної моделі. Подібно до гауссових процесів, і на відміну від ОВМ, радіальнобазисні мережі зазвичай тренують за системою максимальної правдоподібності, максимізуючи ймовірність (мінімізуючи похибку). ОВМ уникають перенавчання, максимізуючи натомість [[Розділення (машинне навчання)|розділення]]. ОВМ перевершують РБМ у більшості застосувань класифікування. У застосуваннях регресії вони можуть бути конкурентоспроможними, коли розмірність простору входу відносно мала.

=== Як працюють РБМ ===

Радіальнобазисні нейронні мережі концептуально подібні моделям [[Метод k-найближчих сусідів|''k''-найближчих сусідів]] (k-НС). Основна ідея полягає в подібності виходів для подібних входів.

Припустімо, що кожен випадок у тренувальному наборі має дві змінні—передбачувачі, ''x'' та ''y'', а цільова змінна має дві категорії, позитивну та негативну. Як обчислюється цільова змінна за заданого нового випадку з передбачувальними значеннями ''x'' = 6, ''y'' = 5,1?

Класифікація найближчих сусідів, виконувана для цього прикладу, залежить від того, скільки сусідніх точок розглядають. Якщо використовують 1-НС, і найближча точка негативна, то нову точку слід класифікувати як негативну. Іншим чином, якщо використовують класифікацію 9-НС і враховують найближчі 9 точок, то вплив навколишніх 8 позитивних точок може переважити найближчу 9-ту (негативну) точку.

РБМ розташовує нейрони в просторі, описуваному змінними—передбачувачами (''x'', ''y'' у цьому прикладі). Цей простір має стільки вимірів, скільки змінних—передбачувачів. Евклідову відстань обчислюють від нової точки до центру кожного нейрона, а радіальну базисну функцію (РБФ, також звану ядровою функцією) застосовують до відстані для обчислення ваги (впливу) для кожного нейрона. Радіальну базисну функцію називають так тому, що аргументом цією функції є радіусна відстань.

: ''Вага'' = РБФ (''відстань'')

==== Радіальна базисна функція ====

Значення для нової точки визначають підсумовуванням значень виходу функцій РБФ, помножених на ваги, обчислені для кожного нейрона.

Радіальна базисна функція для нейрона має центр і радіус (також званий розкидом, {{lang-en|spread}}). Радіус може бути різним для кожного нейрона, а в РБМ, породжуваних ''DTREG'', радіус може відрізнятися й у кожному вимірі.

За більшого розкиду віддалені від точки нейрони мають більший вплив.

==== Архітектура ====

РБМ мають три шари:

* '''Шар входу:''' у шарі входу по одному нейрону для кожної змінної—передбачувача. У випадку [[Категорійна змінна|категорійних змінних]] використовують ''N''-1 нейронів, де ''N''&nbsp;— кількість категорій. Нейрони входу стандартизують діапазони значень відніманням [[Медіана (статистика)|медіани]] та діленням на [[міжквартильний розмах]]. Потім нейрони входу передають значення кожному з нейронів прихованого шару.
* '''Прихований шар:''' цей шар має змінну кількість нейронів (визначувану процесом тренування). Кожен нейрон складається з радіальної базисної функції з центром у точці з такою кількістю вимірів, скільки змінних—передбачувачів. Розкид (радіус) РБФ може відрізнятися для кожного виміру. Центри та розкиди визначає тренування. Коли подано вектор ''x'' значень входу з шару входу, прихований нейрон обчислює евклідову відстань цього випробувального випадку від своєї центральної точки, а потім застосовує ядрову РБФ до цієї відстані, використовуючи значення розкиду. Отримане значення передається на рівень підсумовування.
* '''Рівень підсумовування:''' значення, що надходить із нейрона в прихованому шарі, множиться на вагу, пов'язану з цим нейроном, і додається до зважених значень інших нейронів. Ця сума стає результатом. Для задач класифікування видається по одному виходу (з окремим набором вагових коефіцієнтів та одиницею підсумовування) для кожної цільової категорії. Вихідним значенням для категорії є ймовірність того, що оцінюваний випадок має цю категорію.

==== Тренування ====

Процес тренування визначає такі параметри:

* Кількість нейронів у прихованому шарі
* Координати центру кожної РБФ прихованого шару
* Радіус (розкид) кожної РБФ у кожному вимірі
* Ваги, застосовувані до виходів РБФ, коли вони переходять на рівень підсумовування

Для тренування РБМ використовували різні методи. Один підхід спочатку використовує [[Кластерування методом k–середніх|кластерування методом ''k''-середніх]] для пошуку центрів кластерів, які потім використовують як центри для РБФ. Проте кластерування методом ''k''-середніх обчислювально витратне й часто не породжує оптимальної кількості центрів. Інший підхід полягає у використанні випадкової підмножини тренувальних точок як центрів.

''DTREG'' використовує алгоритм тренування, який використовує еволюційний підхід для визначання оптимальних точок центрів та розкидів для кожного нейрона. Він визначає, коли припинити додавання нейронів до мережі, відстежуючи оцінювану похибку виключення по одному ({{lang-en|LOO, leave-one-out error}}), і припиняючи, коли похибка ''LOO'' починає збільшуватися через перенавчання.

Обчислення оптимальних ваг між нейронами в прихованому шарі та шарі підсумовування виконують за допомогою гребеневої регресії. Ітеративна процедура обчислює оптимальний параметр лямбда регуляризації, який мінімізує похибку узагальненого перехресного затверджування ({{lang-en|generalized cross-validation, GCV}}).

=== Узагальнена регресійна нейронна мережа ===
{{Main|{{нп|Узагальнена регресійна нейронна мережа|||General regression neural network}}}}

Узагальнена регресійна нейронна мережа ({{lang-en|General regression neural network, GRNN}})&nbsp;— це нейронна мережа асоціативної пам'яті, подібна до [[Ймовірнісна нейронна мережа|ймовірнісної нейронної мережі]], але яку використовують для регресії та наближення, а не для класифікування.

== Глибока мережа переконань ==
[[Файл:Restricted Boltzmann machine-uk.svg|міні| [[Обмежена машина Больцмана]] (ОМБ, {{lang-en|RBM}}) із повноз'єднаними видимими та прихованими вузлами. Зауважте, що з'єднань прихований—прихований та видимий—видимий немає.]]
{{Main|Глибока мережа переконань}}

Глибока мережа переконань (ГМП, {{lang-en|deep belief network, DBN}})&nbsp;— це ймовірнісна [[породжувальна модель]], що складається з кількох прихованих шарів. Її можливо вважати [[Композиція функцій|композицією]] простих модулів, що вчаться.<ref name="SCHOLARDBNS">{{cite journal|last1=Hinton|first1=G.E.|year=2009|title=Deep belief networks|journal=Scholarpedia|language=en|volume=4|issue=5|page=5947|bibcode=2009SchpJ...4.5947H|doi=10.4249/scholarpedia.5947|doi-access=free}}</ref>

ГМП можливо використовувати для породжувального попереднього тренування глибокої нейронної мережі (ГНМ, {{lang-en|deep neural network, DNN}}), використовуючи отримані ваги ГМП як початкові ваги ГНМ. Потім різні розрізнювальні алгоритми можуть доналаштовувати ці ваги. Це особливо корисно, коли тренувальні дані обмежені, оскільки погано встановлені початкові ваги можуть значно перешкоджати тренуванню. Ці попередньо натреновані ваги потрапляють в область простору ваг, ближчу до оптимальних ваг, ніж випадкові варіанти. Це забезпечує як покращене моделювання, так і швидшу остаточну збіжність.<ref>{{Cite book|last1=Larochelle|first1=Hugo|last2=Erhan|first2=Dumitru|last3=Courville|first3=Aaron|last4=Bergstra|first4=James|last5=Bengio|first5=Yoshua|title=Proceedings of the 24th international conference on Machine learning |chapter=An empirical evaluation of deep architectures on problems with many factors of variation |date=2007|publisher=ACM|isbn=9781595937933|series=ICML '07|language=en|location=New York, NY, USA|pages=473–480|citeseerx=10.1.1.77.3242|doi=10.1145/1273496.1273556|s2cid=14805281}}</ref>

== Рекурентна нейронна мережа ==
{{Main|Рекурентна нейронна мережа}}

[[Рекурентні нейронні мережі]] (РНМ, {{lang-en|Recurrent neural networks, RNN}}) поширюють дані вперед, але також і назад, від пізніших етапів обробки до попередніх. РНМ можливо використовувати як загальні обробники послідовностей.

=== Повнорекурентна ===

Цю архітектуру розроблено в 1980-х роках. Її мережа створює орієнтоване з'єднання між кожною парою вузлів. Кожен має змінне в часі дійснозначне (більше ніж просто нуль або одиниця) збудження (вихід). Кожне з'єднання має змінювану дійснозначну вагу. Деякі з вузлів називаються міченими вузлами, деякі&nbsp;— вузлами виходу, решту&nbsp;— прихованими вузлами.

Для [[Кероване навчання|керованого навчання]] в дискретночасовій постановці тренувальні послідовності дійснозначних векторів входу стають послідовностями збудження вузлів входу, по одному вектору входу за раз. На кожному кроці часу кожен невхідний вузол обчислює своє поточне збудження як нелінійну функцію зваженої суми збуджень усіх вузлів, від яких він отримує з'єднання. Система може явно збуджувати (незалежно від сигналів входу) деякі вузли виходу в певні моменти часу. Наприклад, якщо послідовність входу ще мовленнєвий сигнал, що відповідає вимовленій цифрі, кінцевим цільовим виходом у кінці послідовності може бути мітка, яка класифікує цю цифру. Для кожної послідовності її похибка це сума відхилень усіх збуджень, обчислених мережею, від відповідних цільових сигналів. Для тренувального набору численних послідовностей загальна похибка це сума помилок усіх окремих послідовностей.

Щоби мінімізувати загальну похибку, можливо використовувати [[градієнтний спуск]], щоби змінювати кожну вагу пропорційно її похідній відносно похибки, за умови, що нелінійні передавальні функції [[Диференційовна функція|диференційовні]]. Стандартний метод називають «[[Зворотне поширення в часі|зворотним поширенням у часі]]» або ЗПЧ ({{lang-en|backpropagation through time, BPTT}}), це узагальнення зворотного поширення для мереж прямого поширення.<ref>{{cite journal | last1 = Werbos | first1 = P. J. | year = 1988| title = Generalization of backpropagation with application to a recurrent gas market model | url = https://zenodo.org/record/1258627| journal = Neural Networks | language = en | volume =  1| issue = 4| pages =  339–356| doi = 10.1016/0893-6080(88)90007-x }}</ref><ref>{{cite report|first1=David E.|last1=Rumelhart|first2=Geoffrey E.|last2=Hinton|first3=Ronald J.|last3=Williams|title=Learning Internal Representations by Error Propagation|language=en|s2cid=62245742}}</ref> Обчислювально витратніший інтерактивний варіант називають «[[Реальночасове рекурентне навчання|реальночасовим рекурентним навчанням]]» або РЧРН ({{lang-en|Real-Time Recurrent Learning, RTRL}}).<ref>{{cite report|first1=A. J.|last1=Robinson|first2=F.|last2=Fallside|title=The utility driven dynamic error propagation network. Technical Report CUED/F-INFENG/TR.1|url=https://gwern.net/doc/ai/nn/rnn/1987-robinson.pdf|language=en|publisher=Cambridge University Engineering Department|year=1987}}</ref><ref>{{cite book|first1=R. J.|last1=Williams|first2=D.|last2=Zipser|chapter=Gradient-based learning algorithms for recurrent networks and their computational complexity|chapter-url=https://gwern.net/doc/ai/nn/rnn/1995-williams.pdf|title=Back-propagation: Theory, Architectures and Applications|language=en|location=Hillsdale, NJ|publisher=Erlbaum|year=1994|s2cid=14792754}}</ref> На відміну від ЗПЧ цей алгоритм ''локальний у часі, але не локальний у просторі''.<ref>{{cite journal | last1 = Schmidhuber | first1 = J. | year = 1989 | title = A local learning algorithm for dynamic feedforward and recurrent networks | journal = Connection Science | language = en | volume = 1 | issue = 4| pages = 403–412 | doi=10.1080/09540098908915650| s2cid = 18721007 }}</ref><ref>{{cite book|title=Neural and Adaptive Systems: Fundamentals through Simulation|language=en|first1=J.C.|last1=Principe|first2=N.R.|last2=Euliano|first3=W.C.|last3=Lefebvre}}</ref> Існує інтерактивний гібрид ЗПЧ та ЗЧРН із проміжною складністю<ref>{{cite journal | last1 = Schmidhuber | first1 = J. | year = 1992 | title = A fixed size storage O(n3) time complexity learning algorithm for fully recurrent continually running networks | url = https://archive.org/details/sim_neural-computation_1992-03_4_2/page/243 | journal = Neural Computation | language = en | volume = 4 | issue = 2| pages = 243–248 | doi=10.1162/neco.1992.4.2.243| s2cid = 11761172 }}</ref><ref>{{cite report|first=R. J.|last=Williams|title=Complexity of exact gradient computation algorithms for recurrent neural networks. Technical Report Technical Report NU-CCS-89-27|language=en|location=Boston|publisher=Northeastern University, College of Computer Science|year=1989}}</ref> з варіантами для безперервного часу.<ref>{{cite journal | last1 = Pearlmutter | first1 = B. A. | year = 1989 | title = Learning state space trajectories in recurrent neural networks | url = http://eprints.maynoothuniversity.ie/5486/1/BP_learning%20state.pdf| journal = Neural Computation | language = en  | volume = 1 | issue = 2| pages = 263–269 | doi=10.1162/neco.1989.1.2.263| s2cid = 16813485 }}</ref> Основна проблема з градієнтним спуском для стандартних архітектур РНМ полягає в тому, що градієнти похибок зникають експоненційно швидко з розміром часової затримки між важливими подіями.<ref>{{cite thesis|first1=S.|last1=Hochreiter|title=Untersuchungen zu dynamischen neuronalen Netzen|language=de|degree=Diploma|publisher=Institut f. Informatik, Technische Univ|location=Munich|year=1991}}</ref><ref>{{cite book|first1=S.|last1=Hochreiter|first2=Y.|last2=Bengio|first3=P.|last3=Frasconi|first4=J.|last4=Schmidhuber|chapter=Gradient flow in recurrent nets: the difficulty of learning long-term dependencies|chapter-url=https://ml.jku.at/publications/older/ch7.pdf|editor-first1=S. C.|editor-last1=Kremer|editor-first2=J. F.|editor-last2=Kolen|title=A Field Guide to Dynamical Recurrent Neural Networks|language=en|publisher=IEEE Press|year=2001}}</ref> Ці проблеми долає архітектура [[Довга короткочасна пам'ять|довгої короткочасної пам'яті]].<ref name="lstm">{{cite journal | last1 = Hochreiter | first1 = S. | last2 = Schmidhuber | first2 = J. | year = 1997 | title = Long short-term memory | journal = Neural Computation | language = en | volume = 9 | issue = 8| pages = 1735–1780 | doi=10.1162/neco.1997.9.8.1735| pmid = 9377276 | s2cid = 1915014 }}</ref>

У постановці [[навчання з підкріпленням]] жоден учитель не надає цільових сигналів. Натомість для оцінювання продуктивності час від часу використовується [[функція допасованості]], або [[функція винагороди]], або [[функція корисності]], яка впливає на потік входу через вузли виходу, з'єднані з приводами, які впливають на середовище. Для оптимізації вагової матриці часто використовують варіанти [[Еволюційне обчислення|еволюційного обчислення]].

==== Гопфілда ====
{{Main|Мережа Гопфілда}}

[[Мережа Гопфілда]] (як і подібні мережі на основі атракторів) становить історичний інтерес, хоча вона не є загальною РНМ, оскільки вона не призначена для обробки послідовностей зразків. Натомість їй потрібні стаціонарні входи. Це РНМ, у якій усі з'єднання симетричні. Вона гарантує свою збіжність. Якщо з'єднання треновано з використанням [[Геббова теорія|геббового навчання]], мережа Гопфілда може працювати як робастна [[асоціативна пам'ять]], стійка до змін з'єднань.

==== Машина Больцмана ====
{{Main|Машина Больцмана}}

[[Машина Больцмана|Машину Больцмана]] можливо розглядати як зашумлену мережу Гопфілда. Це одна з перших нейронних мереж, яка продемонструвала навчання [[Латентна змінна|латентних змінних]] (прихованих вузлів). Навчання машини Больцмана спочатку симулювалося повільно, але алгоритм контрастивного розходження пришвидшує тренування машин Больцмана та {{нп|Добуток експертів|добутків експертів||Product of experts}}.

==== Самоорганізаційна карта ====
{{Main|Самоорганізаційна карта}}

Самоорганізаційна карта (СОК, {{lang-en|self-organizing map, SOM}}) використовує [[некероване навчання]]. Набір нейронів навчається відображувати точки простору входу на координати у просторі виходу. Простір входу може мати відмінні виміри та топологію, ніж простір виходу, і СОК намагається їх зберегти.

==== Навчане векторне квантування ====
{{Main|{{нп|Навчане векторне квантування|||Learning vector quantization}}}}

{{нп|Навчане векторне квантування|||Learning vector quantization}} (НВК, {{lang-en|learning vector quantization, LVQ}}) можливо інтерпретувати як нейромережну архітектуру. Прототипні представники класів параметризують, разом із відповідною мірою відстані, у схемі класифікації на основі відстані.

=== Проста рекурентна ===

Прості рекурентні мережі ({{lang-en|simple recurrent networks}}) мають три шари з додаванням набору «контекстних вузлів» на шарі входу. До цих вузлів надходять з'єднання з прихованого шару або шару виходу з фіксованою одиничною вагою.<ref>{{cite book|title=Neural Networks as Cybernetic Systems|language=en|edition=2nd and revised|first=Holk|last=Cruse|url=http://www.brains-minds-media.org/archive/615/bmm615.pdf}}
</ref> На кожному часовому кроці вхідні дані поширюються стандартним прямим чином, а потім застосовується подібне до зворотного поширення правило навчання (без виконання [[Градієнтний спуск|градієнтного спуску]]). Фіксовані зворотні з'єднання залишають копію попередніх значень прихованих вузлів у контекстних вузлах (оскільки вони поширюються з'єднаннями до застосування правила навчання).

=== Резервуарне обчислення ===
{{Main|Резервуарне обчислення}}

Резервуарне обчислення ({{lang-en|reservoir computing}})&nbsp;— це обчислювальна система, яку можливо розглядати як розширення [[Штучна нейронна мережа|нейронних мереж]].<ref>{{cite conference|last1=Schrauwen|first1=Benjamin|first2=David|last2=Verstraeten|first3=Jan Van|last3=Campenhout|title=An overview of reservoir computing: theory, applications, and implementations|conference=European Symposium on Artificial Neural Networks ESANN|language=en|year=2007|pp=471–482}}</ref> Зазвичай сигнал входу подають у фіксовану (випадкову) [[Динамічна система|динамічну систему]], звану ''резервуаром'' ({{lang-en|reservoir}}), чия динаміка відображає сигнал входу до вищої вимірності. Механізм ''зчитування'' ({{lang-en|readout}}) тренують відображувати цей резервуар до бажаного виходу. Тренування здійснюють лише на етапі зчитування. Одним із типів резервуарного обчислення є [[Рідкий скінченний автомат|рідкі скінченні автомати]].<ref>{{cite journal | last1 = Mass | first1 = Wolfgang | last2 = Nachtschlaeger | first2 = T. | last3 = Markram | first3 = H. | year = 2002 | title = Real-time computing without stable states: A new framework for neural computation based on perturbations | journal = Neural Computation | language = en | volume = 14 | issue = 11| pages = 2531–2560 | doi = 10.1162/089976602760407955 | pmid = 12433288 | s2cid = 1045112 }}</ref><ref>{{cite web|url=http://www.scholarpedia.org/article/Echo_state_network|title=Echo state network|website=Scholarpedia|language=en}}</ref>

==== Відлуння стану ====
{{Main|Мережа з відлунням стану}}

Мережа з відлунням стану (МВС, {{lang-en|echo state network, ESN}}) використовує розріджено з'єднаний випадковий прихований шар. Єдиною тренованою частиною мережі є ваги нейронів виходу. МВС добре відтворюють певні [[Часовий ряд|часові ряди]].<ref>{{cite journal | last1 = Jaeger | first1 = H. | last2 = Harnessing | year = 2004 | title = Predicting chaotic systems and saving energy in wireless communication | journal = Science | language = en | volume = 304 | issue = 5667| pages = 78–80 | doi=10.1126/science.1091277| pmid = 15064413 | citeseerx = 10.1.1.719.2301 | bibcode = 2004Sci...304...78J | s2cid = 2184251 }}</ref>

=== Довга короткочасна пам'ять ===
{{Main|Довга короткочасна пам'ять}}

[[Довга короткочасна пам'ять]] (ДКЧП, {{lang-en|long short-term memory, LSTM}})<ref name="lstm" /> дозволяє уникати [[Проблема зникання градієнту|проблеми зникання градієнта]]. Вона працює навіть із великими затримками між входами та може обробляти сигнали, які змішують низькочастотні та високочастотні складові. РНМ ДКЧП перевершували інші РНМ та інші методи навчання послідовностей, такі як [[Прихована марковська модель|ПММ]], у таких застосуваннях як вивчення мови<ref>{{cite journal|first1=F. A.|last1=Gers|first2=J.|last2=Schmidhuber|title=LSTM recurrent networks learn simple context free and context sensitive languages|journal=IEEE Transactions on Neural Networks|language=en|volume=12|issue=6|pages=1333–1340|year=2001}}</ref> та розпізнавання неперервного рукописного тексту.<ref>{{cite conference|first1=A.|last1=Graves|first2=J.|last2=Schmidhuber|title=Offline Handwriting Recognition with Multidimensional Recurrent Neural Networks|url=https://www.cs.toronto.edu/~graves/nips_2008.pdf|conference=Advances in Neural Information Processing Systems 22, NIPS'22|language=en|p=545-552|location=Vancouver|publisher=MIT Press|year=2009}}</ref>

=== Двонапрямна ===
{{Main|Двонапрямна рекурентна нейронна мережа}}

Двонапрямна РНМ, або ДРНМ ({{lang-en|bi-directional RNN, BRNN}}), використовує скінченну послідовність для передбачування або мічення кожного елемента послідовності на основі як минулого, так і майбутнього контексту цього елемента.<ref>{{cite journal | last1 = Schuster | first1 = Mike | last2 = Paliwal | first2 = Kuldip K. | year = 1997 | title = Bidirectional recurrent neural networks | journal = IEEE Transactions on Signal Processing | language = en | volume = 45 | issue = 11| pages = 2673–2681 | doi=10.1109/78.650093| bibcode = 1997ITSP...45.2673S | citeseerx = 10.1.1.331.9441 | s2cid = 18375389 }}</ref> Це здійснюють додаванням виходів двох РНМ: одна оброблює послідовність зліва направо, інша&nbsp;— справа наліво. Поєднані виходи це передбачувачі надаваних учителем цільових сигналів. Ця методика виявилася особливо корисною у поєднанні з ДКЧП.<ref>{{cite journal | last1 = Graves | first1 = A. | last2 = Schmidhuber | first2 = J. | year = 2005 | title = Framewise phoneme classification with bidirectional LSTM and other neural network architectures | journal = Neural Networks | language = en | volume = 18 | issue = 5–6| pages = 602–610 | doi=10.1016/j.neunet.2005.06.042| pmid = 16112549 | citeseerx = 10.1.1.331.5800 | s2cid = 1856462 }}</ref>

=== Ієрархічна ===
{{Main|Рекурентна нейронна мережа#Ієрархічна РНМ}}

Ієрархічна РНМ ({{lang-en|hierarchical RNN}}) поєднує елементи різними способами, щоби розкласти ієрархічну поведінку на корисні підпрограми.<ref>{{cite journal | last1 = Schmidhuber | first1 = J. | year = 1992 | title = Learning complex, extended sequences using the principle of history compression | url = https://archive.org/details/sim_neural-computation_1992-03_4_2/page/234 | journal = Neural Computation | language = en | volume = 4 | issue = 2| pages = 234–242 | doi=10.1162/neco.1992.4.2.234| s2cid = 18271205 }}</ref><ref>{{Cite web |url=http://www.bdc.brain.riken.go.jp/~rpaine/PaineTaniSAB2004_h.pdf |title=Dynamic Representation of Movement Primitives in an Evolved Recurrent Neural Network<!-- Bot generated title --> |language=en |access-date=2010-07-12 |archive-date=2011-07-18 |archive-url=https://web.archive.org/web/20110718025414/http://www.bdc.brain.riken.go.jp/~rpaine/PaineTaniSAB2004_h.pdf |url-status=dead }} {{Webarchive|url=https://web.archive.org/web/20110718025414/http://www.bdc.brain.riken.go.jp/~rpaine/PaineTaniSAB2004_h.pdf |date=2011-07-18 }}</ref>

=== Стохастична ===
{{Main|Штучна нейронна мережа#Стохастична нейронна мережа}}

Відмінну форму звичайних нейронних мереж, стохастичну штучну нейронну мережу ({{lang-en|stochastic artificial neural network}}), використовували як наближення випадкових функцій.

=== Генетичний масштаб ===

РНМ (часто ДКЧП), де ряд розкладають на кілька масштабів, кожен з яких інформує про основну відстань між двома послідовними точками. Масштаб першого порядку складається з нормальної РНМ, другого порядку складається з усіх точок, розділених двома індексами, і так далі. РНМ ''N''-го порядку з'єднує перший та останній вузол. Результати з усіх різних масштабів розглядають як {{нп|Комітетна машина|комітетну машину||Committee machine}}, а пов'язані оцінки використовують генетично для наступної ітерації.

== Модульна ==
{{Main|Модульна нейронна мережа}}

Біологічні дослідження показали, що людський мозок працює як сукупність невеликих мереж. Це усвідомлення породило поняття [[Модульна нейронна мережа|модульних нейронних мереж]], у яких кілька невеликих мереж співпрацюють або змагаються для розв'язання задачі.

=== Комітет машин ===
{{Main|{{нп|Комітетна машина|||Committee machine}}}}

Комітет машин (КМ, {{lang-en|committee of machines, CoM}})&nbsp;— це набір різних нейронних мереж, які разом «голосують» за певний приклад. Загалом це дає набагато кращий результат, ніж окремі мережі. Оскільки нейронні мережі страждають на локальні мінімуми, починання з тієї самої архітектури та тренування, але з використанням випадково різних початкових ваг, часто дають дуже різні результати.{{Citation needed|дата=липень 2023}} КМ прагне стабілізувати цей результат.

КМ схожий на загальний метод [[Машинне навчання|машинного навчання]] ''[[натяжкове агрегування]]'' ({{lang-en|bagging}}), за винятком того, що необхідну різноманітність машин у комітеті отримують тренуванням з різними початковими вагами, а не тренуванням на різних випадково вибраних підмножинах тренувальних даних.

=== Асоціативна ===

Асоціативна нейронна мережа (АСНМ, {{lang-en|associative neural network, ASNN}})&nbsp;— це розширення комітету машин, яке поєднує декілька нейронних мереж прямого поширення та методику ''k''-найближчих сусідів. Вона використовує кореляцію між відгуками ансамблю як міру відстані серед проаналізованих випадків для ''k''НС. Це виправляє зміщення ансамблю нейронної мережі. Асоціативна нейронна мережа має пам'ять, яка може збігатися з тренувальним набором. Якщо стають доступними нові дані, мережа миттєво покращує свою передбачувальну здатність і забезпечує наближення даних (самонавчається) без перетреновування. Інша важлива особливість АСНМ це можливість інтерпретування результатів нейронної мережі шляхом аналізу кореляцій між випадками даних у просторі моделей.<ref>{{Cite web|url=http://www.vcclab.org/lab/asnn|title=Associative Neural Network|website=www.vcclab.org|language=en|access-date=2017-06-17}}</ref>

== Фізична ==
{{Main|{{нп|Фізична нейронна мережа|||Physical neural network}}}}

Фізична нейронна мережа ({{lang-en|physical neural network}}) містить електрично регульований опірний матеріал для імітування штучних синапсів. До прикладів належить нейронна мережа ''[[ADALINE]]'' на основі [[мемристор]]ів.<ref>{{cite book|url=https://books.google.com/books?id=-l-yim2lNRUC&q=adaline+smithsonian+widrow&pg=PA54|title=Talking Nets: An Oral History of Neural Networks|language=en|isbn=9780262511117|last1=Anderson|first1=James A.|last2=Rosenfeld|first2=Edward|year=2000|publisher=MIT Press }}</ref> [[Оптична нейронна мережа]] це фізичне втілення [[Штучна нейронна мережа|штучної нейронної мережі]] на [[Фотоніка|оптичних складових]].

== Динамічна ==

Динамічні нейронні мережі ({{lang-en|dynamic neural networks}}) розглядають нелінійну багатовимірну поведінку та включають (навчання) залежної від часу поведінки, такої як перехідні явища та ефекти затримки. Методики оцінювання системного процесу на основі спостережуваних даних підпадають під загальну категорію виявляння системи.

=== Каскадна ===

Каскадна кореляція ({{lang-en|cascade correlation}})&nbsp;— це архітектура та [[алгоритм]] [[Кероване навчання|керованого навчання]]. Замість простого підлаштовування ваг у мережі з фіксованою топологією<ref>{{cite web|last1=Fahlman|first1=Scott E.|last2=Lebiere|first2=Christian|title=The Cascade-Correlation Learning Architecture|url=http://www.cs.iastate.edu/~honavar/fahlman.pdf|language=en|publisher=[[Університет Карнегі-Меллон|Carnegie Mellon University]]|access-date=4 жовтня 2014|date=29 серпня 1991|archive-date=3 травня 2013|archive-url=https://web.archive.org/web/20130503184045/http://www.cs.iastate.edu/~honavar/fahlman.pdf|url-status=dead}} {{Webarchive|url=https://web.archive.org/web/20130503184045/http://www.cs.iastate.edu/~honavar/fahlman.pdf |date=2013-05-03 }}</ref> каскадна кореляція починається з мінімальної мережі, а потім автоматично тренується й додає нові приховані вузли один за одним, створюючи багатошарову структуру. Щойно новий прихований вузол додано до мережі, його ваги з боку входу заморожуються. Тоді цей вузол стає постійним виявлячем ознак у мережі, доступним для отримування виходів або для створення інших, складніших виявлячів ознак. Архітектура каскадної кореляції має кілька переваг: вона швидко навчається, визначає власний розмір і топологію, зберігає створені структури, навіть якщо тренувальний набір змінюється, і не вимагає [[Зворотне поширення|зворотного поширення]].

=== Нейронечітка ===
{{Main|{{нп|Нейронечіткість|||Neuro-fuzzy}}}}

Нейронечітка мережа ({{lang-en|neuro-fuzzy network}})&nbsp;— це система [[Нечітка логіка|нечіткого]] [[Система висновування|висновування]] (СНВ, {{lang-en|fuzzy inference system, FIS}}) в тілі штучної нейронної мережі. Залежно від типу СНВ кілька шарів імітують процеси, залучені у подібних до нечіткого висновування [[Внесення нечіткості|внесенні нечіткості]] ({{lang-en|fuzzification}}), висновуванні, агрегуванні та [[Відновлення чіткості|відновленні чіткості]] ({{lang-en|defuzzification}}). Вбудовування СНВ у загальну структуру ШНМ має перевагу використання доступних методів тренування ШНМ для знаходження параметрів нечіткої системи.

=== Композиційна шаблоностворювальна ===
{{Main|{{нп|Композційна шаблоностворювальна мережа|||Compositional pattern-producing network}}}}

Композиційні шаблоностворювальні мережі (КШСМ, {{lang-en|compositional pattern-producing networks, CPPN}})&nbsp;— це різновид штучних нейронних мереж, які відрізняються своїм набором [[Передавальна функція штучного нейрона|передавальних функцій]] та способом їх застосовування. У той час як типові штучні нейронні мережі часто містять лише [[Сигмоїда|сигмоїдні функції]] (й іноді [[Гауссова функція|гауссові]]), КШСМ можуть містити обидва типи функцій та багато інших. Крім того, на відміну від типових штучних нейронних мереж, КШСМ застосовують над усім простором можливих даних входу, щоби вони могли подавати повне зображення. Оскільки вони є композиціями функцій, КШСМ фактично кодують зображення з нескінченною роздільністю, і їх можливо дискретизувати для конкретного дисплея з будь-якою оптимальною роздільністю.

== Мережі з пам'яттю ==

Мережі з пам'яттю ({{lang-en|memory networks}})<ref name="Weston, Jason 14102">{{cite arXiv|eprint=1410.3916|last1=Schmidhuber|first1=Juergen|title=Memory Networks|language=en|class=cs.AI|year=2014}}</ref><ref>{{cite arXiv|eprint=1503.08895|last1=Schmidhuber|first1=Juergen|title=End-To-End Memory Networks|language=en|class=cs.NE|year=2015}}</ref> включають {{нп|Довготривала пам'ять|довготривалу пам’ять||Long-term memory}}. Цю довготривалу пам'ять можливо читати та записувати до неї з метою використання її для передбачування. Ці моделі застосовували в контексті [[відповідання на питання]] ({{lang-en|question answering, QA}}), де довготривала пам'ять фактично діє як (динамічна) база знань, а виходом є текстова відповідь.<ref>{{cite arXiv|eprint=1506.02075|last1=Schmidhuber|first1=Juergen|title=Large-scale Simple Question Answering with Memory Networks|language=en|class=cs.LG|year=2015}}</ref>

У {{нп|Розріджена розподілена пам'ять|розрідженій розподіленій пам’яті||Sparse distributed memory}} та [[Ієрархічна часова пам'ять|ієрархічній часовій пам'яті]] образи, закодовані нейронними мережами, використовуються як адреси [[Асоціативна пам'ять|асоціативної пам'яті]], причому «нейрони» по суті слугують кодувальниками та [[Дешифратор|декодувальниками]] адрес. Проте ранні контролери таких видів пам'яті не були диференційовними.<ref name="Hinton, Geoffrey E 19842">{{Cite web|url=http://repository.cmu.edu/cgi/viewcontent.cgi?article=2841&context=compsci|title=Distributed representations|language=en|last=Hinton|first=Geoffrey E.|date=1984|archive-url=https://web.archive.org/web/20160502213526/http://repository.cmu.edu/cgi/viewcontent.cgi?article=2841&context=compsci|archive-date=2016-05-02|url-status=dead}}</ref>

=== Асоціативна пам'ять з одного погляду ===

Цей тип мережі ({{lang-en|one-shot associative memory}}) може додавати нові образи без перетреновування. Це здійснюється шляхом створення спеціальної структури пам'яті, яка призначує кожен новий образ ортогональній площині за допомогою суміжно з'єднаних ієрархічних масивів.<ref>{{cite journal |last1=Nasution |first1=B.B. |last2=Khan |first2=A.I. |title=A Hierarchical Graph Neuron Scheme for Real-Time Pattern Recognition |journal=IEEE Transactions on Neural Networks |language=en |date=February 2008 |volume=19 |issue=2 |pages=212–229 |doi=10.1109/TNN.2007.905857|pmid=18269954 |s2cid=17573325 }}</ref> Ця мережа пропонує реальночасове розпізнавання образів та високу масштабованість; це вимагає паралельної обробки й тому найкраще підходить для таких платформ, як [[Бездротова сенсорна мережа|бездротові сенсорні мережі]], [[Ґрід-обчислення|мережні обчислення]] та [[Графічний процесор загального призначення|ГПЗП]].

=== Ієрархічна часова пам'ять ===
{{Main|Ієрархічна часова пам'ять}}

Ієрархічна часова пам'ять (ІЧП, {{lang-en|hierarchical temporal memory, HTM}}) моделює деякі структурні та [[алгоритм]]ічні властивості [[Нова кора|нової кори]]. ІЧП&nbsp;— [[Біоніка|біоміметична]] модель, що ґрунтується на теорії [[Система пам'яті — передбачування|пам'яті&nbsp;— передбачування]]. ІЧП&nbsp;— це метод для виявляння та висновування високорівневих причин спостережуваних вхідних образів та послідовностей, і відтак побудови дедалі складнішої моделі світу.

ІЧП поєднує наявні ідеї щоби імітувати нову кору простою конструкцією, яка пропонує багато можливостей. ІЧП поєднує та розширює підходи, використовувані в [[Баєсова мережа|баєсових мережах]], алгоритмах просторового та часового кластерування, використовуючи при цьому деревоподібну ієрархію вузлів, поширену в нейронних мережах.

=== Голографічна асоціативна пам'ять ===
{{Main|{{нп|Голографічна асоціативна пам'ять|||Holographic associative memory}}}}

Голографічна асоціативна пам'ять (ГАП, {{lang-en|Holographic Associative Memory, HAM}})&nbsp;— це аналогова кореляційна асоціативна система «стимул-відгук». Інформація відображається на фазове спрямування комплексних чисел. Ця пам'ять ефективна для завдань [[Асоціація (психологія)|асоціативного]] [[Пам'ять|запам'ятовування]], узагальнювання та розпізнавання образів зі змінною увагою. Динамічна локалізація пошуку є центральною для біологічної пам'яті. При зоровому сприйнятті люди зосереджуються на конкретних об'єктах в образі. Люди можуть змінювати зосередження з об'єкта на об'єкт без навчання. ГАП може імітувати цю здатність, створюючи явні подання для зосереджування. Вона використовує бімодальне подання образа та схожий на голограму комплексний сферичний ваговий простір станів. ГАМ корисні для оптичного втілювання, оскільки гіперсферичні обчислення в їхній основі можливо втілювати за допомогою оптичних обчислень.<ref>{{cite journal|last=Sutherland|first=John G.|date=1 січня 1990|title=A holographic model of memory, learning and expression|journal=International Journal of Neural Systems|language=en|volume=01|issue=3|pages=259–267|doi=10.1142/S0129065790000163}}</ref>

=== Пов'язані з ДКЧП диференційовні структури пам'яті ===

Окрім [[Довга короткочасна пам'ять|довгої короткочасної пам'яті]] (ДКЧП), інші підходи також додали диференційовну пам'ять до рекурентних функцій. Наприклад:

* Диференційовні дії проштовхування та виштовхування для мереж альтернативної пам'яті, звані нейронними стековими машинами ({{lang-en|neural stack machines}})<ref name="S. Das, C.L. Giles p. 79">{{cite conference|first1=S.|last1=Das|first2=C.L.|last2=Giles|first3=G.Z.|last3=Sun|title=Learning Context Free Grammars: Limitations of a Recurrent Neural Network with an External Stack Memory|conference=14th Annual Conf. of the Cog. Sci. Soc.|language=en|p=79|year=1992}}</ref><ref name="Mozer, M. C. 1993 pp. 863-870">{{Cite journal|url=https://papers.nips.cc/paper/626-a-connectionist-symbol-manipulator-that-discovers-the-structure-of-context-free-languages|title=A connectionist symbol manipulator that discovers the structure of context-free languages|last1=Mozer|first1=M. C.|last2=Das|first2=S.|journal=Advances in Neural Information Processing Systems|language=en|date=1993|volume=5|pages=863–870|access-date=2019-08-25|archive-date=2019-12-06|archive-url=https://web.archive.org/web/20191206191805/https://papers.nips.cc/paper/626-a-connectionist-symbol-manipulator-that-discovers-the-structure-of-context-free-languages|url-status=dead}} {{Webarchive|url=https://web.archive.org/web/20191206191805/https://papers.nips.cc/paper/626-a-connectionist-symbol-manipulator-that-discovers-the-structure-of-context-free-languages |date=2019-12-06 }}</ref>
* Мережі пам'яті, в яких зовнішнє диференційовне сховище керівної мережі знаходиться у швидких вагах іншої мережі<ref name="ReferenceC">{{cite journal|last1=Schmidhuber|first1=J.|year=1992|title=Learning to control fast-weight memories: An alternative to recurrent nets|url=https://archive.org/details/sim_neural-computation_1992-01_4_1/page/131|journal=Neural Computation|language=en|volume=4|issue=1|pages=131–139|doi=10.1162/neco.1992.4.1.131|s2cid=16683347}}</ref>
* Забувальні вентилі ДКЧП<ref name="F. Gers, N. Schraudolph 2002">{{cite journal|last1=Gers|first1=F.|last2=Schraudolph|first2=N.|last3=Schmidhuber|first3=J.|year=2002|title=Learning precise timing with LSTM recurrent networks|url=http://jmlr.org/papers/volume3/gers02a/gers02a.pdf|journal=JMLR|language=en|volume=3|pages=115–143}}</ref>
* Автореферентні РНМ з особливими вузлами виходу для адресування та швидкого маніпулювання власними вагами РНМ на диференційовний манір (внутрішнє сховище)<ref name="J. Schmidhuber pages 191-195">{{Cite book|author=Jürgen Schmidhuber|author-link=Юрген Шмідхубер|year=1993|chapter=An introspective network that can learn to run its own weight change algorithm|url=ftp://ftp.idsia.ch/pub/juergen/iee93self.ps.gz|publisher=IEE|pages=191–195|title=Proceedings of the International Conference on Artificial Neural Networks, Brighton|language=en|url-status=dead}}</ref><ref name="Hochreiter, Sepp 2001">{{cite journal|last1=Hochreiter|first1=Sepp|last2=Younger|first2=A. Steven|last3=Conwell|first3=Peter R.|year=2001|title=Learning to Learn Using Gradient Descent|journal=ICANN|language=en|volume=2130|pages=87–94|citeseerx=10.1.1.5.323}}</ref>
* Навчання перетворення з необмеженою пам'яттю<ref name="Grefenstette, Edward 1506">{{Cite arXiv|eprint=1506.02516|last1=Schmidhuber|first1=Juergen|title=Learning to Transduce with Unbounded Memory|language=en|class=cs.NE|year=2015}}</ref>

=== Нейронні машини Тюрінга ===
{{Main|Нейронна машина Тюрінга}}

Нейронні машини Тюрінга (НМТ, {{lang-en|neural Turing machines}})<ref name="Graves, Alex 14102">{{cite arXiv|eprint=1410.5401|last1=Schmidhuber|first1=Juergen|title=Neural Turing Machines|language=en|class=cs.NE|year=2014}}</ref> спаровують мережі ДКЧП із зовнішніми ресурсами пам'яті, з якими вони можуть взаємодіяти за допомогою процесів уваги ({{lang-en|attentional processes}}). Ця зв'язана система аналогічна [[Машина Тюрінга|машині Тюрінга]], але диференціюється наскрізно, що дозволяє ефективно тренувати її [[Градієнтний спуск|градієнтним спуском]]. Попередні результати показують, що нейронні машини Тюрінга можуть висновувати з прикладів входу та виходу прості алгоритми, такі як копіювання, впорядковування та асоціативне пригадування.

{{нп|Диференційовний нейронний комп'ютер|Диференційовні нейронні комп'ютери||Differentiable neural computer}} ({{lang-en|differentiable neural computers, DNC}})&nbsp;— це розширення НМТ. На задачах обробки послідовностей вони перевершили нейронні машини Тюрінга, системи [[Довга короткочасна пам'ять|довгої короткочасної пам'яті]] та мережі з пам'яттю.<ref name=":02">{{Cite news|url=https://www.wired.co.uk/article/deepmind-ai-tube-london-underground|title=DeepMind's AI learned to ride the London Underground using human-like reason and memory|last=Burgess|first=Matt|newspaper=WIRED UK|language=en|access-date=2016-10-19}}</ref><ref>{{Cite news|url=https://www.pcmag.com/news/348701/deepmind-ai-learns-to-navigate-london-tube|title=DeepMind AI 'Learns' to Navigate London Tube|newspaper=PCMAG|language=en|access-date=2016-10-19}}</ref><ref>{{Cite web|url=https://techcrunch.com/2016/10/13/__trashed-2/|title=DeepMind's differentiable neural computer helps you navigate the subway with its memory|last=Mannes|first=John|website=TechCrunch|language=en|date=13 жовтня 2016 |access-date=2016-10-19}}</ref><ref>{{Cite journal|last1=Graves|first1=Alex|last2=Wayne|first2=Greg|last3=Reynolds|first3=Malcolm|last4=Harley|first4=Tim|last5=Danihelka|first5=Ivo|last6=Grabska-Barwińska|first6=Agnieszka|last7=Colmenarejo|first7=Sergio Gómez|last8=Grefenstette|first8=Edward|last9=Ramalho|first9=Tiago|date=2016-10-12|title=Hybrid computing using a neural network with dynamic external memory|journal=Nature|language=en|volume=538|issue=7626|pages=471–476|bibcode=2016Natur.538..471G|doi=10.1038/nature20101|issn=1476-4687|pmid=27732574|s2cid=205251479|url=https://ora.ox.ac.uk/objects/uuid:dd8473bd-2d70-424d-881b-86d9c9c66b51}}</ref><ref>{{Cite web|url=https://deepmind.com/blog/differentiable-neural-computers/|title=Differentiable neural computers {{!}} DeepMind|website=DeepMind|language=en|date=12 жовтня 2016 |access-date=2016-10-19}}</ref>

=== Семантичне гешування ===

Підходи, які подають попередній досвід безпосередньо, і [[Навчання на прикладах|використовують схожий досвід для формування локальної моделі]], часто називають методами [[Метод k-найближчих сусідів|найближчого сусіда]] або [[Метод k-найближчих сусідів|''k''-найближчих сусідів]].<ref>{{cite journal|last1=Atkeson|first1=Christopher G.|last2=Schaal|first2=Stefan|year=1995|title=Memory-based neural networks for robot learning|url=https://archive.org/details/sim_neurocomputing_1995-12_9_3/page/243|journal=Neurocomputing|language=en|volume=9|issue=3|pages=243–269|doi=10.1016/0925-2312(95)00033-6}}</ref> В семантичному гешуванні ({{lang-en|semantic hashing}}) корисне глибоке навчання,<ref>{{cite journal|last1=Salakhutdinov|first1=Ruslan|first2=Geoffrey|last2=Hinton|url=http://www.utstat.toronto.edu/~rsalakhu/papers/sdarticle.pdf|title=Semantic hashing|journal=International Journal of Approximate Reasoning|language=en|volume=50|issue=7|year=2009|pages=969–978}}</ref> де з великого набору документів отримують глибоку [[Графова модель|графову модель]] векторів кількостей слів.<ref name="Le 2014">{{Cite arXiv|eprint=1405.4053|class=cs.CL|first1=Quoc V.|last1=Le|first2=Tomas|last2=Mikolov|title=Distributed representations of sentences and documents|language=en|year=2014}}</ref> Документи відображуються на комірки пам'яті таким чином, що семантично схожі документи розташовуються за близькими адресами. Потім документи, схожі на документ із запиту, можливо знаходити шляхом простого доступу до всіх адрес, що відрізняються від адреси документа із запиту лише кількома бітами. На відміну від {{нп|Розріджена розподілена пам'ять|розрідженої розподіленої пам’яті||Sparse distributed memory}}, що оперує 1000-бітними адресами, семантичне гешування працює на 32- або 64-бітних адресах, що зустрічаються в традиційній комп'ютерній архітектурі.

=== Вказівникові мережі ===

Глибокі нейронні мережі можливо потенційно поліпшувати поглибленням та скороченням параметрів, за збереження здатності до тренування. В той час як тренування надзвичайно глибоких (наприклад, завглибшки в мільйон шарів) нейронних мереж може бути непрактичним, [[Центральний процесор|ЦП]]-подібні архітектури, такі як вказівникові мережі ({{lang-en|pointer networks}}),<ref>{{cite arXiv|eprint=1506.03134|last1=Schmidhuber|first1=Juergen|title=Pointer Networks|language=en|class=stat.ML|year=2015}}</ref> та нейронні машини з довільним доступом ({{lang-en|neural random-access machines}}),<ref>{{cite arXiv|eprint=1511.06392|last1=Schmidhuber|first1=Juergen|title=Neural Random-Access Machines|language=en|class=cs.LG|year=2015}}</ref> долають це обмеження завдяки застосуванню зовнішньої [[Оперативна пам'ять|пам'яті з довільним доступом]] та інших складових, що зазвичай належать до [[Комп'ютерна архітектура|комп'ютерної архітектури]], таких як [[Регістр процесора|регістри]], [[Арифметико-логічний пристрій|АЛП]] та [[вказівник]]и. Такі системи працюють на векторах [[Розподіл ймовірностей|розподілів імовірностей]], що зберігаються в комірках пам'яті та регістрах. Таким чином, ця модель повністю диференційовна, й тренується з краю в край. Ключовою характеристикою цих моделей є те, що їхня глибина, розмір їхньої короткочасної пам'яті та число параметрів можливо змінювати незалежно.

== Гібриди ==

=== Кодувально—декодувальні мережі ===

Кодувально-декодувальні системи ({{lang-en|encoder–decoder frameworks}}) ґрунтуються на нейронних мережах, що відображують високо[[Структурове передбачування|структурований]] вхід на високоструктурований вихід. Цей підхід виник у контексті [[Машинний переклад|машинного перекладу]],<ref>{{Cite conference |url=http://www.aclweb.org/anthology/D13-1176 |title=Recurrent continuous translation models |last1=Kalchbrenner|first1=N.|last2=Blunsom|first2=P.|date=2013|pages=1700–1709 |conference=EMNLP'2013|language=en}}</ref><ref>{{Cite conference|last1=Sutskever|first1=I.|last2=Vinyals|first2=O.|last3=Le|first3=Q. V.|date=2014|title=Sequence to sequence learning with neural networks|url=https://papers.nips.cc/paper/5346-sequence-to-sequence-learning-with-neural-networks.pdf|book-title=Twenty-eighth Conference on Neural Information Processing Systems|language=en|eprint=1409.3215}}</ref><ref>{{Cite arXiv |eprint=1406.1078 |last1=Schmidhuber |first1=Juergen |title=Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation |language=en |class=cs.CL|year=2014}}</ref> де вхід та вихід є писаними реченнями двома природними мовами. В тій праці використовували [[Рекурентна нейронна мережа|РНМ]] або [[Згорткова нейронна мережа|ЗНМ]] [[ДКЧП]] як кодувальник для отримання зведення про вхідне речення, і це зведення декодували умовною РНМ-[[Модель мови|моделлю мови]] для продукування перекладу.<ref>{{Cite journal |last1=Schmidhuber |first1=Juergen |last2=Courville |first2=Aaron |last3=Bengio |first3=Yoshua |year=2015 |title=Describing Multimedia Content using Attention-based Encoder—Decoder Networks |journal=IEEE Transactions on Multimedia|language=en |volume=17 |issue=11 |pages=1875–1886 |arxiv=1507.01053 |bibcode=2015arXiv150701053C |doi=10.1109/TMM.2015.2477044 |s2cid=1179542}}</ref> Для цих систем є спільними будівельні блоки: вентильні ({{lang-en|gated}}) РНМ та ЗНМ, і треновані механізми уваги.

== Інші типи ==

=== Миттєво треновані ===

{{нп|Миттєво треновані нейронні мережі|||Instantaneously trained neural networks}} (МТНН, {{lang-en|Instantaneously trained neural networks, ITNN}}) були натхнені явищем короткочасного навчання ({{lang-en|short-term learning}}), яке, здається, відбувається миттєво. У цих мережах ваги прихованого шару та шару виходу відображаються безпосередньо з даних тренувального вектора. Зазвичай вони працюють з двійковими даними, але існують версії й для неперервних даних, які потребують невеликої додаткової обробки.

=== Спайкові ===

{{нп|Спайкова нейронна мережа|Спайкові нейронні мережі||Spiking neural network}} (СНМ, {{lang-en|spiking neural networks, SNN}}) явно враховують хронометраж вхідних даних. Вхід та вихід цієї мережі зазвичай подано у вигляді рядів спайків ([[Дельта-функція|дельта-функції]] або складнішого вигляду). СНМ може обробляти інформацію в [[Часова область|часовій області]] (сигналів, які змінюються в часі). Їх часто втілюють як рекурентні мережі. СНМ також є одним із видів {{нп|Імпульсний комп'ютер|імпульсних комп'ютерів||Pulse computer}}.<ref>{{Cite web|url=http://icwww.epfl.ch/~gerstner/SPNM/SPNM.html|title=Spiking Neuron Models: Single Neurons, Populations, Plasticity|last1=Gerstner|last2=Kistler|website=icwww.epfl.ch|language=en|access-date=2017-06-18|archive-date=2017-06-04|archive-url=https://web.archive.org/web/20170604075329/http://icwww.epfl.ch/~gerstner/SPNM/SPNM.html|url-status=dead}} {{Webarchive|url=https://web.archive.org/web/20170604075329/http://icwww.epfl.ch/~gerstner/SPNM/SPNM.html |date=2017-06-04 }} вільно доступний інтернетпідручник</ref>

Спайкові нейронні мережі з затримками аксональної провідності демонструють поліхронізацію, і відтак можуть мати дуже велику ємність пам'яті.<ref name="pmid16378515">{{cite journal |author=Izhikevich EM |title=Polychronization: computation with spikes |journal=Neural Computation |language=en |volume=18 |issue=2 |pages=245–82 |date=February 2006 |pmid=16378515 |doi=10.1162/089976606775093882 |s2cid=14253998 }}</ref>

СНМ та часові кореляції нейронних збірок у таких мережах використовували для моделювання поділу фігур/тла та з'єднування областей у зоровій системі.

=== Просторові ===
{{Main|{{нп|Просторова нейронна мережа|||Spatial neural network}}}}

Просторові нейронні мережі (ПНМ, {{lang-en|spatial neural networks, SNN}}) становлять надкатегорію спеціалізованих [[Штучна нейронна мережа|нейронних мереж]] (НМ) для подавання та передбачування географічних явищ. Вони загалом покращують як статистичну [[точність]], так і [[Статистична надійність|надійність]] а-просторових/класичних НМ, коли обробляють [[Географічні дані|геопросторові набори даних]], а також інших просторових [[Статистична модель|(статистичних) моделей]] (наприклад, просторових регресійних моделей), коли змінні цих геопросторових [[Набір даних|наборів даних]] описують [[Нелінійна система|нелінійні зв'язки]].<ref name="Morer et al. (2020)">{{cite journal |vauthors=Morer I, Cardillo A, Díaz-Guilera A, Prignano L, Lozano S |date=2020 |title=Comparing spatial networks: a one-size-fits-all efficiency-driven approach |journal=Physical Review |language=en |volume=101 |issue=4 |page=042301 |doi=10.1103/PhysRevE.101.042301|pmid=32422764 |hdl=2445/161417 |s2cid=49564277 }}</ref><ref name="Gupta et al. (2021)">{{cite journal |vauthors=Gupta J, Molnar C, Xie Y, Knight J, Shekhar S |date=2021 |title=Spatial variability aware deep neural networks (SVANN): a general approach |journal=ACM Transactions on Intelligent Systems and Technology |language=en |volume=12 |issue=6 |pages=1&ndash;21 |doi=10.1145/3466688|s2cid=244786699 }}</ref><ref name="Hagenauer et al. (2022)">{{cite journal |vauthors=Hagenauer J, Helbich M |date=2022 |title=A geographically weighted artificial neural network |journal=International Journal of Geographical Information Science |language=en |volume=36 |issue=2 |pages=215&ndash;235 |doi=10.1080/13658816.2021.1871618|s2cid=233883395 }}</ref> Прикладами ПНМ є поросторові нейронні мережі ''OSFA'', ''SVANN'' та ''GWNN''.

=== Неокогнітрон ===

[[Неокогнітрон]] ({{lang-en|neocognitron}})&nbsp;— це ієрархічна багатошарова мережа, змодельована на основі [[Зорова кора|зорової кори]]. Він використовує кілька типів вузлів (первинно два, звані {{нп|Проста клітина|простими||Simple cell}}, {{lang-en|simple}}, та {{нп|Складна клітина|складними||Complex cell}}, {{lang-en|complex}}, клітинами) як каскадну модель для використання в задачах розпізнавання образів.<ref>{{cite book|url=https://books.google.com/books?id=8YrxWojxUA4C&pg=PA106|title=Brain and visual perception: the story of a 25-year collaboration|language=en|publisher=Oxford University Press|year=2005|isbn=978-0-19-517618-6|page=106|author=David H. Hubel and Torsten N. Wiesel}}</ref><ref>{{cite journal|last2=Wiesel|first2=TN|date=October 1959|title=Receptive fields of single neurones in the cat's striate cortex|journal=J. Physiol.|language=en|volume=148|issue=3|pages=574–91|doi=10.1113/jphysiol.1959.sp006308|pmc=1363130|pmid=14403679|last1=Hubel|first1=DH}}</ref>{{sfn|Fukushima|1987|p=83}} Локальні ознаки виділяють ''S''-клітини, деформацію яких допускають ''C''-клітини. Локальні ознаки у вході поступово інтегруються та класифікуються на вищих шарах.{{sfn|Fukushima|1987|p=84}} Серед різних видів неокогнітронів{{sfn|Fukushima|2007}} є системи, які можуть виявляти декілька образів в одному вході за допомогою зворотного поширення для досягнення {{нп|Вибіркова увага|вибіркової уваги||Selective attention}}.{{sfn|Fukushima|1987|pp=81, 85}} Його використовували для завдань [[розпізнавання образів]], він надихнув [[Згорткова нейронна мережа|згорткові нейронні мережі]].<ref>{{cite journal|last2=Bengio|first2=Yoshua|last3=Hinton|first3=Geoffrey|year=2015|title=Deep learning|journal=Nature|language=en|volume=521|issue=7553|pages=436–444|doi=10.1038/nature14539|pmid=26017442|bibcode=2015Natur.521..436L|first1=Yann|last1=LeCun|s2cid=3074096}}</ref>

=== Змішані ієрархічно—глибокі моделі ===

Змішані ієрархічно-глибокі моделі ({{lang-en|compound hierarchical-deep models}}) компонують глибокі мережі з непараметричними [[Баєсова мережа|баєсовими моделями]]. [[Ознака (машинне навчання)|Ознак]] можливо навчатися із застосуванням таких глибоких архітектур як [[Глибока мережа переконань|ГМП]],<ref name="hinton2006">{{cite journal|last1=Hinton|first1=G. E.|last2=Osindero|first2=S.|last3=Teh|first3=Y.|year=2006|title=A fast learning algorithm for deep belief nets|url=http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf|journal={{нп|Neural Computation}}|language=en|volume=18|issue=7|pages=1527–1554|citeseerx=10.1.1.76.1541|doi=10.1162/neco.2006.18.7.1527|pmid=16764513|s2cid=2309950|author-link1=Джефрі Гінтон}}</ref> [[глибокі машини Больцмана]] (ГМБ),<ref name="ref3">{{cite journal|last1=Hinton|first1=Geoffrey|last2=Salakhutdinov|first2=Ruslan|date=2009|title=Efficient Learning of Deep Boltzmann Machines|url=http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS09_SalakhutdinovH.pdf|language=en|volume=3|pages=448–455|access-date=2019-08-25|archive-date=2015-11-06|archive-url=https://web.archive.org/web/20151106235714/http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS09_SalakhutdinovH.pdf|url-status=dead}} {{Webarchive|url=https://web.archive.org/web/20151106235714/http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS09_SalakhutdinovH.pdf |date=2015-11-06 }}</ref> глибокі автокодувальники,<ref name="ref15">{{cite journal|last1=Larochelle|first1=Hugo|last2=Bengio|first2=Yoshua|last3=Louradour|first3=Jerdme|last4=Lamblin|first4=Pascal|date=2009|title=Exploring Strategies for Training Deep Neural Networks|url=http://dl.acm.org/citation.cfm?id=1577070|journal=The Journal of Machine Learning Research|language=en|volume=10|pages=1–40}}</ref> згорткові варіанти,<ref name="ref39">{{cite journal|last1=Coates|first1=Adam|last2=Carpenter|first2=Blake|date=2011|title=Text Detection and Character Recognition in Scene Images with Unsupervised Feature Learning|url=http://www.iapr-tc11.org/archive/icdar2011/fileup/PDF/4520a440.pdf|language=en|pages=440–445}}</ref><ref name="ref40">{{Cite book|last1=Lee|first1=Honglak|last2=Grosse|first2=Roger|title=Proceedings of the 26th Annual International Conference on Machine Learning |chapter=Convolutional deep belief networks for scalable unsupervised learning of hierarchical representations |language=en |date=2009|isbn=9781605585161|pages=609–616|citeseerx=10.1.1.149.6800|doi=10.1145/1553374.1553453|s2cid=12008458}}</ref> [[Піково-пластинна ОМБ|ппОМБ]],<ref name="ref32">{{cite conference|last1=Courville|first1=Aaron|last2=Bergstra|first2=James|last3=Bengio|first3=Yoshua|date=2011|title=Proceedings of the 28th International Conference on Machine Learning|volume=10|pages=1–8|chapter=Unsupervised Models of Images by Spike-and-Slab RBMs|chapter-url=http://machinelearning.wustl.edu/mlpapers/paper_files/ICML2011Courville_591.pdf|language=en|access-date=2019-08-25|archive-date=2016-03-04|archive-url=https://web.archive.org/web/20160304054551/http://machinelearning.wustl.edu/mlpapers/paper_files/ICML2011Courville_591.pdf|url-status=dead}}</ref> глибокі кодувальні мережі,<ref name="ref41">{{cite book|last1=Lin|first1=Yuanqing|last2=Zhang|first2=Tong |last3=Zhu |first3=Shenghuo |last4=Yu |first4=Kai|date=2010|chapter=Deep Coding Network|chapter-url=https://papers.nips.cc/paper/3929-deep-coding-network|title=Advances in Neural Information Processing Systems 23 (NIPS 2010)|language=en|volume=23|pages=1–9}}</ref> ГМП з розрідженим навчанням ознак,<ref name="ref42">{{cite journal|last1=Ranzato|first1=Marc Aurelio|last2=Boureau|first2=Y-Lan|date=2007|title=Sparse Feature Learning for Deep Belief Networks|url=http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2007_1118.pdf|journal=Advances in Neural Information Processing Systems|language=en|volume=23|pages=1–8|access-date=2019-08-25|archive-date=2016-03-04|archive-url=https://web.archive.org/web/20160304121722/http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2007_1118.pdf|url-status=dead}} {{Webarchive|url=https://web.archive.org/web/20160304121722/http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2007_1118.pdf |date=2016-03-04 }}</ref> [[Рекурсивна нейронна мережа|РНМ]],<ref name="ref43">{{cite journal|last1=Socher|first1=Richard|last2=Lin|first2=Clif|date=2011|title=Parsing Natural Scenes and Natural Language with Recursive Neural Networks|url=http://machinelearning.wustl.edu/mlpapers/paper_files/ICML2011Socher_125.pdf|journal=Proceedings of the 26th International Conference on Machine Learning|language=en|access-date=2019-08-25|archive-date=2016-03-04|archive-url=https://web.archive.org/web/20160304074754/http://machinelearning.wustl.edu/mlpapers/paper_files/ICML2011Socher_125.pdf|url-status=dead}} {{Webarchive|url=https://web.archive.org/web/20160304074754/http://machinelearning.wustl.edu/mlpapers/paper_files/ICML2011Socher_125.pdf |date=2016-03-04 }}</ref> умовні ГМП,<ref name="ref44">{{cite journal|last1=Taylor|first1=Graham|last2=Hinton|first2=Geoffrey|date=2006|title=Modeling Human Motion Using Binary Latent Variables|url=http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2006_693.pdf|journal=Advances in Neural Information Processing Systems|language=en|access-date=2019-08-25|archive-date=2016-03-04|archive-url=https://web.archive.org/web/20160304051321/http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2006_693.pdf|url-status=dead}} {{Webarchive|url=https://web.archive.org/web/20160304051321/http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2006_693.pdf |date=2016-03-04 }}</ref> [[Знешумлювальний автокодувальник|знешумлювальні автокодувальники]].<ref name="ref45">{{Cite book|last1=Vincent|first1=Pascal|last2=Larochelle|first2=Hugo|title=Proceedings of the 25th international conference on Machine learning - ICML '08 |chapter=Extracting and composing robust features with denoising autoencoders |language=en |date=2008|isbn=9781605582054|pages=1096–1103|citeseerx=10.1.1.298.4083|doi=10.1145/1390156.1390294|s2cid=207168299}}</ref> Це забезпечує краще подання, швидше навчання та точніше класифікування з даними високої вимірності. Проте ці архітектури слабкі в навчанні нововведених класів на кількох прикладах, оскільки всі вузли мережі залучено до подання входу (''{{Якір2|розподілене подання}}'') і мусить бути підлаштовувано разом (високий [[Ступені свободи (значення)|ступінь свободи]]). Обмеження ступеню свободи знижує кількість параметрів для навчання, допомагаючи навчанню нових класів з кількох прикладів. [[Ієрархічна баєсова модель|''Ієрархічні баєсові (ІБ)'' моделі]] дозволяють навчатися з кількох прикладів, наприклад<ref name="ref34">{{cite journal|last1=Kemp|first1=Charles|last2=Perfors|first2=Amy|last3=Tenenbaum|first3=Joshua|date=2007|title=Learning overhypotheses with hierarchical Bayesian models|journal=Developmental Science|language=en|volume=10|issue=3|pages=307–21|citeseerx=10.1.1.141.5560|doi=10.1111/j.1467-7687.2007.00585.x|pmid=17444972}}</ref><ref name="ref37">{{cite journal|last1=Xu|first1=Fei|last2=Tenenbaum|first2=Joshua|date=2007|title=Word learning as Bayesian inference|url=https://archive.org/details/sim_psychological-review_2007-04_114_2/page/245|journal=Psychol. Rev.|language=en|volume=114|issue=2|pages=245–72|citeseerx=10.1.1.57.9649|doi=10.1037/0033-295X.114.2.245|pmid=17500627}}</ref><ref name="ref46">{{cite book|title=Proceedings of the 28th International Conference on International Conference on Machine Learning|last1=Chen|first1=Bo|last2=Polatkan|first2=Gungor|date=2011|publisher=Omnipress|isbn=978-1-4503-0619-5|pages=361–368|chapter=The Hierarchical Beta Process for Convolutional Factor Analysis and Deep Learning|chapter-url=http://people.ee.duke.edu/~lcarin/Bo7.pdf|language=en}}</ref><ref name="ref47">{{cite journal|last1=Fei-Fei|first1=Li|last2=Fergus|first2=Rob|date=2006|title=One-shot learning of object categories|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|language=en|volume=28|issue=4|pages=594–611|citeseerx=10.1.1.110.9024|doi=10.1109/TPAMI.2006.79|pmid=16566508|s2cid=6953475}}</ref><ref name="ref48">{{cite journal|last1=Rodriguez|first1=Abel|last2=Dunson|first2=David|date=2008|title=The Nested Dirichlet Process|journal=Journal of the American Statistical Association|language=en|volume=103|issue=483|pages=1131–1154|citeseerx=10.1.1.70.9873|doi=10.1198/016214508000000553|s2cid=13462201}}</ref> для [[Комп'ютерне бачення|комп'ютерного бачення]], [[Статистика|статистики]] та [[Когнітивна наука|когнітивної науки]].

Змішані ІГ-архітектури мають на меті поєднання характеристик як ІБ, так і глибоких мереж. Змішана архітектура ІПД-ГМБ це {{нп|ієрархічний процес Діріхле|||Hierarchical Dirichlet process}} ''(ІПД,'' {{lang-en|hierarchical Dirichlet process, HDP}}'')'' як ієрархічна модель, що включає архітектуру ГМБ. Це повна [[породжувальна модель]], узагальнювана з абстрактних понять, що течуть крізь шари цієї моделі, здатна синтезувати нові приклади нововведених класів, що виглядають «досить» природно. Всіх рівнів навчаються спільно, зведенням до максимуму [[Функція внеску|функції внеску]] спільної [[Логарифмічна ймовірність|логарифмічної ймовірності]].<ref name="ref38">{{cite journal|last1=Ruslan|first1=Salakhutdinov|last2=Joshua|first2=Tenenbaum|date=2012|title=Learning with Hierarchical-Deep Models|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|language=en|volume=35|issue=8|pages=1958–71|citeseerx=10.1.1.372.909|doi=10.1109/TPAMI.2012.269|pmid=23787346|s2cid=4508400}}</ref>

У ГМБ з трьома прихованими шарами ймовірність видимого входу <nowiki>''</nowiki>'''''{{Mvar|&nu;}}<nowiki>''</nowiki>''''' становить

: <math>p(\boldsymbol{\nu}, \psi) = \frac{1}{Z}\sum_h \exp\left(\sum_{ij}W_{ij}^{(1)} \nu_i h_j^1 + \sum_{j\ell} W_{j\ell}^{(2)}h_j^1 h_\ell^2 +\sum_{\ell m} W_{\ell m}^{(3)}h_\ell^2 h_m^3 \right),</math>

де <math>\boldsymbol{h} = \{\boldsymbol{h}^{(1)}, \boldsymbol{h}^{(2)}, \boldsymbol{h}^{(3)} \}</math>&nbsp;— набір прихованих вузлів, а <math>\psi = \{\boldsymbol{W}^{(1)}, \boldsymbol{W}^{(2)}, \boldsymbol{W}^{(3)} \} </math>&nbsp;— параметри моделі, що подають умови симетричної взаємодії видимі—приховані та приховані—приховані.

Навчена модель ГМБ це неорієнтована модель, яка визначає [[спільний розподіл]] <math>P(\nu, h^1, h^2, h^3)</math>. Одним зі способів вираження навченого є [[Розрізнювальна модель|умовна модель]] <math>P(\nu, h^1, h^2\mid h^3)</math> та [[Апріорний розподіл|апріорний]] член <math>P(h^3)</math>.

Тут <math>P(\nu, h^1, h^2\mid h^3)</math> подає умовну модель ГМБ, яку можливо розглядати як двошарову ГМБ, але з членами зміщення, заданими станами <math>h^3</math>:

: <math>P(\nu, h^1, h^2\mid h^3) = \frac{1}{Z(\psi, h^3)} \exp \left(\sum_{ij}W_{ij}^{(1)}\nu_i h_j^1 + \sum_{j\ell} W_{j\ell}^{(2)} h_j^1 h_\ell^2 +\sum_{\ell m} W_{\ell m}^{(3)} h_\ell^2 h_m^3\right).</math>

=== Глибокі передбачувальні кодувальні мережі ===

Глибока передбачувальна кодувальна мережа (ГПКМ, {{lang-en|deep predictive coding network, DPCN}})&nbsp;— це [[Передбачувальне моделювання|передбачувальна]] схема кодування, що використовує спадну ({{lang-en|top-down}}) інформацію для емпіричного підлаштовування апріорних, необхідних для процедури висхідного ({{lang-en|bottom-up}}) [[висновування]], засобами глибокої локально з'єднаної [[Породжувальна модель|породжувальної моделі]]. Це працює шляхом виділяння розріджених [[Ознака (машинне навчання)|ознак]] зі спостережень, що змінюються в часі, із застосуванням лінійної динамічної моделі. Потім для навчання інваріантних подань ознак застосовується стратегія агрегування ({{lang-en|pooling}}). Ці блоки компонуються, щоби сформувати глибоку архітектуру, і тренуються [[Жадібний алгоритм|жадібним]] пошаровим [[Некероване навчання|некерованим навчанням]]. Шари утворюють щось на зразок [[Ланцюги Маркова|марковського ланцюга]], такого, що стани на будь-якому шарі залежать лише від наступного та попереднього шарів.

ГПКМ передбачують подання шару, використовуючи спадний підхід із застосуванням інформації з вищого шару та часових залежностей від попередніх станів.<ref name="ref56">{{cite arXiv|eprint=1301.3541|class=cs.LG|first1=Rakesh|last1=Chalasani|first2=Jose|last2=Principe|title=Deep Predictive Coding Networks|language=en|date=2013}}</ref>

ГПКМ можливо розширювати таким чином, щоби утворювати [[Згорткова нейронна мережа|згорткову мережу]].<ref name="ref56" />

=== Багатошарова ядрова машина ===

Багатошарові ядрові машини (БЯМ, {{lang-en|Multilayer Kernel Machine, MKM}})&nbsp;— це спосіб навчання високонелінійних функцій за допомогою ітеративного застосування слабко нелінійних ядер. Вони використовують {{нп|ядровий метод головних компонент|||Kernel principal component analysis}} (ЯМГК, {{lang-en|kernel principal component analysis, KPCA}})<ref name="ref60">{{cite journal|last1=Scholkopf|first1=B|last2=Smola|first2=Alexander|date=1998|title=Nonlinear component analysis as a kernel eigenvalue problem|journal=Neural Computation|language=en|volume=44|issue=5|pages=1299–1319|citeseerx=10.1.1.53.8911|doi=10.1162/089976698300017467|s2cid=6674407}}</ref> як метод для [[Жадібний алгоритм|жадібного]] пошарового передтренувального кроку глибокого [[Некероване навчання|некерованого навчання]].<ref name="ref59">{{cite journal|last1=Cho|first1=Youngmin|date=2012|title=Kernel Methods for Deep Learning|url=http://cseweb.ucsd.edu/~yoc002/paper/thesis_youngmincho.pdf|language=en|pages=1–9}}</ref>

<math>\ell+1</math>-й шар навчається подання попереднього шару <math>\ell</math>, виділяючи <math>n_l</math> [[Метод головних компонент|головних компонент]] (ГК, {{lang-en|principal component, PC}}) виходу проєкційного шару <math>l</math> в області ознак, що виводить ядро. Щоби знижувати [[Зниження розмірності|розмірність]] уточненого подання на кожному шарі, [[Кероване навчання|керована стратегія]] обирає найінформативніші серед ознак, виділених ЯМГК. Процес такий:

* вишикувати <math>n_\ell</math> ознак відповідно до їхньої [[Взаємна інформація|взаємної інформації]] з мітками класів;
* для різних значень ''K'' та <math>m_\ell \in\{1, \ldots, n_\ell\}</math> обчислити рівень похибки класифікації [[Метод k-найближчих сусідів|методом ''k''-найближчих сусідів]] (''k''-НС, [[Англійська мова|англ.]] ''K-nearest neighbor, K-NN''), використовуючи лише <math>m_l</math> найінформативніших ознак на [[Затверджувальний набір|затверджувальному наборі]];
* значення <math>m_\ell</math> з яким класифікатор досяг найнижчого рівня похибки, визначає число ознак, які потрібно зберегти.

Метод ЯМГК як будівельні блоки для БЯМ супроводжують деякі недоліки.

Для розуміння усного мовлення розробили простіший спосіб застосування ядрових машин для глибокого навчання.<ref>{{Cite journal|last1=Deng|first1=Li|last2=Tur|first2=Gokhan|last3=He|first3=Xiaodong|last4=Hakkani-Tür|first4=Dilek|date=2012-12-01|title=Use of Kernel Deep Convex Networks and End-To-End Learning for Spoken Language Understanding|url=https://www.microsoft.com/en-us/research/publication/use-of-kernel-deep-convex-networks-and-end-to-end-learning-for-spoken-language-understanding/|journal=Microsoft Research|language=en}}</ref> Головна ідея полягає у використанні ядрової машини для наближення неглибокої нейронної мережі з нескінченним числом прихованих вузлів, і подальшому застосуванні [[#Глибока складальна мережа|глибокої складальної мережі]] для зрощування виходу цієї ядрової машини та сирого входу при побудові наступного, вищого рівня ядрової машини. Число рівнів у цій глибокій опуклій мережі є [[Гіперпараметр (машинне навчання)|гіперпараметром]] системи в цілому, який повинен визначатися [[Перехресне затверджування|перехресним затверджуванням]].

== Див. також ==
{{div col|colwidth=22em}}
* {{нп|Автоасоціативна пам'ять|||Autoassociative memory}}
* [[Автокодувальник]]
* {{нп|Адаптивне табулювання на місці|||In situ adaptive tabulation}}
* [[Багатошаровий перцептрон]]
* {{нп|Біологічно натхнені обчислення|||Biologically inspired computing}}
* ''[[Проєкт Blue Brain|Blue Brain]]''
* [[Генетичний алгоритм]]
* {{нп|Графова нейронна мережа|||Graph neural network}}
* [[Навчання дерев рішень|Дерева рішень]]
* [[Експертна система]]
* [[Імітація відпалу]]
* {{нп|Конективістська експертна система|||Connectionist expert system}}
* [[Лінійний розділювальний аналіз]]
* [[Логістична регресія]]
* [[Метод головних компонент]]
* [[Метод рою часток]]
* [[Нейроеволюція]], {{нп|нейроеволюція доповнюваних топологій|||Neuroevolution of augmenting topologies}} ({{lang-en|NEAT}})
* [[Нейронна мережа з часовою затримкою]]
* [[Нейронний газ]]
* {{нп|Нейронні мережі зберігання та вибірки великої пам'яті|||Large memory storage and retrieval neural network}}
* ''{{нп|Ni1000}}'' (мікропроцесор)
* [[Оптична нейронна мережа]]
* {{нп|Передбачувальна аналітика|||Predictive analytics}}
* [[Систолічний масив]]
* {{нп|Теорія адаптивного резонансу|||Adaptive resonance theory}}
* [[Штучне життя]]
{{div col end}}

== Примітки ==
{{примітки|30em}}

== Література ==
* {{cite book|first=Kunihiko|last=Fukushima|chapter=A hierarchical neural network model for selective attention|editor-last1=Eckmiller|editor-first1=R.|editor-last2=Von der Malsburg|editor-first2=C.|title=Neural computers|language=en|publisher=Springer-Verlag|pp=81–90|year=1987|ref=harv}}
* {{cite journal | last1 = Fukushima | first1 = Kunihiko | year = 2007 | title = Neocognitron | journal = Scholarpedia | language = en | volume = 2 | issue = 1| page = 1717 | doi=10.4249/scholarpedia.1717| bibcode = 2007SchpJ...2.1717F | doi-access = free | ref = harv }}

[[Категорія:Архітектури нейронних мереж|*]]
[[Категорія:Обчислювальна нейробіологія]]
[[Категорія:Алгоритми класифікації]]
[[Категорія:Штучні нейронні мережі]]
[[Категорія:Обчислювальна статистика]]