Перегляд вихідного коду сторінки Згорткова нейронна мережа

{{Машинне навчання|Штучна нейронна мережа}}

'''Зго́рткові нейро́нні мере́жі''' ('''ЗНМ''', {{lang-en|convolutional neural network, CNN, ConvNet}}) в [[Машинне навчання|машинному навчанні]]&nbsp;— це клас глибоких [[Штучна нейронна мережа|штучних нейронних мереж]] [[Нейронна мережа прямого поширення|прямого поширення]], який успішно застосовувався до аналізу візуальних зображень.

ЗНМ використовують різновид [[Багатошаровий перцептрон|багатошарових перцептронів]], розроблений так, щоби вимагати використання мінімального обсягу [[Препроцесор|попередньої обробки]].<ref name="LeCun">{{cite web|last=LeCun|first=Yann|title=LeNet-5, convolutional neural networks|url=http://yann.lecun.com/exdb/lenet/|accessdate=16 листопада 2013|archive-date=24 лютого 2021|archive-url=https://web.archive.org/web/20210224225707/http://yann.lecun.com/exdb/lenet/}} {{ref-en}}</ref> Вони відомі також як '''інваріа́нтні відно́сно зсу́ву''' ({{lang-en|shift invariant}}) або '''просторо́во інваріа́нтні шту́чні нейро́нні мере́жі''' ({{lang-en|space invariant artificial neural networks, SIANN}}), виходячи з їхньої архітектури спільних ваг та характеристик [[Інваріантність відносно паралельного перенесення|інваріантності відносно паралельного перенесення]].<ref name=":0">{{Cite journal|last=Zhang|first=Wei|date=1988|title=Shift-invariant pattern recognition neural network and its optical architecture|url=https://drive.google.com/file/d/0B65v6Wo67Tk5Zm03Tm1kaEdIYkE/view?usp=sharing|journal=Proceedings of annual conference of the Japan Society of Applied Physics|volume=|issue=|doi=|pmid=|access-date=|via=|archive-date=6 лютого 2017|archive-url=https://web.archive.org/web/20170206160039/https://drive.google.com/file/d/0B65v6Wo67Tk5Zm03Tm1kaEdIYkE/view?usp=sharing}} {{ref-en}}</ref><ref name=":1">{{Cite journal|last=Zhang|first=Wei|date=1990|title=Parallel distributed processing model with local space-invariant interconnections and its optical architecture|url=https://drive.google.com/file/d/0B65v6Wo67Tk5ODRzZmhSR29VeDg/view?usp=sharing|journal=Applied Optics|volume=29|issue=32|pages=4790–7|doi=10.1364/AO.29.004790|pmid=20577468|access-date=|via=|bibcode=1990ApOpt..29.4790Z|archive-date=6 лютого 2017|archive-url=https://web.archive.org/web/20170206111407/https://drive.google.com/file/d/0B65v6Wo67Tk5ODRzZmhSR29VeDg/view?usp=sharing}} {{ref-en}}</ref>

Згорткові мережі взяли за основу [[Біологія|біологічний]] процес,<ref name="robust face detection">{{cite journal|last=Matusugu|first=Masakazu|year=2003|title=Subject independent facial expression recognition with robust face detection using a convolutional neural network|url=http://www.iro.umontreal.ca/~pift6080/H09/documents/papers/sparse/matsugo_etal_face_expression_conv_nnet.pdf|journal=Neural Networks|volume=16|issue=5|pages=555–559|doi=10.1016/S0893-6080(03)00115-1|author2=Katsuhiko Mori|author3=Yusuke Mitari|author4=Yuji Kaneda|accessdate=17 листопада 2013|archive-date=13 грудня 2013|archive-url=https://web.archive.org/web/20131213022740/http://www.iro.umontreal.ca/~pift6080/H09/documents/papers/sparse/matsugo_etal_face_expression_conv_nnet.pdf}} {{ref-en}}</ref> а саме схему з'єднання [[Штучний нейрон|нейронів]] [[Зорова кора|зорової кори]] тварин. Окремі [[Нейрон кори|нейрони кори]] реагують на {{нп|Стимул (фізіологія)|стимули||Stimulus (physiology)}} лише в обмеженій області [[Зорове поле|зорового поля]], відомій як [[рецептивне поле]]. Рецептивні поля різних нейронів частково перекриваються таким чином, що вони покривають усе зорове поле.

ЗНМ використовують порівняно мало попередньої обробки, в порівнянні з іншими [[Комп'ютерний зір#Розпізнавання|алгоритмами класифікування зображень]]. Це означає, що мережа навчається {{нп|Фільтр (обробка зображень)|фільтрів||Filter (signal processing)}}, що в традиційних алгоритмах [[Конструювання ознак|конструювали вручну]]. Ця незалежність у конструюванні ознак від апріорних знань та людських зусиль є великою перевагою.

Вони мають застосування в [[Комп'ютерний зір|розпізнаванні зображень та відео]], [[Рекомендаційна система|рекомендаційних системах]]<ref>{{Cite book|url=http://papers.nips.cc/paper/5004-deep-content-based-music-recommendation.pdf|title=Deep content-based music recommendation|last=van den Oord|first=Aaron|last2=Dieleman|first2=Sander|last3=Schrauwen|first3=Benjamin|date=2013-01-01|publisher=Curran Associates, Inc.|editor-last=Burges|editor-first=C. J. C.|pages=2643–2651|editor-last2=Bottou|editor-first2=L.|editor-last3=Welling|editor-first3=M.|editor-last4=Ghahramani|editor-first4=Z.|editor-last5=Weinberger|editor-first5=K. Q.|accessdate=19 січня 2016|archive-date=16 травня 2017|archive-url=https://web.archive.org/web/20170516185259/http://papers.nips.cc/paper/5004-deep-content-based-music-recommendation.pdf}} {{ref-en}}</ref> та [[Обробка природної мови|обробці природної мови]].<ref>{{Cite journal|last=Collobert|first=Ronan|last2=Weston|first2=Jason|date=2008-01-01|title=A Unified Architecture for Natural Language Processing: Deep Neural Networks with Multitask Learning|url=http://doi.acm.org/10.1145/1390156.1390177|journal=Proceedings of the 25th International Conference on Machine Learning|series=ICML '08|location=New York, NY, USA|publisher=ACM|pages=160–167|doi=10.1145/1390156.1390177|isbn=978-1-60558-205-4}} {{ref-en}}</ref>

{{toclimit|3}}

== Конструкція ==

ЗНМ складається з шарів входу та виходу, а також із декількох {{нпні|Прихований шар (нейронні мережі)|прихованих шарів||Hidden layer (neural network)}}. Приховані шари ЗНМ зазвичай складаються зі згорткових шарів, агрегувальних шарів, повноз'єднаних шарів та шарів нормалізації.

Цей процес описують в нейронних мережах як [[Згортка (математичний аналіз)|згортку]] за домовленістю. З математичної точки зору він є радше [[Взаємна кореляція|взаємною кореляцією]], ніж згорткою. Це має значення лише для індексів у матриці, й відтак які ваги на якому індексі розташовуються.

=== Згорткові шари ===

Згорткові шари застосовують до входу операцію згортки, передаючи результат до наступного шару. Згортка імітує реакцію окремого нейрону на зоровий {{нп|Стимул (фізіологія)|стимул||Stimulus (physiology)}}.<ref name="deeplearning">{{cite web|title=Convolutional Neural Networks (LeNet) – DeepLearning 0.1 documentation|url=http://deeplearning.net/tutorial/lenet.html|work=DeepLearning 0.1|publisher=LISA Lab|accessdate=31 серпня 2013|archive-date=28 грудня 2017|archive-url=https://web.archive.org/web/20171228091645/http://deeplearning.net/tutorial/lenet.html}} {{ref-en}}</ref>

Кожен згортковий нейрон обробляє дані лише для свого [[Рецептивне поле|рецептивного поля]].

Хоч [[Багатошаровий перцептрон|повноз'єднані нейронні мережі прямого поширення]] й можливо застосовувати як для навчання ознак, так і для класифікування даних, застосування цієї архітектури до зображень є непрактичним. Було би необхідним дуже велике число нейронів, навіть у неглибокій (протилежній до глибокої) архітектурі, через дуже великі розміри входу, пов'язані з зображеннями, де кожен піксель є відповідною змінною. Наприклад, повноз'єднаний шар для (маленького) зображення розміром 100&nbsp;×&nbsp;100 має 10&nbsp;000 ваг. Операція згортки дає змогу розв'язати цю проблему, оскільки вона зменшує кількість вільних параметрів, дозволяючи мережі бути глибшою за меншої кількості параметрів.<ref>{{Cite book|url=https://www.worldcat.org/oclc/987790957|title=Guide to convolutional neural networks : a practical application to traffic-sign detection and classification|last=Habibi,|first=Aghdam, Hamed|others=Heravi, Elnaz Jahani,|isbn=9783319575490|location=Cham, Switzerland|oclc=987790957}} {{ref-en}}</ref> Наприклад, незалежно від розміру зображення, області замощування розміру 5&nbsp;×&nbsp;5, кожна з одними й тими ж спільними вагами, вимагають лише 25 вільних параметрів. Таким чином, це розв'язує проблему зникання або вибуху градієнтів у тренуванні традиційних багатошарових нейронних мереж з багатьма шарами за допомогою [[Зворотне поширення|зворотного поширення]].{{citation needed|дата=січень 2018}}

=== Агрегувальні шари ===

Згорткові мережі можуть включати шари локального або глобального агрегування,{{clarify|дата=січень 2018}} які об'єднують виходи кластерів нейронів одного шару до одного нейрону наступного шару.<ref name="flexible" /><ref>{{cite web|last=Krizhevsky|first=Alex|title=ImageNet Classification with Deep Convolutional Neural Networks|url=http://www.image-net.org/challenges/LSVRC/2012/supervision.pdf|accessdate=17 листопада 2013|archive-date=12 травня 2013|archive-url=https://web.archive.org/web/20130512210811/http://www.image-net.org/challenges/LSVRC/2012/supervision.pdf}} {{ref-en}}</ref> Наприклад, ''максимізаційне агрегування'' ({{lang-en|max pooling}}) використовує максимальне значення з кожного з кластерів нейронів попереднього шару.<ref name="mcdns">{{cite journal |last1=Ciresan |first1=Dan |first2=Ueli |last2=Meier |first3=Jürgen |last3=Schmidhuber |title=Multi-column deep neural networks for image classification |journal=2012 {{нп|Конференція з комп'ютерного зору та розпізнавання образів ІІЕЕ|IEEE Conference on Computer Vision and Pattern Recognition||IEEE Conference on Computer Vision and Pattern Recognition}} |date=June 2012 |pages=3642–3649 |url=http://people.idsia.ch/~juergen/cvpr2012.pdf |doi=10.1109/CVPR.2012.6248110 |arxiv=1202.2745v1 |accessdate=2013-12-09 |isbn=978-1-4673-1226-4 |oclc=812295155 |publisher=[[Institute of Electrical and Electronics Engineers]] (IEEE) |location=New York, NY |archive-date=7 березня 2016 |archive-url=https://web.archive.org/web/20160307081942/http://people.idsia.ch/~juergen/cvpr2012.pdf }} {{ref-en}}</ref> Іншим прикладом є ''усереднювальне агрегування'' ({{lang-en|average pooling}}), що використовує усереднене значення з кожного з кластерів нейронів попереднього шару.{{citation needed|дата=січень 2018}}

=== Повноз'єднані шари ===

Повноз'єднані шари з'єднують кожен нейрон одного шару з кожним нейроном наступного шару. Це, в принципі, є тим же, що й традиційна нейронна мережа багатошарового перцептрону ([[Багатошаровий перцептрон|БШП]]).

=== Ваги ===

ЗНМ використовують спільні ваги в згорткових шарах, що означає, що для кожного рецептивного поля{{clarify|reason=Чому саме рецептивне поле в контексті ЗНМ?|дата=січень 2018}} шару використовується один і той же фільтр (банк ваг{{clarify|reason=Що таке конкретно цей «банк ваг», і як він пов'язаний із цим «фільром»???|дата=січень 2018}}); це зменшує обсяг необхідної пам'яті та поліпшує продуктивність{{як|дата=січень 2018}}.<ref name="LeCun" />

== Історія ==

Конструкція ЗНМ наслідує зорові механізми в [[Живі організми|живих організмах]].{{citation needed|дата=січень 2018}}

=== Рецептивні поля ===

Праця [[Девід Гантер Г'юбел|Г'юбела]] та [[Торстен Візел|Візела]] в 1950-ті та 1960-ті роки показала, що зорові {{нп|Кора (анатомія)|кори||Cortex (anatomy)}} котів та мавп містять нейрони, які окремо реагують на маленькі ділянки [[Зорове поле|зорового поля]]. За умови, що очі не рухаються, область зорового простору, в межах якої візуальний стимул впливає на збудження одного нейрону, відома як його '''[[рецептивне поле]]'''.{{citation needed|дата=січень 2018}} Сусідні клітини мають подібні рецептивні поля, що перекриваються.{{citation needed|дата=січень 2018}} Розмір та розташування рецептивних полів систематично змінюються по всій корі, формуючи повне відображення зорового простору.{{citation needed|дата=січень 2018}} Кора кожної з [[Півкулі головного мозку|півкуль]] представляє перехресне [[зорове поле]].{{citation needed|дата=січень 2018}}

Їхня праця 1968 року<ref>{{Cite journal|title = Receptive fields and functional architecture of monkey striate cortex|url = https://archive.org/details/sim_journal-of-physiology_1968-03_195_1/page/215|journal = The Journal of Physiology|date = 1968-03-01|issn = 0022-3751|pmc = 1557912|pmid = 4966457|pages = 215–243|volume = 195|issue = 1|first = D. H.|last = Hubel|first2 = T. N.|last2 = Wiesel|doi=10.1113/jphysiol.1968.sp008455}} {{ref-en}}</ref> визначила два основні типи зорових клітин у мозку:

* {{нп|Проста клітина|прості клітини||Simple cell}}, чий вихід максимізується прямими краями, що мають певне орієнтування, в межах їхніх рецептивних полів
* {{нп|Складна клітина|складні клітини||Complex cell}}, що мають більші [[Рецептивне поле|рецептивні поля]], чий вихід є нечутливим до точного положення країв у полі.

=== Неокогнітрон ===

[[Неокогнітрон]]<ref>{{cite journal |first1=Yann |last1=LeCun |first2=Yoshua |last2=Bengio |first3=Geoffrey |last3=Hinton |title=Deep learning |journal=Nature |volume=521 |issue=7553 |year=2015 |pages=436–444 |doi=10.1038/nature14539|pmid=26017442 |bibcode=2015Natur.521..436L }} {{ref-en}}</ref> було представлено 1980 року.<ref name=mcdns /><ref name="intro">{{cite journal|last=Fukushima|first=Kunihiko|title=Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position|journal=Biological Cybernetics|year=1980|volume=36|issue=4|pages=193–202|url=http://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf|accessdate=16 листопада 2013|doi=10.1007/BF00344251|pmid=7370364|archive-date=3 червня 2014|archive-url=https://web.archive.org/web/20140603013137/http://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushima1980.pdf}} {{ref-en}}</ref> Неокогнітрон не вимагає від вузлів, розташованих в декількох місцях мережі, мати одні й ті ж треновані ваги. Ця ідея з'являється 1986 року в книжній версії первинної праці про зворотне поширення.<ref>{{cite book|year=1986|author1=David E. Rumelhart|author2=Geoffrey E. Hinton|author3=Ronald J. Wiliams|editor1-last=Rumelhart|editor1-first=David E.|editor2-last=McClelland|editor2-first=James.L.|title=Parallel Distributed Processing, Volume 1|publisher=MIT Press|isbn=9780262680530|pages=[https://archive.org/details/paralleldistribu00rume/page/319 319–362]|url=https://archive.org/details/paralleldistribu00rume/page/319|chapter=Chapter 8 : Learning Internal Representations by ErrorPropagation}} {{ref-en}}</ref>{{rp|мал. 14}} Неокогнітрони було розроблено 1988 року для сигналів, що поширюються в часі.{{clarify|дата=січень 2018}}<ref>{{cite journal|last=Homma|first=Toshiteru|author2=Les Atlas|author3=Robert Marks II|title=An Artificial Neural Network for Spatio-Temporal Bipolar Patters: Application to Phoneme Classification|journal=Advances in Neural Information Processing Systems|volume=1|year=1988|pages=31–40|url=http://papers.nips.cc/paper/20-an-artificial-neural-network-for-spatio-temporal-bipolar-patterns-application-to-phoneme-classification.pdf|accessdate=19 січня 2016|archive-date=28 березня 2016|archive-url=https://web.archive.org/web/20160328141426/http://papers.nips.cc/paper/20-an-artificial-neural-network-for-spatio-temporal-bipolar-patterns-application-to-phoneme-classification.pdf}} {{ref-en}}</ref> Їхню конструкцію було вдосконалено 1998 року,<ref name=lecun98/> узагальнено 2003 року<ref>S. Behnke. Hierarchical Neural Networks for Image Interpretation, volume 2766 of Lecture Notes in Computer Science. Springer, 2003. {{ref-en}}</ref> і того ж року спрощено.<ref>Simard, Patrice, David Steinkraus, and John C. Platt. «Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis.» In ICDAR, vol. 3, pp. 958—962. 2003. {{ref-en}}</ref>

==== LeNet-5 ====
{{Основна стаття|LeNet}}
LeNet-5 - 7-рівнева згорткова мережа від [[Ян ЛеКун|ЛеКуна]] та ін., запропонована у 1998 р.,<ref name=lecun98>{{cite journal|last=LeCun|first=Yann|author2=Léon Bottou|author3=Yoshua Bengio|author4=Patrick Haffner|title=Gradient-based learning applied to document recognition|journal=Proceedings of the IEEE|year=1998|volume=86|issue=11|pages=2278–2324|url=http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf|accessdate=7 жовтня 2016|doi=10.1109/5.726791|archive-date=3 липня 2021|archive-url=https://web.archive.org/web/20210703162035/http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf}} {{ref-en}}</ref>, яка класифікує рукописні цифри<ref>{{cite journal|last=Слюсар|first=В.И.|title=Тензорно-матричная версия LeNet5.|journal=IV Міжнародна науково-практична конференція «Інтеграція інформаційних систем і інтелектуальних технологій в умовах трансформації інформаційного суспільства», що присвячена 50-ій річниці кафедри інформаційних систем та технологій, 21-22 жовтня 2021 р., Полтава: Полтавський державний аграрний університет.|year=2021|volume=|issue=|pages=114–119|url=https://slyusar.kiev.ua/Slyusar_Model_LeNet5.pdf|accessdate=30 жовтня 2021|doi=10.32782/978-966-289-562-9|archive-date=2 листопада 2021|archive-url=https://web.archive.org/web/20211102151940/https://slyusar.kiev.ua/Slyusar_Model_LeNet5.pdf}}</ref>. Була застосовано кількома банками для розпізнавання рукописних цифр на [[чек]]ах, оцифровуваних у зображення 32×32 пікселів. Здатність оброблювати зображення вищої роздільності вимагає більшої кількості згорткових шарів, тож цю методику обмежено наявністю обчислювальних ресурсів.

=== Інваріантна відносно зсуву нейронна мережа ===

Аналогічно, інваріантну відносно зсуву нейронну мережу було запропоновано для розпізнавання зображень символів 1988 року.<ref name=":0" /><ref name=":1" /> Цю архітектуру та алгоритм тренування було видозмінено 1991 року<ref>{{Cite journal|last=Zhang|first=Wei|date=1991|title=Error Back Propagation with Minimum-Entropy Weights: A Technique for Better Generalization of 2-D Shift-Invariant NNs|url=https://drive.google.com/file/d/0B65v6Wo67Tk5dkJTcEMtU2c5Znc/view?usp=sharing|journal=Proceedings of the International Joint Conference on Neural Networks|volume=|issue=|doi=|pmid=|access-date=|via=|archive-date=6 лютого 2017|archive-url=https://web.archive.org/web/20170206155801/https://drive.google.com/file/d/0B65v6Wo67Tk5dkJTcEMtU2c5Znc/view?usp=sharing}} {{ref-en}}</ref> та застосовано до обробки медичних зображень<ref>{{Cite journal|last=Zhang|first=Wei|date=1991|title=Image processing of human corneal endothelium based on a learning network|url=https://drive.google.com/file/d/0B65v6Wo67Tk5cm5DTlNGd0NPUmM/view?usp=sharing|journal=Applied Optics|volume=30|issue=29|pages=4211–7|doi=10.1364/AO.30.004211|pmid=20706526|access-date=|via=|bibcode=1991ApOpt..30.4211Z|archive-date=6 лютого 2017|archive-url=https://web.archive.org/web/20170206122612/https://drive.google.com/file/d/0B65v6Wo67Tk5cm5DTlNGd0NPUmM/view?usp=sharing}}
 {{ref-en}}</ref> та автоматичного виявлення [[Рак молочної залози|раку молочної залози]] в [[маммограма]]х.<ref>{{Cite journal|last=Zhang|first=Wei|date=1994|title=Computerized detection of clustered microcalcifications in digital mammograms using a shift-invariant artificial neural network|url=https://drive.google.com/file/d/0B65v6Wo67Tk5Ml9qeW5nQ3poVTQ/view?usp=sharing|journal=Medical Physics|volume=21|issue=4|pages=517–24|doi=10.1118/1.597177|pmid=8058017|access-date=|via=|bibcode=1994MedPh..21..517Z|archive-date=6 лютого 2017|archive-url=https://web.archive.org/web/20170206030321/https://drive.google.com/file/d/0B65v6Wo67Tk5Ml9qeW5nQ3poVTQ/view?usp=sharing}} {{ref-en}}</ref>

1988 року було запропоновано відмінну конструкцію на основі згортки<ref>Daniel Graupe, Ruey Wen Liu, George S Moschytz."Applications of neural networks to medical signal processing". In Proc. 27th IEEE Decision and Control Conf., pp. 343—347, 1988. {{ref-en}}</ref> для застосування в розкладі згорнутих одновимірних сигналів [[Електроміографія|електроміографії]] шляхом розгортки. 1989 року її було видозмінено для інших схем на основі розгортки.<ref>Daniel Graupe, Boris Vern, G. Gruener, Aaron Field, and Qiu Huang. «Decomposition of surface EMG signals into single fiber action potentials by means of neural network». Proc. IEEE International Symp. on Circuits and Systems, pp. 1008—1011, 1989. {{ref-en}}</ref><ref>Qiu Huang, Daniel Graupe, Yi Fang Huang, Ruey Wen Liu."Identification of firing patterns of neuronal signals." In Proc. 28th IEEE Decision and Control Conf., pp. 266—271, 1989. {{ref-en}}</ref>

=== Нейронна піраміда абстракцій ===

Архітектуру прямого поширення згорткових нейронних мереж було розширено в нейронній піраміді абстракцій ({{lang-en|neural abstraction pyramid}})<ref>{{cite book
|last1=Behnke
|first1=Sven
|year=2003
|title=Hierarchical Neural Networks for Image Interpretation
|url=https://www.ais.uni-bonn.de/books/LNCS2766.pdf
|series=Lecture Notes in Computer Science
|volume=2766
|publisher=Springer
|doi=10.1007/b11963
|isbn=978-3-540-40722-5
|accessdate=21 січня 2018
|archive-date=10 серпня 2017
|archive-url=https://web.archive.org/web/20170810020001/http://www.ais.uni-bonn.de/books/LNCS2766.pdf
}} {{ref-en}}</ref> бічними з'єднаннями та з'єднаннями зворотного зв'язку. Отримана в результаті рекурентна згорткова мережа уможливлює гнучке включення контекстної інформації для ітеративного розв'язання локальних неоднозначностей. На відміну від попередніх моделей, породжувалися виходи, подібні до зображень, на найвищій роздільній здатності.

=== Втілення на ГП ===

Слідом за працею 2005 року, яка встановила значення [[Графічний процесор загального призначення|ГПЗП]] для [[Машинне навчання|машинного навчання]],<ref>{{cite book|author1=Dave Steinkraus|author2=Patrice Simard|author3=Ian Buck|title=12th International Conference on Document Analysis and Recognition (ICDAR 2005)|date=2005|pages=1115–1119|url=http://www.computer.org/csdl/proceedings/icdar/2005/2420/00/24201115-abs.html|archivedate=15 березня 2016|chapter=Using GPUs for Machine Learning Algorithms|accessdate=9 липня 2016|archive-url=https://web.archive.org/web/20160315033845/http://www.computer.org/csdl/proceedings/icdar/2005/2420/00/24201115-abs.html}} {{ref-en}}</ref> декілька публікацій описали ефективніші шляхи тренування згорткових нейронних мереж із застосуванням [[ГП]].<ref>{{cite book|author1=Kumar Chellapilla|author2=Sid Puri|author3=Patrice Simard|editor1-last=Lorette|editor1-first=Guy|title=Tenth International Workshop on Frontiers in Handwriting Recognition|date=2006|publisher=Suvisoft|url=https://hal.inria.fr/inria-00112631/document|archivedate=18 травня 2020|chapter=High Performance Convolutional Neural Networks for Document Processing|accessdate=9 липня 2016|archive-url=https://web.archive.org/web/20200518193413/https://hal.inria.fr/inria-00112631/document}} {{ref-en}}</ref><ref>{{cite journal|last1=Hinton|first1=GE|last2=Osindero|first2=S|last3=Teh|first3=YW|title=A fast learning algorithm for deep belief nets.|journal=Neural computation|date=Jul 2006|volume=18|issue=7|pages=1527–54|pmid=16764513|doi=10.1162/neco.2006.18.7.1527}} {{ref-en}}</ref><ref>{{cite journal|last1=Bengio|first1=Yoshua|last2=Lamblin|first2=Pascal|last3=Popovici|first3=Dan|last4=Larochelle|first4=Hugo|title=Greedy Layer-Wise Training of Deep Networks|journal=Advances in Neural Information Processing Systems|date=2007|pages=153–160}} {{ref-en}}</ref><ref>{{cite journal|last1=Ranzato|first1=MarcAurelio|last2=Poultney|first2=Christopher|last3=Chopra|first3=Sumit|last4=LeCun|first4=Yann|title=Efficient Learning of Sparse Representations with an Energy-Based Model|journal=Advances in Neural Information Processing Systems|date=2007|url=http://yann.lecun.com/exdb/publis/pdf/ranzato-06.pdf|accessdate=19 січня 2016|archive-date=22 березня 2016|archive-url=https://web.archive.org/web/20160322112400/http://yann.lecun.com/exdb/publis/pdf/ranzato-06.pdf}} {{ref-en}}</ref> 2011 року їх було уточнено й реалізовано на [[Графічний процесор|ГП]], із вражаючими результатами.<ref name="flexible">{{cite journal|last=Ciresan|first=Dan|author2=Ueli Meier|author3=Jonathan Masci|author4=Luca M. Gambardella|author5=Jurgen Schmidhuber|title=Flexible, High Performance Convolutional Neural Networks for Image Classification|journal=Proceedings of the Twenty-Second international joint conference on Artificial Intelligence-Volume Volume Two|year=2011|volume=2|pages=1237–1242|url=http://www.idsia.ch/~juergen/ijcai2011.pdf|accessdate=17 листопада 2013|archive-date=16 листопада 2013|archive-url=https://web.archive.org/web/20131116121919/http://www.idsia.ch/~juergen/ijcai2011.pdf}} {{ref-en}}</ref> 2012 року Чирешан та ін. значно вдосконалили найкращу серед літератури продуктивність для кількох [[База даних|баз даних]] зображень, включно з [[MNIST (база даних)|базою даних MNIST]], базою даних NORB, набором даних HWDB1.0 (китайські символи), набором даних CIFAR10 (набір з 60000 мічених {{нп|RGB-зображення|RGB-зображень||RGB images}} 32×32)<ref name="mcdns" /> та набором даних ImageNet.<ref>10. Deng, Jia, et al. "Imagenet: A large-scale hierarchical image database."Computer Vision and Pattern Recognition, 2009. CVPR 2009. IEEE Conference on. IEEE, 2009. {{ref-en}}</ref>

== Розрізнювання ознак ==

В той час як традиційні моделі [[Багатошаровий перцептрон|багатошарового перцептрону]] (БШП) успішно застосовувалися для розпізнавання зображень,{{приклади|дата=січень 2018}} через повну з'єднаність між вузлами вони потерпають від [[прокляття розмірності]], і, отже, не дуже добре масштабуються на зображення вищих [[Роздільна здатність (комп'ютерна графіка)|роздільностей]].

[[Файл:Conv layers uk.png|left|thumb|237x237px|Шари ЗНМ, розташовані в 3 вимірах]]

Наприклад, у наборі CIFAR-10 зображення мають розмір лише 32×32×3 (ширина 32, висота 32, 3 канали кольору), тому один повноз'єднаний нейрон у першому прихованому шарі звичайної нейронної мережі матиме 32*32*3 = 3&nbsp;072 ваг. Проте зображення 200×200 призведе до нейронів, що мають 200*200*3 = 120&nbsp;000 ваг.

Також, такі мережеві архітектури не беруть до уваги просторову структуру даних, розглядаючи вхідні пікселі, що є далеко один від одного, таким же чином, як і пікселі, що є близько один від одного. Таким чином, повна з'єднаність нейронів для таких цілей, як розпізнавання зображень, у яких переважають просторово локальні вхідні візерунки, є марнотратною.

Згорткові нейронні мережі є біологічно натхненими варіантами багатошарових перцептронів, розробленими для імітації поведінки зорової кори.{{citation needed|дата=січень 2018}} Ці моделі пом'якшують виклики, поставлені архітектурою БШП, використовуючи сильну просторово локальну кореляцію, присутню в природних зображеннях. На противагу до БШП, ЗНМ мають наступні відмітні ознаки:

* '''Тривимірні ємності нейронів'''. Шари ЗНМ мають нейрони, впорядковані в 3 вимірах: ширина, висота та глибина. Нейрони всередині шару є з'єднаними лише з невеликою областю попереднього шару, що називається рецептивним полем. Для формування архітектури ЗНМ складають різні типи шарів, як локально-, так і повноз'єднані.
* '''Локальна з'єднаність''': відповідно до концепції [[Рецептивне поле|рецептивних полів]], ЗНМ використовують просторову локальність шляхом застосування схеми локальної з'єднаності між нейронами сусідніх шарів. Ця архітектура таким чином забезпечує, що навчені «фільтри» виробляють найсильніший відгук до просторово локального вхідного образу. Складання багатьох таких шарів веде до нелінійних фільтрів, що стають все глобальнішими (тобто, чутливими до більшої області піксельного простору), так що мережа спочатку створює представлення дрібних деталей входу, а потім з них збирає представлення більших областей.
* '''Спільні ваги''': В ЗНМ кожен фільтр повторюється на всьому зоровому полі. Ці повторні вузли використовують спільну параметризацію (вектор ваги та упередженості) та формують карту ознаки. Це означає, що всі нейрони в заданому згортковому шарі реагують на одну й ту ж саму ознаку в межах свого рецептивного поля. Повторювання вузлів таким чином дозволяє ознакам бути виявленими незалежно від їхнього положення в зоровому полі, забезпечуючи таким чином властивість [[Трансляційна симетрія|інваріантності відносно зсуву]].

Разом ці властивості дозволяють ЗНМ досягати кращого узагальнення на задачах бачення. Спільне використання ваг різко зменшує кількість вільних параметрів, яких вчиться мережа, знижуючи таким чином вимоги до пам'яті для роботи мережі та уможливлюючи тренування більших, потужніших мереж.

== Будівельні блоки ==
{{Refimprove section|дата=січень 2018}}

Архітектура ЗНМ формується стосом різних шарів, що перетворюють ємність входу на ємність виходу (що, наприклад, зберігає рівні відношення до класів) за допомогою диференційовної функції. Зазвичай застосовується декілька різних типів шарів. Ми обговорюємо їх нижче:

[[Файл:Conv layer.png|left|thumb|Нейрони згорткового шару (синього), з'єднані з їхнім [[Рецептивне поле|рецептивним полем]] (червоним)|229x229px]]

=== Згортковий шар ===

Згортковий шар ({{lang-en|convolutional layer}}) є основним будівельним блоком ЗНМ. Параметри шару складаються з набору фільтрів для навчання (або [[Ядро згортки (обробка зображень)|ядер]]), які мають невеличке рецептивне поле, але простягаються на всю глибину вхідної ємності. Протягом прямого проходу кожен фільтр здійснює [[Згортка (обробка зображень)|згортку]] за шириною та висотою вхідної ємності, обчислюючи [[скалярний добуток]] даних фільтру та входу, і формуючи 2-вимірну карту збудження цього фільтру. В результаті мережа навчається, які фільтри активуються, коли вона виявляє певний конкретний тип ознаки у певному просторовому положенні у вході.

Складання карт збудження всіх фільтрів уздовж виміру глибини формує повну ємність виходу згорткового шару. Таким чином, кожен запис в ємності виходу може також трактуватися як вихід нейрону, що дивиться на невеличку область у вході, та має спільні параметри з нейронами тієї ж карти збудження.

==== Локальна з'єднаність ====

При опрацюванні входів високої розмірності, таких як зображення, недоцільно з'єднувати нейрони з усіма нейронами попередньої ємності, оскільки така архітектура мережі не бере до уваги просторову структуру даних. Згорткові мережі використовують просторово локальну кореляцію шляхом забезпечення схеми локальної з'єднаності між нейронами сусідніх шарів: кожен нейрон з'єднано лише з невеликою областю вхідної ємності. Обшир цієї з'єднаності є [[Оптимізація гіперпараметрів|гіперпараметром]], що називається [[Рецептивне поле|рецептивним полем]] нейрону. З'єднання є локальними в просторі (вздовж ширини та висоти), але завжди поширюються вздовж усієї глибини вхідної ємності. Така архітектура забезпечує, щоби навчені фільтри виробляли найсильніший відгук до просторово локальних вхідних образів.

==== Просторова організація ====

Розмір ємності виходу згорткового шару контролюють три [[Гіперпараметр (машинне навчання)|гіперпараметри]]: глибина, крок та нульове доповнення.

* Глибина ємності виходу контролює кількість нейронів шару, що з'єднуються з однією й тією ж областю вхідної ємності. Ці нейрони вчаться активуватися для різних ознак входу. Наприклад, якщо перший згортковий шар бере як вхід сире зображення, то різні нейрони вздовж виміру глибини можуть активуватися в присутності різних орієнтованих контурів, або плям кольору.
* Крок контролює те, як стовпчики глибини розподіляються за просторовими вимірами (шириною та висотою). Коли кроком є 1, ми рухаємо фільтри на один піксель за раз. Це веде до сильного перекриття рецептивних полів між стовпчиками, а також до великих ємностей виходу. Коли ми робимо крок 2 (або, рідше, 3 чи більше), то фільтри, просуваючись, перестрибують на 2 пікселі за раз. Рецептивні поля перекриваються менше, й отримувана в результаті ємність виходу має менші просторові розміри.<ref>{{Cite web|url=https://cs231n.github.io/convolutional-networks/|title=CS231n Convolutional Neural Networks for Visual Recognition|website=cs231n.github.io|access-date=2017-04-25|archive-date=23 жовтня 2019|archive-url=https://web.archive.org/web/20191023031945/https://cs231n.github.io/convolutional-networks/}} {{ref-en}}</ref>
* Іноді зручно доповнювати вхід нулями по краях вхідної ємності. Розмір цього доповнення є третім гіперпараметром. Доповнення забезпечує контроль над просторовим розміром ємності виходу. Зокрема, іноді бажано точно зберігати просторовий розмір вхідної ємності.

Просторовий розмір ємності виходу може обчислюватися як функція від розміру вхідної ємності <math>W</math>, розміру ядрового поля нейронів згорткового шару <math>K</math>, кроку, з яким вони застосовуються, <math>S</math>, і величини нульового доповнення <math>P</math>, що застосовується на краях. Формула для обчислення того, скільки нейронів «уміщається» до заданої ємності, задається як <math>(W-K+2P)/S + 1</math>. Якщо це число не є [[Цілі числа|цілим]], то кроки встановлено неправильно, і нейрони не може бути розміщено вздовж вхідної ємності симетричним чином. Загалом, встановлення нульового доповнення в <math>P = (K-1)/2</math>, коли кроком є <math>S=1</math>, забезпечує, щоби ємності входу та виходу мали однаковий просторовий розмір. Хоча взагалі використання всіх нейронів попереднього шару не є абсолютно обов'язковим, наприклад, ви можете вирішити використовувати лише частину доповнення.

==== Спільне використання параметрів ====

Схема спільного використання параметрів застосовується в згорткових шарах для регулювання кількості вільних параметрів. Вона спирається на одне розумне припущення: якщо клаптикова ознака є корисною для обчислення в певному просторовому положенні, то вона також повинна бути корисною для обчислення й в інших положеннях. Іншими словами, позначаючи 2-вимірний зріз за глибиною як '''зріз глибини''', ми обмежуємо нейрони в кожному зрізі глибини використанням одних і тих же ваг та упередженості.

Оскільки всі нейрони в одному зрізі поділяють спільну параметризацію, то прямий прохід у кожному зрізі глибини згорткового ({{lang-en|CONV}}) шару може бути обчислено як [[Згортка (математичний аналіз)|згортку]] ваг нейронів із вхідною ємністю (звідси й назва: згортковий шар). Таким чином, є звичним називати набори ваг фільтром (або [[Згортка (обробка зображень)|ядром]]), який згортається із входом. Результатом цієї згортки є карта збудження, і набір карт збудження для кожного з різних фільтрів складають докупи вздовж виміру глибини для отримання ємності виходу. Спільне використання параметрів сприяє інваріантності архітектури ЗНМ відносно зсуву.

Іноді спільне використання параметрів може й не мати сенсу. Особливо в тому разі, коди вхідні зображення до ЗНМ мають певну особливу центровану структуру, в якій ми очікуємо зовсім різних ознак для навчання в різних просторових положеннях. Одним із практичних прикладів є коли вхід є обличчями, що було відцентровано в зображенні: ми можемо очікувати, що вчитимемося різних особливих ознак очей та волосся в різних частинах зображення. В такому разі є звичним пом'якшувати схему спільного використання параметрів, і натомість просто називати шар локально з'єднаним.

=== Агрегувальний шар ===
[[Файл:Max pooling uk.png|thumb|314x314px|Максимізаційне агрегування ({{lang-en|max pooling}}) із фільтром 2×2 та кроком = 2]]

Іншим важливим поняттям ЗНМ є агрегування ({{lang-en|pooling}}), яке є різновидом нелінійного зниження дискретизації. Існує декілька нелінійних функцій для реалізації агрегування, серед яких найпоширенішою є ''максимізаційне агрегування'' ({{lang-en|max pooling}}). Воно розділяє вхідне зображення на набір прямокутників без перекриттів, і для кожної такої підобласті виводить її максимум. Ідея полягає в тому, що точне положення ознаки не так важливе, як її грубе положення відносно інших ознак. Агрегувальний шар слугує поступовому скороченню просторового розміру представлення для зменшення кількості параметрів та об'єму обчислень у мережі, і відтак також для контролю [[перенавчання]]. В архітектурі ЗНМ є звичним періодично вставляти агрегувальний шар між послідовними згортковими шарами. Операція агрегування забезпечує ще один різновид інваріантності відносно паралельного перенесення.

Агрегувальний шар діє незалежно на кожен зріз глибини входу, і зменшує його просторовий розмір. Найпоширенішим видом є агрегувальний шар із фільтрами розміру 2×2, що застосовуються з кроком 2, який знижує дискретизацію кожного зрізу глибини входу в 2 рази як за шириною, так і за висотою, відкидаючи 75&nbsp;% збуджень. В цьому випадку кожна операція взяття максимуму діє над 4 числами. Розмір за глибиною залишається незмінним.

На додачу до максимізаційного агрегування, агрегувальні вузли можуть використовувати й інші функції, такі як усереднювальне агрегування ({{lang-en|average pooling}}) та [[Норма L2|''L''<sup>2</sup>-нормове]] агрегування ({{lang-en|L<sup>2</sup>-norm pooling}}). Історично усереднювальне агрегування застосовувалася часто, але останнім часом впало в немилість у порівнянні з дією максимізаційного агрегування, робота якого на практиці виявилася кращою.<ref name="Scherer-ICANN-2010">{{cite conference 
| url =http://ais.uni-bonn.de/papers/icann2010_maxpool.pdf 
| title =Evaluation of Pooling Operations in Convolutional Architectures for Object Recognition 
| last1 =Scherer 
| first1 =Dominik 
| last2 =Müller 
| first2 =Andreas C. 
| last3 =Behnke 
| first3 =Sven 
| year =2010 
| publisher =Springer 
| booktitle =Artificial Neural Networks (ICANN), 20th International Conference on 
| pages =92–101 
| location =Thessaloniki, Greece 
| accessdate =21 січня 2018 
| archive-date =3 квітня 2018 
| archive-url =https://web.archive.org/web/20180403185041/http://ais.uni-bonn.de/papers/icann2010_maxpool.pdf 
}} {{ref-en}}</ref>

Через агресивне скорочення розміру представлення, тенденція йде до менших фільтрів,<ref>{{cite arXiv|title = Fractional Max-Pooling|eprint= 1412.6071|date = 2014-12-18|first = Benjamin|last = Graham|class= cs.CV}} {{ref-en}}</ref> або відмови від агрегувального шару взагалі.<ref>{{cite arXiv|title = Striving for Simplicity: The All Convolutional Net|eprint= 1412.6806|date = 2014-12-21|first = Jost Tobias|last = Springenberg|first2 = Alexey|last2 = Dosovitskiy|first3 = Thomas|last3 = Brox|first4 = Martin|last4 = Riedmiller|class= cs.LG}} {{ref-en}}</ref>

[[Файл:RoI pooling animated uk.gif|thumb|400x300px|Агрегування області інтересу до розміру 2×2. В цьому прикладі пропозиція області (вхідний параметр) має розмір 7×5.]]
Агрегування областей інтересу ({{lang-en|Region of Interest pooling}}, відоме також як {{lang-en|RoI pooling}}),&nbsp;— це варіація максимізаційного агрегування, в якій розмір виходу фіксовано, а прямокутник входу є параметром.<ref>{{Cite web
  | last = Grel
  | first = Tomasz
  | title = Region of interest pooling explained
  | website = deepsense.io
  | date = 2017-02-28
  | url = https://deepsense.io/region-of-interest-pooling-explained/
  | access-date = <!-----5 April 2017----->
  | language = en
  | archive-date = 2 червня 2017
  | archive-url = https://web.archive.org/web/20170602070519/https://deepsense.io/region-of-interest-pooling-explained/
  }} {{ref-en}}</ref>

Агрегування є важливою складовою згорткових нейронних мереж для [[виявляння об'єктів]], що ґрунтуються на архітектурі швидких згорткових нейронних мереж на основі областей ({{lang-en|Fast R-CNN}}).<ref name="rcnn">{{cite arXiv
|title = Fast R-CNN
|eprint= 1504.08083
|date = 2017-09-27
|first = Ross
|last = Girshick
|class= cs.CV}} {{ref-en}}</ref>

=== Шар зрізаних лінійних вузлів (ReLU) ===

''[[Випрямляч (нейронні мережі)|ReLU]]'' є абревіатурою від {{lang-en|Rectified Linear Units}}. Цей шар застосовує {{нп|Арифметика з насиченням|ненасичувальну||Saturation arithmetic}} [[Передавальна функція штучного нейрона|передавальну функцію]] <math alt="функція від x, що дорівнює максимумові між нулем та x">f(x)=\max(0,x)</math>. Він посилює нелінійні властивості функції ухвалення рішення і мережі в цілому, не зачіпаючи рецептивних полів згорткового шару.

Для посилення нелінійності застосовуються й інші функції, наприклад, насичувальні [[гіперболічний тангенс]] <math alt="функція від x, що дорівнює гіперболічному тангенсові x">f(x)=\tanh(x)</math>, <math alt="функція від x, що дорівнює модулеві гіперболічного тангенсу x">f(x)=|\tanh(x)|</math>, та [[Сигмоїда|сигмоїдна функція]] <math alt="функція від x, що дорівнює оберненому значенню суми одиниці та e в ступені мінус x">f(x)=(1+e^{-x} )^{-1}</math>. Зрізаному лінійному вузлові ({{lang-en|ReLU}}) часто віддають перевагу перед іншими функціями, оскільки він тренує нейронну мережу в декілька разів швидше<ref>{{cite journal|last=Krizhevsky|first=A.|author2=Sutskever, I.|author3=Hinton, G. E.|title=Imagenet classification with deep convolutional neural networks|journal=Advances in Neural Information Processing Systems|volume=1|year=2012|pages=1097–1105|url=http://papers.nips.cc/paper/4824-imagenet|accessdate=19 січня 2016|archiveurl=https://web.archive.org/web/20150216025624/http://papers.nips.cc/paper/4824-imagenet|archivedate=16 лютого 2015|deadurl=yes}} {{ref-en}}</ref> без значної розплати точністю узагальнення.

=== Повноз'єднаний шар ===

Насамкінець, після кількох згорткових та максимізаційно агрегувальних шарів, високорівневі міркування в нейронній мережі здійснюються повноз'єднаними шарами ({{lang-en|fully connected layers}}). Нейрони у повноз'єднаному шарі мають з'єднання з усіма збудженнями попереднього шару, як це можна бачити у звичайних нейронних мережах. Їхні збудження відтак може бути обчислювано матричним множенням, за яким слідує зсув упередженості.

=== Шар втрат ===

Шар втрат визначає, як тренування штрафує відхилення між передбаченими та справжніми мітками, і є, як правило, завершальним шаром. Для різних завдань у ньому можуть використовувати різні функції втрат. [[Нормована експоненційна функція|Нормовані експоненційні]] втрати ({{lang-en|softmax}}) застосовуються для передбачення єдиного класу з ''K'' взаємно виключних класів. [[Сигмоїда|Сигмоїдні]] [[Перехресна ентропія|перехресно-ентропійні]] втрати застосовуються для передбачення ''K'' незалежних значень імовірності в проміжку <math>[0,1]</math>. [[Евклідова відстань|Евклідові]] втрати застосовуються для регресії до дійснозначних міток <math>(-\infty,\infty)</math>.

[[Файл:Typical cnn uk.png|thumb|395x395px|Типова архітектура ЗНМ]]

== Вибір гіперпараметрів ==
{{seealso|Оптимізація гіперпараметрів}}
{{Refimprove section|дата=січень 2018}}

ЗНМ використовує більше [[Гіперпараметр (машинне навчання)|гіперпараметрів]], ніж стандартний {{H:title|Багатошаровий перцептрон|БШП}}. У той час як звичайні правила для темпів навчання та сталих регуляризації все ще застосовуються, при оптимізації потрібно мати на увазі наступне.

=== Кількість фільтрів ===

Оскільки карта ознак з глибиною зменшується, шари поруч із вхідним шаром, як правило, матимуть менше фільтрів, тоді як вищі шари можуть мати більше. Для вирівнювання обчислень на кожному шарі, добуток ознак × піксельні позиції підтримують грубо сталим по всіх шарах. Збереження більшої кількості інформації про вхід вимагатиме забезпечення, щоби загальне число збуджень (кількість відображень ознак на кількість піксельних положень) не зменшувалося від одного шару до наступного.

Кількість карт ознак напряму контролює ємність, і залежить від кількості доступних прикладів та складності завдання.

=== Форма фільтрів ===

Поширені в літературі форми поля фільтрів сильно різняться, і зазвичай вибираються в залежності від набору даних.

Таким чином, складність полягає в знаходженні правильного рівня зернистості, щоби створювати абстракції у правильному масштабі для певного набору даних.

=== Форми максимізаційних агрегувань ===

Типовими значеннями є 2×2. Дуже великі вхідні об'єми можуть виправдовувати на нижчих шарах агрегування 4×4. Проте вибір більших форм різко знижуватиме розмірність сигналу, і може призводити до надмірної втрати інформації. Часто найкраще працюють вікна агрегування без перекривання.<ref name="Scherer-ICANN-2010" />

== Методи регуляризації ==
{{main article|Регуляризація (математика)}}
{{Refimprove section|дата=січень 2018}}

[[Регуляризація (математика)|Регуляризація]]&nbsp;— це процес введення додаткової інформації для розв'язання [[Некоректно поставлена задача|некоректно поставленої задачі]] або запобігання [[Перенавчання|перенавчанню]]. ШНМ використовують різні типи регуляризації.

=== Емпіричні ===

==== Виключення ====

Оскільки повноз'єднаний шар займає найбільше параметрів, він є схильним до [[перенавчання]]. Одним з методів зниження перенавчання є [[Виключення (нейронні мережі)|виключення]] ({{lang-en|dropout}}).<ref>{{cite journal|last=Srivastava|first=Nitish|author2=C. Geoffrey Hinton|author3=Alex Krizhevsky|author4=Ilya Sutskever|author5=Ruslan Salakhutdinov|title=Dropout: A Simple Way to Prevent Neural Networks from overfitting|journal=Journal of Machine Learning Research|year=2014|volume=15|issue=1|pages=1929–1958|url=http://www.cs.toronto.edu/~rsalakhu/papers/srivastava14a.pdf|accessdate=19 січня 2016|archive-date=19 січня 2016|archive-url=https://web.archive.org/web/20160119155849/http://www.cs.toronto.edu/~rsalakhu/papers/srivastava14a.pdf}} {{ref-en}}</ref><ref name="DLPATTERNS">{{Cite web| title=A Pattern Language for Deep Learning| author=Carlos E. Perez| url=http://www.deeplearningpatterns.com| accessdate=24 березня 2022| archive-date=3 червня 2017| archive-url=https://web.archive.org/web/20170603205959/http://deeplearningpatterns.com/}} {{ref-en}}</ref> На кожному етапі тренування окремі вузли або «виключаються» з мережі з імовірністю <math>1-p</math>, або залишаються з імовірністю <math>p</math>, так що залишається зменшена мережа; вхідні та вихідні ребра виключених вузлів також усуваються. На наступному етапі на даних тренується вже лише зменшена мережа. Після цього усунені вузли повторно вставляються до мережі з їхніми первинними вагами.

На етапах тренування ймовірністю того, що прихований вузол буде виключено, зазвичай є 0.5; для вхідних вузлів вона повинна бути набагато нижчою, інтуїтивно тому, що при ігноруванні вхідних вузлів відбувається безпосередня втрата інформації.

Під час перевірки після завершення тренування ми в ідеалі хотіли би знайти вибіркове середнє всіх можливих <math>2^n</math> мереж із виключеннями; на жаль, для великих значень <math>n</math> це є нездійсненним. Тим не менше, ми можемо знайти наближення, використовуючи повну мережу, в якій вихід кожного вузла зважено на коефіцієнт <math>p</math>, так що математичне очікування значення виходу будь-якого вузла буде таким самим, як і на етапах тренування. Це є найбільшим внеском методу виключення: хоча він ефективно породжує <math>2^n</math> нейронних мереж, і таким чином уможливлює поєднання моделей, під час перевірки перевіряти необхідно лише одну мережу.

Уникаючи тренування всіх вузлів на всіх тренувальних даних, виключення знижує перенавчання. Цей метод також значно покращує швидкість тренування. Це робить поєднання моделей практичним, навіть для глибоких нейронних мереж. Схоже, що ця методика послаблює взаємодії між вузлами, ведучи їх до навчання надійніших ознак, що краще узагальнюються на нові дані.

==== Виключення з'єднань ====

Виключення з'єднань ({{lang-en|DropConnect}})<ref>{{Cite web|title = Regularization of Neural Networks using DropConnect {{!}} ICML 2013 {{!}} JMLR W&CP|url = http://jmlr.org/proceedings/papers/v28/wan13.html|website = jmlr.org|accessdate = 2015-12-17|archive-date = 4 березня 2016|archive-url = https://web.archive.org/web/20160304234249/http://jmlr.org/proceedings/papers/v28/wan13.html}} {{ref-en}}</ref> є узагальненням виключення ({{lang-en|dropout}}), в якому кожне з'єднання, а не кожен вузол виходу, може бути виключено з імовірністю <math>1-p</math>. Таким чином, кожен вузол отримує вхід з випадкової підмножини вузлів попереднього шару.

Виключення з'єднань є подібним до виключення тим, що воно вводить до моделі динамічну [[Розріджена мережа|розрідженість]], але відрізняється тим, що ймовірність є на вагах, а не на векторах виходу шару. Іншими словами, повноз'єднаний шар з винятком з'єднань стає розріджено з'єднаним шаром, у якому з'єднання обираються випадково під час етапу тренування.

==== Стохастичне агрегування ====

Головним недоліком виключення є те, що воно не має таких самих переваг для згорткових шарів, де нейрони не є повноз'єднаними.

В стохастичному агрегуванні ({{lang-en|stochastic pooling}})<ref>{{cite arXiv|title = Stochastic Pooling for Regularization of Deep Convolutional Neural Networks|eprint= 1301.3557|date = 2013-01-15|first = Matthew D.|last = Zeiler|first2 = Rob|last2 = Fergus|class= cs.LG}} {{ref-en}}</ref> звичайні [[Детермінований алгоритм|детерміновані]] дії агрегування замінюються стохастичною процедурою, в якій збудження в межах кожної області агрегування вибирається випадково, відповідно до [[Поліноміальний розподіл|поліноміального розподілу]], заданого збудженнями в межах області агрегування. Цей підхід є вільним від гіперпараметрів, і може поєднуватися з іншими підходами до регуляризації, такими як виключення, та нарощування даних.

Альтернативним поглядом на стохастичне агрегування є те, що воно є рівнозначним стандартному максимізаційному агрегуванню, але з багатьма копіями вхідного зображення, кожна з яких має невеликі локальні деформації. Це є подібним до явних еластичних деформацій вхідних зображень,<ref>{{Cite web|title = Best Practices for Convolutional Neural Networks Applied to Visual Document Analysis – Microsoft Research|url = http://research.microsoft.com/apps/pubs/?id=68920|website = research.microsoft.com|accessdate = 2015-12-17|archive-date = 22 грудня 2015|archive-url = https://web.archive.org/web/20151222135506/http://research.microsoft.com/apps/pubs/?id=68920}} {{ref-en}}</ref> які забезпечують відмінну продуктивність у MNIST. Застосування стохастичного агрегування в багатошаровій моделі дає експоненційне число деформацій, оскільки вибори у вищих шарах залежать від виборів у нижчих.

==== Штучні дані ====

Оскільки ступінь перенавчання моделі визначається як її потужністю, так і кількістю отримуваного нею тренування, забезпечення згорткової мережі більшою кількістю тренувальних прикладів може знижувати перенавчання. Оскільки ці мережі зазвичай тренують усіма наявними даними, одним із підходів є або породжувати нові дані з нуля (якщо це можливо), або збурювати наявні дані для створення нових. Наприклад, вхідні зображення може бути асиметрично обрізувано на декілька відсотків для створення нових прикладів з таким же маркером, як і первинний.<ref>{{Cite arXiv|title = Improving neural networks by preventing co-adaptation of feature detectors|eprint=1207.0580|last1= Hinton|first1=Geoffrey E.|last2=Srivastava|first2=Nitish|last3=Krizhevsky|first3=Alex|last4=Sutskever|first4=Ilya|last5= Salakhutdinov|first5=Ruslan R.|class=cs.NE|year=2012}} {{ref-en}}</ref>

=== Явні ===

==== Рання зупинка ====
{{Докладніше|Рання зупинка}}

Одним із найпростіших методів запобігання перенавчанню мережі є просто зупиняти тренування, перш ніж перенавчання отримає шанс відбутися. Такий підхід має той недолік, що процес навчання обривається.

==== Кількість параметрів ====

Іншим простим шляхом запобігання перенавчанню є обмежити кількість параметрів, зазвичай обмежуючи кількість прихованих вузлів у кожному шарі, або обмежуючи глибину мережі. Для згорткових мереж на кількість параметрів впливає й розмір фільтру. Обмежування кількості параметрів безпосередньо обмежує передбачувальну потужність мережі, знижуючи складність функції, яку вона може виконувати на даних, і відтак обмежує розмір перенавчання. Це є рівнозначним {{нп|Нульова норма|«нульовій нормі»||Zero norm}}<!-- Проблема вікіфікації: Сторінка [[:en:Zero norm]] (→ [[:en:Norm (mathematics)#Zero norm]]) перекладена як [[Норма (математика)]], хоча хотіли [[Нульова норма]] (SashkoR0B0T)-->.

==== Ослаблення ваг ====

Простим видом доданого регуляризатора є ослаблення ваг ({{lang-en|weight decay}}), яке просто додає до похибки кожного вузла додаткову похибку, пропорційну сумі ваг ([[Норма L1|норма ''L''<sub>1</sub>]]) або квадратові величини ([[Норма L2|норма ''L''<sup>2</sup>]]) вектора ваг. Рівень прийнятної складності моделі може бути знижено збільшенням сталої пропорційності, що тим самим збільшує штраф за великі вектори ваг.

''L''<sup>2</sup>-регуляризація ({{lang-en|L<sup>2</sup> regularization}}) є найпоширенішим видом регуляризації. Її може бути реалізовано штрафуванням квадратного ступеня всіх параметрів безпосередньо в цілі. ''L''<sup>2</sup>-регуляризація має інтуїтивну інтерпретацію в сильному штрафуванні пікових вагових векторів, та віддаванні переваги розсіяним ваговим векторам. У зв'язку з багатократними взаємодіями між вагами та входами, це має корисну властивість заохочення мережі використовувати всі її входи потроху, замість сильного використання лише деяких із них.

''L''<sub>1</sub>-регуляризація ({{lang-en|L<sub>1</sub> regularization}}) є іншим поширеним видом. Можливо поєднувати ''L''<sub>1</sub> та ''L''<sup>2</sup>-регуляризації (це називається {{нп|Еластично-сіткова регуляризація|еластично-сітковою регуляризацією||Elastic net regularization}}, {{lang-en|elastic net regularization}}). ''L''<sub>1</sub>-регуляризація веде вагові вектори до набуття розрідженості протягом оптимізації. Іншими словами, нейрони з ''L''<sub>1</sub>-регуляризацією закінчують використанням лише розрідженої підмножини їхніх найважливіших входів, і стають майже інваріантними відносно зашумлених входів.

==== Обмеження максимуму норми ====

Іншим видом регуляризації є нав'язування абсолютної верхньої межі величині вагового вектора для кожного нейрону, і застосування {{нп|Метод проекційного найшвидшого спуску|методу проекційного найшвидшого спуску||Sparse approximation#Projected Gradient Descent}} для забезпечення цього обмеження. На практиці це відповідає виконанню уточнення параметрів як завжди, а потім забезпеченню обмеження затисненням вагового вектора <math>\vec{w}</math> кожного нейрона, щоби він задовольняв <math>\|\vec{w}\|_{2}<c</math>. Типові значення <math>c</math> є порядку 3 або 4. Деякі праці повідомляють про поліпшення<ref>{{Cite web|title = Dropout: A Simple Way to Prevent Neural Networks from Overfitting|url = http://jmlr.org/papers/v15/srivastava14a.html|website = jmlr.org|accessdate = 2015-12-17|archive-date = 5 грудня 2019|archive-url = https://web.archive.org/web/20191205130609/http://www.jmlr.org/papers/v15/srivastava14a.html}} {{ref-en}}</ref> при застосуванні цього виду регуляризації.

== Ієрархічні координатні сітки ==

Агрегування призводить до втрат точних просторових взаємовідношень між високорівневими частинами (такими як ніс та рот у зображенні обличчя). А ці взаємовідношення потрібні для розпізнавання особи. Зберігати цю інформацію допомагає перекривання агрегувань, таке, що кожна ознака трапляється в декількох агрегуваннях. Саме лише [[паралельне перенесення]] не може екстраполювати розуміння геометричних взаємовідношень на докорінно нову точку огляду, таку як інша орієнтація, або інший масштаб. З іншого боку, люди є дуже вправними в екстраполяції; побачивши нову фігуру один раз, вони можуть розпізнати її з іншої точки огляду.<ref>{{cite journal | last1 = Hinton | first1 = Geoffrey | year = 1979 | title = Some demonstrations of the effects of structural descriptions in mental imagery | url = | journal = Cognitive Science | volume = 3 | issue = 3| pages = 231–250 | doi=10.1016/s0364-0213(79)80008-7}} {{ref-en}}</ref>

Наразі поширеним способом подолання цієї проблеми є тренування мережі на перетворених даних в різних орієнтаціях, масштабах, освітленні тощо, щоби мережа могла впоруватися з цими варіаціями. Для великих наборів це є обчислювально напруженим. Альтернативою є застосування ієрархії координатних сіток ({{lang-en|coordinate frames}}) та використання групи нейронів для представлення зв'язку форми фігури та її положення відносно [[Сітківка|сітківки]]. Положення відносно сітківки є взаємовідношенням між координатною сіткою сітківки та власною координатною сіткою ознаки.<ref>Rock, Irvin. «The frame of reference.» The legacy of Solomon Asch: Essays in cognition and social psychology (1990): 243—268. {{ref-en}}</ref>

Таким чином, одним зі способів представлення чогось є вбудовування координатної сітки у це. Щойно це зроблено, великі ознаки можуть розпізнаватися застосуванням узгодженості положень їхніх частин (наприклад, положення носа та рота роблять узгоджене передбачення положення всього обличчя). Застосування цього гарантує присутність сутності вищого рівня (наприклад, обличчя), якщо нижчий рівень (наприклад, ніс та рот) має узгодженість передбачення її положення. Вектори нейронної активності, що представляють положення («вектори положення», {{lang-en|«pose vectors»}}), уможливлюють моделювання просторових перетворень через лінійні операції, що спрощує мережі навчання ієрархії візуальних сутностей та узагальнення за точками огляду. Це є подібним до того, як людський [[зоровий аналізатор]] накладає координатні сітки для представлення фігур.<ref>J. Hinton, Coursera lectures on Neural Networks, 2012, Url: https://www.coursera.org/learn/neural-networks {{Webarchive|url=https://web.archive.org/web/20161231174321/https://www.coursera.org/learn/neural-networks |date=31 грудня 2016 }} {{ref-en}}</ref>

== Застосування ==

=== Розпізнавання зображень ===

ЗНМ часто застосовують у системах розпізнавання зображень. 2012 року було повідомлено про 0.23-відсотковий {{нп|PCER|рівень похибки||Per-comparison error rate}} на [[MNIST (база даних)|базі даних MNIST]].<ref name="mcdns" /> Ще одна праця про застосування ЗНМ для класифікації зображень повідомила, що процес навчання був «на диво швидким»; у тій самій праці було досягнуто найкращих із опублікованих на 2011 рік результатів на базах даних MNIST та NORB.<ref name="flexible" />

ЗНМ досягли великого зниження рівня похибки при застосуванні до [[Система розпізнавання облич|розпізнавання облич]].<ref>{{cite journal|last=Lawrence|first=Steve|author2=C. Lee Giles |author3=Ah Chung Tsoi |author4=Andrew D. Back |title=Face Recognition: A Convolutional Neural Network Approach|journal=Neural Networks, IEEE Transactions on|year=1997|volume=8|issue=1|pages=98–113|citeseerx = 10.1.1.92.5813|doi=10.1109/72.554195}} {{ref-en}}</ref> Інша праця повідомила про 97.6-відсотковий рівень розпізнавання на «5&nbsp;600 нерухомих зображеннях понад 10 суб'єктів».<ref name="robust face detection" /> ЗНМ використовували для оцінки [[Якість відео|якості відео]] об'єктивним чином, після тренування вручну; отримана в результаті система мала дуже низьку {{нп|Кореневе середньоквадратичне відхилення|кореневу середньоквадратичну похибку||Root-mean-square deviation}}.<ref name="video quality">{{cite journal|last=Le Callet|first=Patrick|author2=Christian Viard-Gaudin|author3=Dominique Barba|year=2006|title=A Convolutional Neural Network Approach for Objective Video Quality Assessment|url=http://hal.univ-nantes.fr/docs/00/28/74/26/PDF/A_convolutional_neural_network_approach_for_objective_video_quality_assessment_completefinal_manuscript.pdf|journal=IEEE Transactions on Neural Networks|volume=17|issue=5|pages=1316–1327|doi=10.1109/TNN.2006.879766|pmid=17001990|accessdate=17 листопада 2013|archive-date=23 лютого 2014|archive-url=https://web.archive.org/web/20140223235359/http://hal.univ-nantes.fr/docs/00/28/74/26/PDF/A_convolutional_neural_network_approach_for_objective_video_quality_assessment_completefinal_manuscript.pdf}} {{ref-en}}</ref>

{{нп|Широкомасштабне випробування з візуального розпізнавання ImageNet|||ImageNet Large Scale Visual Recognition Challenge}} ({{lang-en|ImageNet Large Scale Visual Recognition Challenge}}) є еталоном у класифікації та виявленні об'єктів, з мільйонами зображень та сотнями класів об'єктів. В ILSVRC 2014,<ref name="ILSVRC2014">{{cite web|url=http://www.image-net.org/challenges/LSVRC/2014/results|title=ImageNet Large Scale Visual Recognition Competition 2014 (ILSVRC2014)|publisher=|accessdate=30 січня 2016|archive-date=5 лютого 2016|archive-url=https://web.archive.org/web/20160205153105/http://www.image-net.org/challenges/LSVRC/2014/results}} {{ref-en}}</ref> великомасштабнім змаганні з візуального розпізнавання, майже кожна команда, яка досягла високого рівня, використовувала ЗНМ як свою основну схему. Переможець, GoogLeNet<ref name=googlenet>{{cite journal|first1=Christian |last1=Szegedy  |first2=Wei |last2=Liu |first3=Yangqing |last3=Jia|first4=Pierre |last4=Sermanet|first5=Scott |last5=Reed|first6=Dragomir |last6=Anguelov|first7=Dumitru |last7=Erhan|first8=Vincent |last8=Vanhoucke|first9=Andrew |last9=Rabinovich|title = Going Deeper with Convolutions|url=https://archive.org/details/arxiv-1409.4842 |journal= Computing Research Repository|year=2014 |arxiv= 1409.4842}} {{ref-en}}</ref> (основа [[DeepDream]]), збільшив очікувану середню [[Влучність та повнота|влучність]] виявлення об'єктів до 0.439329, і знизив похибку класифікації до 0.06656, найкращого результату на той момент. Його мережа застосовувала понад 30 шарів. Ця продуктивність згорткових нейронних мереж у завданнях ImageNet була близькою до людської.<ref>{{cite arXiv|eprint=1409.0575|last1=Russakovsky|first1=Olga|title=Image ''Net'' Large Scale Visual Recognition Challenge|last2=Deng|first2=Jia|last3=Su|first3=Hao|last4=Krause|first4=Jonathan|last5=Satheesh|first5=Sanjeev|last6=Ma|first6=Sean|last7=Huang|first7=Zhiheng|last8=Karpathy|first8=Andrej|last9=Khosla|first9=Aditya|last10=Bernstein|first10=Michael|last11= Berg|first11=Alexander C.|last12=Fei-Fei|first12=Li|class=cs.CV|year=2014}} {{ref-en}}</ref> Найкращі алгоритми все ще б'ються з об'єктами, що є маленькими або тонкими, такими як маленький мураха на стеблі квітки, або особа, що тримає перо в руці. Вони також мають проблеми із зображеннями, що було спотворено фільтрами, все поширенішим явищем із сучасними цифровими камерами. На противагу, такі типи зображень рідко викликають утруднення в людей. Люди, проте, схильні мати проблеми з іншими питаннями. Наприклад, вони не дуже вправні в класифікуванні об'єктів на тонкі категорії, такі як окремі породи собак або види птахів, у той час як для згорткових нейронних мереж це легка задача.

2015 року багатошарова ЗНМ продемонструвала здатність з конкурентоспроможною продуктивністю помічати обличчя з великого діапазону кутів, включно із перевернутими, навіть частково закритими. Ця мережа тренувалася на базі даних із 200&nbsp;000 зображень, що включали обличчя під різними кутами та в різних орієнтаціях, і ще 20 мільйонів зображень без облич. Вони використовували пакети зі 128 зображень у 50&nbsp;000 ітерацій.<ref>{{Cite news|url = http://www.technologyreview.com/view/535201/the-face-detection-algorithm-set-to-revolutionize-image-search|title = The Face Detection Algorithm Set To Revolutionize Image Search|last = |first = |date = 16 лютого 2015|work = Technology Review|accessdate = 27 жовтня 2017|archive-date = 27 листопада 2015|archive-url = https://web.archive.org/web/20151127153836/http://www.technologyreview.com/view/535201/the-face-detection-algorithm-set-to-revolutionize-image-search/}} {{ref-en}}</ref>

=== Аналіз відео ===

У порівнянні з галузями даних зображень, роботи із застосування ЗНМ до класифікації відео є відносно мало. Відео є складнішим за зображення, оскільки воно має ще один (часовий) вимір. Тим не менше, деякі розширення ЗНМ в область відео було досліджено. Одним із підходів є трактувати простір та час як рівноцінні виміри входу, та виконувати згортку як за часом, так і за простором.<ref>{{Cite book|url = https://link.springer.com/chapter/10.1007/978-3-642-25446-8_4|publisher = Springer Berlin Heidelberg|date = 2011-11-16|isbn = 978-3-642-25445-1|pages = 29–39|series = Lecture Notes in Computer Science|first = Moez|last = Baccouche|first2 = Franck|last2 = Mamalet|first3 = Christian|last3 = Wolf|first4 = Christophe|last4 = Garcia|first5 = Atilla|last5 = Baskurt|editor-first = Albert Ali|editor-last = Salah|editor-first2 = Bruno|editor-last2 = Lepri|doi = 10.1007/978-3-642-25446-8_4|chapter = Sequential Deep Learning for Human Action Recognition|title = Human Behavior Unterstanding|volume = 7065|accessdate = 21 січня 2018|archive-date = 21 січня 2018|archive-url = https://web.archive.org/web/20180121184516/https://link.springer.com/chapter/10.1007/978-3-642-25446-8_4}} {{ref-en}}</ref><ref>{{Cite journal|title = 3D Convolutional Neural Networks for Human Action Recognition|url = http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=6165309|journal = IEEE Transactions on Pattern Analysis and Machine Intelligence|date = 2013-01-01|issn = 0162-8828|pages = 221–231|volume = 35|issue = 1|doi = 10.1109/TPAMI.2012.59|pmid = 22392705|first = Shuiwang|last = Ji|first2 = Wei|last2 = Xu|first3 = Ming|last3 = Yang|first4 = Kai|last4 = Yu}} {{ref-en}}</ref> Іншим підходом є злиття ознак двох згорткових нейронних мереж, однієї для просторового та однієї для часового потоків.<ref>Karpathy, Andrej, et al. «Large-scale video classification with convolutional neural networks.» IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2014. {{ref-en}}</ref><ref>{{cite arXiv|eprint=1406.2199|last1=Simonyan|first1=Karen|title=Two-Stream Convolutional Networks for Action Recognition in Videos|last2=Zisserman|first2=Andrew|class=cs.CV|year=2014}} {{ref-en}}</ref> Було представлено схеми спонтанного навчання для тренування просторово-часових ознак на основі згорткових вентильних обмежених машин Больцмана ({{lang-en|Convolutional Gated Restricted Boltzmann Machine}})<ref>{{Cite journal|title = Convolutional Learning of Spatio-temporal Features|url = http://www.uoguelph.ca/~gwtaylor/publications/eccv2010/1225.pdf|publisher = Springer-Verlag|journal = Proceedings of the 11th European Conference on Computer Vision: Part VI|date = 2010-01-01|location = Berlin, Heidelberg|isbn = 3-642-15566-9|pages = 140–153|series = ECCV'10|first = Graham W.|last = Taylor|first2 = Rob|last2 = Fergus|first3 = Yann|last3 = LeCun|first4 = Christoph|last4 = Bregler|accessdate = 19 січня 2016|archive-date = 5 лютого 2016|archive-url = https://web.archive.org/web/20160205191457/http://www.uoguelph.ca/~gwtaylor/publications/eccv2010/1225.pdf}} {{ref-en}}</ref> та методу незалежних підпросторів ({{lang-en|Independent Subspace Analysis}}).<ref>{{Cite journal|title = Learning Hierarchical Invariant Spatio-temporal Features for Action Recognition with Independent Subspace Analysis|url = http://ai.stanford.edu/~quocle/LeZouYeungNg11.pdf|publisher = IEEE Computer Society|journal = Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition|date = 2011-01-01|location = Washington, DC, USA|isbn = 978-1-4577-0394-2|pages = 3361–3368|series = CVPR '11|doi = 10.1109/CVPR.2011.5995496|first = Q. V.|last = Le|first2 = W. Y.|last2 = Zou|first3 = S. Y.|last3 = Yeung|first4 = A. Y.|last4 = Ng|accessdate = 19 січня 2016|archive-date = 23 грудня 2015|archive-url = https://web.archive.org/web/20151223181018/http://ai.stanford.edu/~quocle/LeZouYeungNg11.pdf}} {{ref-en}}</ref>

=== Обробка природної мови ===

ЗНМ також розвідували й [[Обробка природної мови|обробку природної мови]]. Моделі ЗНМ є ефективними для різних задач ОПМ, і вони досягали відмінних результатів у семантичному розборі,<ref>{{cite arXiv|title = A Deep Architecture for Semantic Parsing|eprint= 1404.7296|date = 2014-04-29|first = Edward|last = Grefenstette|first2 = Phil|last2 = Blunsom|first3 = Nando|last3 = de Freitas|first4 = Karl Moritz|last4 = Hermann|class= cs.CL}} {{ref-en}}</ref> отриманні результатів пошукових запитів,<ref>{{Cite web|title = Learning Semantic Representations Using Convolutional Neural Networks for Web Search – Microsoft Research|url = http://research.microsoft.com/apps/pubs/default.aspx?id=214617|website = research.microsoft.com|accessdate = 2015-12-17|archive-date = 18 червня 2016|archive-url = https://web.archive.org/web/20160618155538/http://research.microsoft.com/apps/pubs/default.aspx?id=214617}} {{ref-en}}</ref> моделюванні речень,<ref>{{cite arXiv|title = A Convolutional Neural Network for Modelling Sentences|eprint= 1404.2188|date = 2014-04-08|first = Nal|last = Kalchbrenner|first2 = Edward|last2 = Grefenstette|first3 = Phil|last3 = Blunsom|class= cs.CL}} {{ref-en}}</ref> класифікації,<ref>{{cite arXiv|title = Convolutional Neural Networks for Sentence Classification|eprint= 1408.5882|date = 2014-08-25|first = Yoon|last = Kim|class= cs.CL}} {{ref-en}}</ref> передбаченні<ref>Collobert, Ronan, and Jason Weston. "A unified architecture for natural language processing: Deep neural networks with multitask learning."Proceedings of the 25th international conference on Machine learning. ACM, 2008. {{ref-en}}</ref> та інших традиційних задачах ОПМ.<ref>{{cite arXiv|title = Natural Language Processing (almost) from Scratch|eprint= 1103.0398|date = 2011-03-02|first = Ronan|last = Collobert|first2 = Jason|last2 = Weston|first3 = Leon|last3 = Bottou|first4 = Michael|last4 = Karlen|first5 = Koray|last5 = Kavukcuoglu|first6 = Pavel|last6 = Kuksa|class= cs.LG}} {{ref-en}}</ref>

=== Пошук нових ліків ===

ЗНМ застосовувалися в {{нп|Пошук нових ліків|пошуку нових ліків||Drug discovery}}. Передбачення взаємодії між молекулами та біологічними [[Білки|білками]] може ідентифікувати потенційні ліки. 2015 року Atomwise представила AtomNet, першу нейронну мережу глибокого навчання для [[Конструювання ліків|раціонального конструювання ліків]] на основі структури.<ref>{{cite arXiv|title = AtomNet: A Deep Convolutional Neural Network for Bioactivity Prediction in Structure-based Drug Discovery|eprint= 1510.02855|date = 2015-10-09|first = Izhar|last = Wallach|first2 = Michael|last2 = Dzamba|first3 = Abraham|last3 = Heifets|class= cs.LG}} {{ref-en}}</ref> Ця система тренується безпосередньо на 3-вимірних представленнях хімічних взаємодій. Подібно до того, як мережа розпізнавання зображень навчається складати менші, просторово близькі ознаки у більші, складні структури,<ref>{{cite arXiv|title = Understanding Neural Networks Through Deep Visualization|eprint= 1506.06579|date = 2015-06-22|first = Jason|last = Yosinski|first2 = Jeff|last2 = Clune|first3 = Anh|last3 = Nguyen|first4 = Thomas|last4 = Fuchs|first5 = Hod|last5 = Lipson|class= cs.CV}} {{ref-en}}</ref> AtomNet відкриває нові хімічні ознаки, такі як [[ароматичність]], [[Гібридизація орбіталей|sp3-вуглеці]] та [[Водневий зв'язок|водневе зв'язування]]. Згодом AtomNet було використано для передбачення новітніх кандидатур [[Біомолекула|біомолекул]] для цілей численних хвороб, передусім для лікування [[Ебола (вірус)|вірусу Ебола]]<ref>{{Cite web|title = Toronto startup has a faster way to discover effective medicines|url = https://www.theglobeandmail.com/report-on-business/small-business/starting-out/toronto-startup-has-a-faster-way-to-discover-effective-medicines/article25660419/|website = The Globe and Mail|accessdate = 2015-11-09|archive-date = 20 жовтня 2015|archive-url = https://web.archive.org/web/20151020040115/http://www.theglobeandmail.com/report-on-business/small-business/starting-out/toronto-startup-has-a-faster-way-to-discover-effective-medicines/article25660419/}} {{ref-en}}</ref> та [[Розсіяний склероз|розсіяного склерозу]].<ref>{{Cite web|title = Startup Harnesses Supercomputers to Seek Cures|url = http://ww2.kqed.org/futureofyou/2015/05/27/startup-harnesses-supercomputers-to-seek-cures/|website = KQED Future of You|accessdate = 2015-11-09|language = en-us|archive-date = 24 грудня 2015|archive-url = https://web.archive.org/web/20151224104721/http://ww2.kqed.org/futureofyou/2015/05/27/startup-harnesses-supercomputers-to-seek-cures/}} {{ref-en}}</ref>

=== Шашки ===

ЗНМ використовували у грі в [[шашки]]. У 1999—2001 роках {{нп|Девід Б. Фогель|Фогель||David B. Fogel}} та Челлапілла опублікували праці, що показали, як згорткова нейронна мережа може навчитися грати в шашки, застосовуючи ковеволюцію. Процес навчання не використовував попередніх професійних ігор людей, а натомість зосереджувався на мінімальному наборі інформації, що містився на шахівниці: положенні та типові фігур, та різниці в оцінці партій. Врешті-решт, цю програму ({{нп|Blondie24}}) було перевірено на 165 іграх проти гравців, і вона увійшла до найвищих 0,4&nbsp;%.<ref>{{cite journal | pmid = 18252639 | doi=10.1109/72.809083 | volume=10 | issue=6 | title=Evolving neural networks to play checkers without relying on expert knowledge | journal=IEEE Trans Neural Netw | pages=1382–91 | last1 = Chellapilla | first1 = K | last2 = Fogel | first2 = DB| year=1999 }} {{ref-en}}</ref><ref>http://ieeexplore.ieee.org/document/942536/ {{Webarchive|url=https://web.archive.org/web/20180617104905/https://ieeexplore.ieee.org/document/942536/ |date=17 червня 2018 }} {{ref-en}}</ref> Вона також здобула перемогу над програмою [[Chinook]] на її рівні гри «експерт».<ref>{{cite book |last= Fogel |first= David |date= 2001 |title= Blondie24: Playing at the Edge of AI |location= San Francisco, CA|publisher= Morgan Kaufmann|page= |isbn= 1558607838|author-link= Девід Б. Фогель |asin= 1558607838 }} {{ref-en}}
 {{ref-en}}</ref>

=== Ґо ===

ЗНМ застосовувалися в [[Комп'ютерне ґо|комп'ютернім ґо]]. У грудні 2014 року Кларк та Сторкі опублікували працю, яка показала, що ЗНМ, тренована керованим навчанням з бази даних людських професійних ігор, може перевершувати [[GNU Go]]}} та вигравати деякі ігри проти Fuego 1.1 [[Дерево пошуку Монте-Карло|деревного пошуку Монте-Карло]] за лише частку часу, потрібного Fuego для гри.<ref>{{Cite arXiv|eprint=1412.3409|last1=Clark|first1=Christopher|title=Teaching Deep Convolutional Neural Networks to Play Go|last2=Storkey|first2=Amos|class=cs.AI|year=2014}} {{ref-en}}</ref> Згодом було оголошено, що велика 12-шарова згорткова нейронна мережа правильно передбачила професійний хід у 55&nbsp;% положень, зрівнявши точність із {{нп|Титули ґо|6-м даном||Go ranks and ratings}} людських гравців. Коли тренована згорткова мережа застосовувалася безпосередньо для гри у ґо, без жодного пошуку, вона поборола традиційну пошукову програму GNU Go в 97&nbsp;% ігор, і досягла рівня продуктивності програми [[Дерево пошуку Монте-Карло|деревного пошуку Монте-Карло]] Fuego, яка імітує десять тисяч розіграшів (близько мільйона позицій) за хід.<ref>{{Cite arXiv|eprint=1412.6564|last1= Maddison|first1= Chris J.|title= Move Evaluation in Go Using Deep Convolutional Neural Networks|last2= Huang|first2= Aja|last3= Sutskever|first3= Ilya|last4= Silver|first4= David|class= cs.LG|year= 2014}} {{ref-en}}</ref>

[[AlphaGo]], перша програма, яка побила найкращого на той момент гравця-людину, застосовувала пару ЗНМ для вибору ходів для проби («мережа стратегії», {{lang-en|policy network}}), та для оцінки позицій («мережа значення», {{lang-en|value network}}), що працювала на [[Дерево пошуку Монте-Карло|ДПМК]].<ref>{{cite web|url=https://www.deepmind.com/alpha-go.html|title=AlphaGo – Google DeepMind|publisher=|accessdate=30 січня 2016|archiveurl=https://web.archive.org/web/20160130230207/http://www.deepmind.com/alpha-go.html|archivedate=30 січня 2016|deadurl=yes}} {{ref-en}}</ref>

== Тонке налаштування ==

Для багатьох застосувань тренувальних даних доступно мало. А згорткові нейронні мережі зазвичай вимагають великої кількості тренувальних даних, щоби запобігати [[Перенавчання|перенавчанню]]. Поширеною методикою є тренувати мережу на ширшому наборі даних з пов'язаної області визначення. Щойно параметри мережі зійшлися, виконується додатковий етап тренування із застосуванням даних з області визначення для тонкого налаштування ваг мережі. Це дозволяє згортковим мережам успішно застосовуватися до задач з невеликими тренувальними наборами.<ref>Durjoy Sen Maitra; Ujjwal Bhattacharya; S.K. Parui, [http://ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=7333916&tag=1 "CNN based common approach to handwritten character recognition of multiple scripts, "] {{Webarchive|url=https://web.archive.org/web/20200728164118/https://ieeexplore.ieee.org/document/7333916/;jsessionid=fnOWTLzqIsURF2zYmETTB-iQgvKw6rq5jK9kz4e6AvNbUgNZn-of!857570187 |date=28 липня 2020 }} in Document Analysis and Recognition (ICDAR), 2015 13th International Conference on, vol., no., pp.1021–1025, 23–26 Aug. 2015 {{ref-en}}</ref>

== Розширення ==

=== Глибокі ''Q''-мережі ===

Глибока ''Q''-мережа ({{lang-en|deep Q-network, DQN}})&nbsp;— це такий тип глибокої моделі навчання, який поєднує ЗНМ із [[Q-навчання|''Q''-навчанням]], різновидом [[навчання з підкріпленням]]. На відміну від попередніх агентів навчання з підкріпленням, ''DQN'' може навчатися безпосередньо з сенсо́рних входів високої розмірності.

Попередні результати було представлено 2014 року, а супровідний документ&nbsp;— у лютому 2015 року.<ref name="DQN">{{cite journal|last1=Mnih|first1=Volodymyr|display-authors=etal|date=2015|title=Human-level control through deep reinforcement learning|journal=Nature|volume=518|issue=7540|pages=529–533|doi=10.1038/nature14236|pmid=25719670|bibcode=2015Natur.518..529M}}
 {{ref-en}}</ref> Це дослідження описувало застосування до гри в ігри [[Atari 2600]]. Йому передували інші моделі глибокого навчання з підкріпленням.<ref>{{Cite journal|last=Sun|first=R.|last2=Sessions|first2=C.|date=June 2000|title=Self-segmentation of sequences: automatic formation of hierarchies of sequential behaviors|url=http://ieeexplore.ieee.org/document/846230/|journal=IEEE Transactions on Systems, Man, and Cybernetics, Part B (Cybernetics)|volume=30|issue=3|pages=403–418|doi=10.1109/3477.846230|issn=1083-4419|accessdate=21 січня 2018|archive-date=22 серпня 2017|archive-url=https://web.archive.org/web/20170822183212/http://ieeexplore.ieee.org/document/846230/}} {{ref-en}}</ref>

=== Глибокі мережі переконань ===
{{Main|Глибока мережа переконань}}

Згорткові глибокі мережі переконань (ЗГМП, {{lang-en|convolutional deep belief networks, CDBN}}) мають структуру, дуже подібну до згорткових нейронних мереж, і тренуються подібно до глибоких мереж переконань. Таким чином, вони використовують двовимірну структуру зображень, як це роблять ЗНМ, і користаються попереднім тренуванням як [[Глибока мережа переконань|глибокі мережі переконань]]. Вони забезпечують загальну структуру, яку можливо використовувати в багатьох задачах обробки зображень та сигналу. Із застосуванням ЗГМП було отримано зразкові результати<ref name="CDBN">{{cite journal|last1=Lee|first1=Honglak|last2=Grosse|first2=Roger|last3=Ranganath|first3=Rajesh|last4=Ng|first4=Andrew Y.|date=1 січня 2009|title=Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations|url=http://doi.acm.org/10.1145/1553374.1553453|journal=Proceedings of the 26th Annual International Conference on Machine Learning – ICML '09|publisher=ACM|pages=609–616|doi=10.1145/1553374.1553453|via=ACM Digital Library|isbn=9781605585161}}
 {{ref-en}}</ref> на стандартних базах даних зображень, таких як CIFAR.<ref name="CDBN-CIFAR">{{cite web|url=http://www.cs.toronto.edu/~kriz/conv-cifar10-aug2010.pdf|title=Convolutional Deep Belief Networks on CIFAR-10|publisher=|accessdate=21 січня 2018|archive-date=30 серпня 2017|archive-url=https://web.archive.org/web/20170830060223/http://www.cs.toronto.edu/~kriz/conv-cifar10-aug2010.pdf}} {{ref-en}}</ref>

=== Нейронні мережі з часовою затримкою ===

[[Нейронна мережа з часовою затримкою]] дозволяє сигналам мовлення бути оброблюваними інваріантно відносно часу, аналогічно до інваріантності відносно паралельного перенесення, що пропонують ЗНМ.<ref name="speechsignal">{{нп|Алекс Вайбель|Alexander Waibel||Alex Waibel}} et al., ''Phoneme Recognition Using Time-Delay Neural Networks'' IEEE Transactions on Acoustics, Speech and Signal Processing, Volume 37, No. 3, pp. 328.&nbsp;— 339 March 1989. {{ref-en}}</ref> Їх було представлено на початку 1980-х років. Замощування виходів нейронів може покривати часові періоди.<ref name="video quality" />

== Поширені бібліотеки ==

* [[Caffe (програмне забезпечення)|Caffe]]: Популярна бібліотека для згорткових нейронних мереж. Створена Центром бачення і навчання Берклі ({{lang-en|Berkeley Vision and Learning Center, BVLC}}). Вона підтримує як ЦП, так і ГП. Розроблена мовою [[C++]], і має обгортки для [[Python]] та [[MATLAB]].
* [[Deeplearning4j]]: Глибоке навчання мовами [[Java]] та [[Scala]] на [[Apache Spark|Spark]], який має багато-[[ГП]]-шну підтримку. [http://deeplearning4j.org/ Бібліотека глибокого навчання] {{Webarchive|url=https://web.archive.org/web/20160330205423/http://deeplearning4j.org/ |date=30 березня 2016 }} загального призначення для стеку розробки [[JVM]], що працює на [https://github.com/deeplearning4j/libnd4j рушії наукових обчислень мовою C++] {{Webarchive|url=https://web.archive.org/web/20180611160648/https://github.com/deeplearning4j/libnd4j |date=11 червня 2018 }}. Дозволяє створювати власні шари. Поєднується з [[Hadoop]] та [[Apache Kafka|Kafka]].
* [http://hackage.haskell.org/package/deeplearning-hs deeplearning-hs] {{Webarchive|url=https://web.archive.org/web/20151208150154/http://hackage.haskell.org/package/deeplearning-hs |date=8 грудня 2015 }}: Глибоке навчання для [[Haskell]], підтримує обчислення з CUDA.
* [http://www.vlfeat.org/matconvnet/ MatConvNet] {{Webarchive|url=https://web.archive.org/web/20160203151843/http://www.vlfeat.org/matconvnet/ |date=3 лютого 2016 }}: Зручне втілення для [[MATLAB]].
* [http://mxnet.io/ MXNet] {{Webarchive|url=https://web.archive.org/web/20170818225806/http://mxnet.io/ |date=18 серпня 2017 }}: Відкрита система глибокого навчання, що є масштабованою, включно з підтримкою декількох ГП та ЦП для розподілу. Вона підтримує інтерфейси декількома мовами (C++, Python, Julia, Matlab, JavaScript, Go, R, Scala, Perl, Wolfram).
* [https://github.com/NervanaSystems/neon neon] {{Webarchive|url=https://web.archive.org/web/20160201030934/https://github.com/NervanaSystems/neon |date=1 лютого 2016 }}: [https://github.com/soumith/convnet-benchmarks/ Найшвидша] {{Webarchive|url=https://web.archive.org/web/20160125062249/https://github.com/soumith/convnet-benchmarks |date=25 січня 2016 }} система для згорткових нейронних мереж та глибокого навчання з підтримкою підсистем ЦП та ГП. Передній край є мовою Python, тоді як швидкі ядра пишуться особливим [[шейдер]]ним асемблером. Створена компанією Nervana Systems, яку було придбано компанією Intel.
* [http://www.tensorflow.org/ TensorFlow] {{Webarchive|url=https://web.archive.org/web/20160126102750/https://www.tensorflow.org/ |date=26 січня 2016 }}: Ліцензована за Apache 2.0 Theano-подібна бібліотека з підтримкою [[Центральний процесор|ЦП]], [[Графічний процесор|ГП]], власницького [[Тензорний блок обробки|ТП]] Google,<ref>{{cite news |url=https://www.wired.com/2016/05/google-tpu-custom-chips/ |author=Cade Metz |newspaper=Wired |date=18 травня 2016 |title=Google Built Its Very Own Chips to Power Its AI Bots |accessdate=21 січня 2018 |archive-date=13 січня 2018 |archive-url=https://web.archive.org/web/20180113150305/https://www.wired.com/2016/05/google-tpu-custom-chips/ }} {{ref-en}}</ref> мобільних
* [[Theano]]: Еталонна бібліотека глибокого навчання для Python з [[Прикладний програмний інтерфейс|ППІ]], значною мірою сумісним з популярною бібліотекою [[NumPy]]. Дозволяє користувачам писати символічні математичні вирази, потім автоматично породжує їхні похідні, вберігаючи користувача від обов'язку кодувати градієнти або зворотне поширення. Ці символічні вирази автоматично компілюються в CUDA для отримання швидкої реалізації на ГП.
* [[Torch]] ([http://www.torch.ch/ www.torch.ch] {{Webarchive|url=https://web.archive.org/web/20160709085819/http://torch.ch/ |date=9 липня 2016 }}): Система наукових обчислень з широкою підтримкою алгоритмів машинного навчання, написана мовами [[C (мова програмування)|C]] та [[Lua]]. Основним автором є Ронан Коллобер ({{lang-en|Ronan Collobert}}), і її зараз застосовують у Facebook AI Research та Twitter.
* [[Microsoft Cognitive Toolkit]]: Інструментарій глибокого навчання, написаний Microsoft, із деякими унікальними властивостями, що підвищують масштабованість над декількома вузлами. Він підтримує повноцінні інтерфейси для тренування в C++ та Python, і з додатковою підтримкою для виведення моделей у C# та Java.

== Поширені ППІ ==

* Keras: Високорівневий [[Прикладний програмний інтерфейс|ППІ]], написаний мовою Python для згорткових нейронних мереж TensorFlow та Theano.<ref>{{cite web|title=Keras Documentation|url=https://keras.io/#you-have-just-found-keras|website=keras.io|language=en|accessdate=21 січня 2018|archive-date=17 січня 2020|archive-url=https://web.archive.org/web/20200117052309/https://keras.io/#you-have-just-found-keras}}
 {{ref-en}}</ref>

== У популярній культурі ==

Згорткові нейронні мережі згадуються в романі 2017 року «Infinity Born».<ref>{{Cite book|url=https://www.amazon.com/Infinity-Born-Douglas-E-Richards-ebook/dp/B072584M83|title=Infinity Born|last=Richards|first=Douglas E.|date=2017-04-30|publisher=Paragon Press|year=|isbn=1546406395|location=|pages=|language=English|accessdate=21 січня 2018|archive-date=18 листопада 2020|archive-url=https://web.archive.org/web/20201118064309/https://www.amazon.com/Infinity-Born-Douglas-E-Richards-ebook/dp/B072584M83}} {{ref-en}}</ref>

== Див. також ==

* [[Глибоке навчання]]
* [[Згортка (математичний аналіз)]]
* [[Зоровий процесор]]
* [[Нейронаука]]
* [[Нейронна мережа з часовою затримкою]]
* [[Неокогнітрон]]
* [[Масштабоінваріантне ознакове перетворення]]
* [[Увага (машинне навчання)]]

== Примітки ==

{{Примітки|30em}}

== Посилання ==

* [https://github.com/soumith/convnet-benchmarks convnet-benchmarks] {{Webarchive|url=https://web.archive.org/web/20160125062249/https://github.com/soumith/convnet-benchmarks |date=25 січня 2016 }}&nbsp;— простий порівняльний аналіз усіх відкритих реалізацій згорткових мереж (із результатами) {{ref-en}}
* [https://web.archive.org/web/20160121101710/http://deeplearning4j.org/convolutionalnets.html Beginner's Guide to Convolutional Neural Nets]&nbsp;— легкий посібник про те, як працюють згорткові нейронні мережі {{ref-en}}
* [https://cs231n.github.io/ CS231n: Convolutional Neural Networks for Visual Recognition] {{Webarchive|url=https://web.archive.org/web/20180120191352/http://cs231n.github.io/ |date=20 січня 2018 }}&nbsp;— стенфордський курс з інформатики Андрія Карпати ({{lang-en|Andrej Karpathy}}) {{ref-en}}
* [https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/ An Intuitive Explanation of Convolutional Neural Networks] {{Webarchive|url=https://web.archive.org/web/20180121184452/https://ujjwalkarn.me/2016/08/11/intuitive-explanation-convnets/ |date=21 січня 2018 }}&nbsp;— введення початкового рівня до того, чим згорткові нейронні мережі є, і як вони працюють {{ref-en}}
* [https://www.completegate.com/2017022864/blog/deep-machine-learning-images-lenet-alexnet-cnn/all-pages Convolutional Neural Networks for Image Classification] {{Webarchive|url=https://web.archive.org/web/20180121184329/https://www.completegate.com/2017022864/blog/deep-machine-learning-images-lenet-alexnet-cnn/all-pages |date=21 січня 2018 }}&nbsp;— огляд літератури

[[Категорія:Архітектури нейронних мереж]]
[[Категорія:Комп'ютерний зір]]
[[Категорія:Обчислювальна нейробіологія]]