Перегляд вихідного коду сторінки Зворотне поширення в часі

{{multiple issues|
{{Technical|date=квітень 2017}}
}}

'''Зворо́тне поши́рення в ча́сі''' ('''ЗПЧ''', {{lang-en|Backpropagation through time, BPTT}})&nbsp;— це методика на основі [[градієнт]]у для тренування певних типів [[Рекурентна нейронна мережа|рекурентних нейронних мереж]]. Її можна застосовувати для тренування [[Мережа Елмана|мереж Елмана]]. Цей [[алгоритм]] було незалежно виведено численними дослідниками.<ref>{{Cite book
 |author=Mozer, M. C.
 |title=A Focused Backpropagation Algorithm for Temporal Pattern Recognition
 |editor1=Y. Chauvin |editor2=D. Rumelhart |booktitle=Backpropagation: Theory, architectures, and applications
 |publisher=Hillsdale, NJ: Lawrence Erlbaum Associates
 |pages=137–169
 |year=1995
}} {{ref-en}}</ref><ref>{{cite techreport
 |title=The utility driven dynamic error propagation network
 |author1=Robinson, A. J.  |author2=Fallside, F.
  |lastauthoramp=yes |institution=Cambridge University, Engineering Department
 |number=CUED/F-INFENG/TR.1
 |year=1987
}} {{ref-en}}</ref><ref>{{Cite journal
 |author    = Paul J. Werbos
 |title     = Generalization of backpropagation with application to a recurrent gas market model
 |url    = https://archive.org/details/sim_neural-networks_1988_1_4/page/339
 |journal   = Neural Networks
 |volume    = 1
 |number    = 4
 |year      = 1988
 |pages     = 339–356
 |doi       = 10.1016/0893-6080(88)90007-X
}} {{ref-en}}</ref>

== Алгоритм ==
[[Файл:Unfold through time.png|right|thump|500px|ЗПЧ розгортає рекурентну нейронну мережу в часі.]]

Тренувальні данні для ЗПЧ повинні бути впорядкованою послідовністю пар входів-виходів, <math>\langle \mathbf{a}_0,\mathbf{y}_0 \rangle, \langle\mathbf{a}_1,\mathbf{y}_1 \rangle,\langle\mathbf{a}_2,\mathbf{y}_2\rangle,...,\langle\mathbf{a}_{k-1},\mathbf{y}_{k-1}\rangle</math>. Для <math>\mathbf{x}_0</math> мусить бути вказано початкове значення. Для цієї мети зазвичай застосовують вектор з усіх нулів.

ЗПЧ починається з розгортання рекурентної нейронної мережі в часі, як показано на цьому зображенні. Ця рекурентна нейронна мережа містить дві [[Нейронна мережа прямого поширення|нейронні мережі прямого поширення]], ''f'' та ''g''. Коли ця мережа розгортається в часі, то розгорнута мережа містить ''k'' примірників ''f'', і один примірник ''g''. У наведеному прикладі мережу було розгорнуто до глибини ''k''&nbsp;=&nbsp;3.

Потім тренування відбувається подібним чином, як і при тренуванні нейронної мережі прямого поширення [[Зворотне поширення|зворотним поширенням]], за тим виключенням, що тренувальні зразки відвідуються послідовно. Кожен тренувальний зразок складається з <math>\langle\mathbf{x}_t,\mathbf{a}_t,\mathbf{a}_{t+1},\mathbf{a}_{t+2},...,\mathbf{a}_{t+k-1},\mathbf{y}_{t+k}\rangle</math>. (Всі дії для ''k'' моментів часу потрібні тому, що розгорнута мережа містить входи на кожному з розгорнутих рівнів.) Після представлення зразка для тренування уточнення ваг у кожному з примірників ''f'' (<math>f_1, f_2, ..., f_k</math>) підсумовуються, і потім застосовуються до всіх примірників ''f''. Як початкове значення <math>\mathbf{x}</math>, як правило, використовують нульовий вектор.

== Псевдокод ==
Псевдокод ЗПЧ:

<pre>
Зворотне_поширення_в_часі(a, y)       // a[t] є входом у момент часу t. y[t] є виходом
    Розгорнути мережу, щоби містила k примірників f
    повторювати до досягнення критерію зупинки:
        x = вектор нульової величини; // x є поточним контекстом
        для t від 0 до n - k          // t є часом. n є довжиною тренувальної послідовності
            Встановити входи мережі в x, a[t], a[t+1], ..., a[t+k-1]
            p = поширити входи в прямому напрямку всією розгорнутою мережею
            e = y[t+k] - p;           // похибка = ціль - передбачення
            Поширити в зворотному напрямку похибку e всією розгорнутою мережею
            Підбити загальну суму змін ваг у k примірниках f.
            Уточнити всі ваги в f та g.
            x = f(x, a[t]);           // обчислити контекст для наступного моменту часу
</pre>

== Переваги ==
ЗВЧ має схильність бути значно швидшим для тренування рекурентних нейронних мереж, ніж методики оптимізації загального призначення, такі як [[Еволюційне програмування|еволюційна]] оптимізація.<ref>{{Cite journal
 |author = Jonas Sjöberg and Qinghua Zhang and Lennart Ljung and Albert Benveniste and Bernard Deylon and Pierre-yves Glorennec and Hakan Hjalmarsson and Anatoli Juditsky
 |title     = Nonlinear Black-Box Modeling in System Identification: a Unified Overview
 |url = https://archive.org/details/sim_automatica_1995-11_31_11/page/n164
 |journal   = Automatica
 |volume = 31
 |pages = 1691–1724
 |year=1995
 |doi=10.1016/0005-1098(95)00120-8
}} {{ref-en}}</ref>

== Недоліки ==
ЗВЧ зазнає труднощів з локальними оптимумами. В рекурентних нейронних мережах локальний оптимум є набагато значнішою проблемою, ніж у нейронних мережах прямого поширення.<ref>{{Cite journal
 |author = M.P. Cuéllar and M. Delgado and M.C. Pegalajar
 |title=An Application of Non-linear Programming to Train Recurrent Neural Networks in Time Series Prediction Problems
 |url = https://archive.org/details/enterpriseinform0000inte
 |journal=Enterprise Information Systems VII
 |publisher = Springer Netherlands
 |pages = [https://archive.org/details/enterpriseinform0000inte/page/95 95]–102
 |DOI = 10.1007/978-1-4020-5347-4\_11
 |year=2006
 |isbn=978-1-4020-5323-8
}} {{ref-en}}</ref> Рекурентний зворотний зв'язок у таких мережах має схильність створювати хаотичні реакції в поверхні похибки, в результаті чого локальні оптимуми виникають часто, і в дуже поганих місцях поверхні похибки.

== Див. також ==
* [[Зворотне поширення структурою]]

== Примітки ==
{{Примітки}}

[[Категорія:Нейронні мережі]]