Довга короткочасна пам'ять

Блок вічкової ДКЧП з входовим, виходовим та забувальним вентилями. Виходові стрілки з вузла c_t насправді позначають виходові стрілки з c_t-1, крім єдиної стрілки зліва направо. Існує також і багато інших видів ДКЧП.

До́вга короткоча́сна па́м'ять (ДКЧП, Шаблон:Lang-en) — це архітектура рекурентних нейронних мереж (РНМ, штучна нейронна мережа), запропонована 1997 року Шаблон:Нп та Юргеном Шмідгубером. Як і більшість РНМ, мережа ДКЧП є універсальною в тому сенсі, що за достатньої кількості вузлів мережі вона може обчислювати будь-що, що може обчислювати звичайний комп'ютер, за умови, що вона має належну матрицю Шаблон:Нп, що може розглядатися як її програма. На відміну від традиційних РНМ, мережа ДКЧП добре підходить для навчання з досвіду з метою класифікації, обробки або передбачення часових рядів в умовах, коли між важливими подіями існують часові затримки невідомої тривалості. Відносна нечутливість до довжини прогалин дає ДКЧП перевагу в численних застосуваннях над альтернативними РНМ, прихованими марковськими моделями та іншими методами навчання послідовностей. Серед інших успіхів, ДКЧП досягла найкращих з відомих результатів у стисненні тексту природною мовою, розпізнаванні несегментованого неперервного рукописного тексту, і 2009 року виграла змагання з розпізнавання рукописного тексту Шаблон:Нп. Мережі ДКЧП також застосовувалися до автоматичного розпізнавання мовлення, і були головною складовою мережі, яка 2003 року досягла рекордного 17.7-відсоткового рівня пофонемних помилок на класичному наборі даних природного мовлення Шаблон:Нп. Станом на 2016 рік основні технологічні компанії, включно з Google, Apple, Microsoft та Baidu, використовували мережі ДКЧП як основні складові нових продуктів.

Архітектура

Мережа ДКЧП є штучною нейронною мережею, яка містить вузли ДКЧП замість, або на додачу, до інших вузлів мережі. Вузол ДКЧП — це вузол рекурентної нейронної мережі, який виділяється запам'ятовуванням значень для довгих, або коротких проміжків часу. Ключем до цієї здатності є те, що він не використовує функції активації в межах своїх рекурентних складових. Таким чином, значення, що зберігається, не розплющується ітеративно з плином часу, і член градієнту або вини (Шаблон:Lang-en) не має схильності розмиватися, коли для його тренування застосовується зворотне поширення в часі.

Вузли ДКЧП часто втілюють у «блоках» (Шаблон:Lang-en), які містять декілька вузлів ДКЧП. Така конструкція є типовою для «глибоких» багатошарових нейронних мереж, і сприяє реалізаціям на паралельному апаратному забезпеченні. В наведених нижче рівняннях кожна змінна курсивом у нижньому регістрі представляє вектор, що має розмір, який дорівнює числу вузлів ДКЧП у блоці.

Блоки ДКЧП містять три або чотири «вентилі» (Шаблон:Lang-en), які вони використовують для керування плином інформації до або з їхньої пам'яті. Ці вентилі реалізують із застосуванням логістичної функції для обчислення значень між 0 та 1. Для часткового дозволяння або заборони плину інформації до або з цієї пам'яті застосовується множення на це значення. Наприклад, «входовий вентиль» (Шаблон:Lang-en) керує мірою, до якої нове значення входить до пам'яті. «Забувальний вентиль» (Шаблон:Lang-en) керує мірою, до якої значення залишається в пам'яті. А «виходовий вентиль» (Шаблон:Lang-en) керує мірою, до якої значення в пам'яті використовується для обчислення активування виходу блоку. (В деяких втіленнях входовий та забувальний вентилі об'єднують в один. Ідея їхнього об'єднання полягає в тому, що час забувати настає тоді, коли з'являється нове значення, варте запам'ятовування.)

Єдині ваги, що є в блоці ДКЧП ($W$ та $U$), використовуються для спрямовування дії вентилів. Ці ваги застосовуються між значеннями, які надходять до блоку (включно з входовим вектором $x_t$ та виходом з попереднього моменту часу $h_{t-1}$) та кожним із вентилів. Отже, блок ДКЧП визначає, яким чином підтримувати свою пам'ять як функцію від цих значень, і тренування ваг блока ДКЧП спричиняє його навчання такої функції, яка мінімізує втрати. Блоки ДКЧП зазвичай тренують за допомогою зворотного поширення в часі.

Традиційна ДКЧП

Традиційна ДКЧП із забувальними вузлами. $c_0=0$ і $h_0=0$. $\circ$ позначає добуток Адамара (поелементний добуток).

$\begin{array}{cc}{f}_t& ={\sigma }_g(W_f{x}_t+U_f{h}_{t-1}+b_f)\\ i_t& ={\sigma }_g(W_i{x}_t+U_i{h}_{t-1}+b_i)\\ o_t& ={\sigma }_g(W_o{x}_t+U_o{h}_{t-1}+b_o)\\ c_t& =f_t\circ c_{t-1}+i_t\circ {\sigma }_c(W_c{x}_t+U_c{h}_{t-1}+b_c)\\ h_t& =o_t\circ {\sigma }_h(c_t)\end{array}$

Змінні

• $x_t$: входовий вектор
• $h_t$: виходовий вектор
• $c_t$: вектор стану комірки
• $W$, $U$ і $b$: матриці та вектор параметрів (W від Шаблон:Lang-en, вага, U від Шаблон:Lang-en?, уточнення, b від Шаблон:Lang-en?, упередження)
• $f_t$, $i_t$ і $o_t$: вектори вентилів
  • $f_t$: Вектор забувального вентиля. Вага пам'ятання старої інформації.
  • $i_t$: Вектор входового вентиля. Вага отримання нової інформації.
  • $o_t$: Вектор виходового вентиля. Кандидатність на вихід.

Функції активації

• ${\sigma }_g$: В оригіналі є сигмоїдною функцією.
• ${\sigma }_c$: В оригіналі є гіперболічним тангенсом.
• ${\sigma }_h$: В оригіналі є гіперболічним тангенсом, але праця з вічкових ДКЧП радить ${\sigma }_h(x)=x$.

Вічкова ДКЧП

Вічкова ДКЧП із забувальними вентилями. $h_{t-1}$ не застосовується, натомість у більшості місць застосовується $c_{t-1}$.

$\begin{array}{cc}{f}_t& ={\sigma }_g(W_f{x}_t+U_f{c}_{t-1}+b_f)\\ i_t& ={\sigma }_g(W_i{x}_t+U_i{c}_{t-1}+b_i)\\ o_t& ={\sigma }_g(W_o{x}_t+U_o{c}_{t-1}+b_o)\\ c_t& =f_t\circ c_{t-1}+i_t\circ {\sigma }_c(W_c{x}_t+b_c)\\ h_t& =o_t\circ {\sigma }_h(c_t)\end{array}$

Згорткова ДКЧП

Згорткова ДКЧП. $*$ позначає оператор згортки.

$\begin{array}{cc}{f}_t& ={\sigma }_g(W_f*x_t+U_f*h_{t-1}+V_f\circ c_{t-1}+b_f)\\ i_t& ={\sigma }_g(W_i*x_t+U_i*h_{t-1}+V_i\circ c_{t-1}+b_i)\\ o_t& ={\sigma }_g(W_o*x_t+U_o*h_{t-1}+V_o\circ c_{t-1}+b_o)\\ c_t& =f_t\circ c_{t-1}+i_t\circ {\sigma }_c(W_c*x_t+U_c*h_{t-1}+b_c)\\ h_t& =o_t\circ {\sigma }_h(c_t)\end{array}$

Тренування

Для мінімізації загальної похибки ДКЧП на тренувальних послідовностях може застосовуватися ітеративний градієнтний спуск, такий як зворотне поширення в часі, для зміни кожного вагового коефіцієнту пропорційно до його похідної по відношенню до похибки. Основною проблемою з градієнтним спуском для стандартних РНМ є те, що градієнти похибок зникають експоненційно швидко з розміром часової затримки між важливими подіями, як це було вперше з'ясовано 1991 року. Проте у блоках ДКЧП, коли значення похибки зворотно поширюються з виходу, похибка виявляється в пастці в частині пам'яті блоку. Це називають «каруселлю похибки» (Шаблон:Lang-en), яка постійно подає похибку назад до кожного з вентилів, поки вони не стають натренованими відсікати це значення. Таким чином, регулярне зворотне поширення є дієвим при тренуванні блоку ДКЧП запам'ятовувати значення для дуже довгих тривалостей.

ДКЧП може також тренуватися поєднанням штучної еволюції для вагових коефіцієнтів прихованих вузлів, і псевдообернення або методу опорних векторів для вагових коефіцієнтів виходових вузлів. У застосуваннях навчання з підкріпленням ДКЧП може тренуватися методами градієнту стратегії, еволюційними стратегіями або генетичними алгоритмами.

Застосування

Застосування ДКЧП включають:

• Шаблон:Нп
• Прогнозування часових рядів
• Розпізнавання мовлення
• Навчання ритму
• Написання музики
• Навчання граматики
• Розпізнавання рукописного тексту
• Розпізнавання людських дій
• Виявлення гомології білків

Див. також

• Шаблон:Нп
• Штучна нейронна мережа
• Шаблон:Нп
• Рекурентна нейронна мережа
• Вентильний рекурентний вузол
• Часовий ряд
• Довготривала потенціація
• Магістралева мережа

Посилання

• Рекурентні нейронні мережі Шаблон:Webarchive із понад 30 працями від групи Юргена Шмідгубера в Шаблон:Нп Шаблон:Ref-en
• Докторська дисертація Шаблон:Webarchive Жера про мережі ДКЧП. Шаблон:Ref-fr
• Праця про виявлення шахрайства з двома главами, присвяченими поясненню рекурентних нейронних мереж, особливо ДКЧП. Шаблон:Ref-en
• Праця Шаблон:Webarchive про високопродуктивне розширення ДКЧП, яке було спрощено до єдиного типу вузла, і яке може тренувати довільні архітектури. Шаблон:Ref-en
• Підручник Шаблон:Webarchive: Як реалізувати ДКЧП в Python за допомогою Theano. Шаблон:Ref-en
• Шаблон:Cite web Шаблон:Ref-en
• Шаблон:Cite web Шаблон:Ref-en