Вентильний рекурентний вузол

Ве́нтильні рекуре́нтні вузли́ (ВРВ, Шаблон:Lang-en) — це вентильний механізм у рекурентних нейронних мережах, представлений 2014 року. Вони подібні до довгої короткочасної пам'яті з вентилем забування, але мають менше параметрів, оскільки не мають вентиля виходу.

Було виявлено, що їхня продуктивність на моделюванні поліфонічної музики та мовленнєвого сигналу аналогічна продуктивності ДКЧП.

Однак, як показали Гейл Вейз (Шаблон:Lang-en), Іов Голдберг (Шаблон:Lang-en) та Еран Яхав (Шаблон:Lang-en), ДКЧП «суттєво сильніше» ВРВ, бо може виконувати необмежений підрахунок, неможливий для ВРВ. Ось чому ВРВ не може вивчити прості мови, з якими впоралась ДКЧП.

Аналогічно, як показали Денні Бритз (Шаблон:Lang-en), Анна Голді (Шаблон:Lang-en, Мінь-Тханг Луонг (Шаблон:Lang-en) і Куок Лей (Шаблон:Lang-en) з Google Brain, вузли ДКЧП незмінно перевершують вузли ВРВ у «передовому широкомасштабному аналізі варіацій архітектури для нейронного машинного перекладу».

Архітектура

Символ $\circ$ позначає добуток Адамара. Початкове значення $h_0=0$.

Повний рекурентний вузол

Повний рекурентний вузол.

Повний рекурентний вузол працює наступним чином. На вхід подаються значення вектору входу $x_t$ та значення виходу $h_{t-1}$ (при $t=0$, вектор виходу $h_0=0$). По ним обчислюється претендент на нове значення виходу — вектор вузла скидання (Шаблон:Lang-en) $r_t$, який обчислюється як функція активації (зазвичай сигмоїд) від матричного виразу по параметрам $W$, $U$ та $b$. Незалежно, подібним чином, обчислюється вектор вузла уточнення (Шаблон:Lang-en) $z_t$. Цей вектор містить значення, які визначають, чи варто залишити значення зі старого вектору, чи взяти нове значення. Фактично, це набір «вентилів» (Шаблон:Lang-en), які «пропускають» або старе, або нове значення. Далі обчислюється вектор виходу $h_t$, в якому з ймовірністю $z_t$ береться старе значення з вектору $h_{t-1}$, або з ймовірністю $(1-z_t)$ обчислюється нове значення.

Формули для обчислень наступні:

$\begin{array}{cc}{z}_t& ={\sigma }_g(W_z{x}_t+U_z{h}_{t-1}+b_z)\\ r_t& ={\sigma }_g(W_r{x}_t+U_r{h}_{t-1}+b_r)\\ h_t& =z_t\circ h_{t-1}+(1-z_t)\circ {\sigma }_h(W_h{x}_t+U_h(r_t\circ h_{t-1})+b_h)\end{array}$

Змінні

• $x_t$: вектор входу
• $h_t$: вектор виходу
• $z_t$: вектор вузла уточнення
• $r_t$: вектор вузла скидання
• $W$, $U$ та $b$: матриці та вектор параметрів

Функції активації

• ${\sigma }_g$: В оригіналі є сигмоїдною функцією.
• ${\sigma }_h$: В оригіналі є гіперболічним тангенсом.