Рекурсивна нейронна мережа

Рекурси́вні нейро́нні мере́жі (РНМ, Шаблон:Lang-en) — це клас глибоких нейронних мереж, створюваних рекурсивним застосуванням одного й того ж набору ваг до структури, щоби здійснювати Структурове передбачування вхідних структур мінливого розміру, або скалярне передбачування на них, шляхом обходу заданої структури в топологічній послідовності. РНМ були успішними, наприклад, в навчанні послідовнісних та деревних структур в обробці природної мови, головним чином неперервних представлень фраз та речень на основі векторного представлення слів. Вперше РНМ було введено для навчання розподілених представлень структури, таких як терміни логіки. Моделі та загальні схеми було розроблено в подальших працях, починаючи з 1990-х років.

Архітектури

Базова

Архітектура простої рекурсивної мережі

У випадку найпростішої архітектури вузли поєднуються у батьківські із застосуванням вагової матриці, яка є спільною для всієї мережі, та нелінійності, такої як гіперболічний тангенс. Якщо c₁ та c₂ є n-мірними векторними представленнями вузлів, то їхній батьківський вузол також буде n-мірним вектором, що обчислюється як

$p_{1,2}=\tanh (W[c_1;c_2])$

де W є навченою ваговою матрицею $n\times 2n$.

Цю архітектуру, з деякими поліпшеннями, було застосовано для успішного розбору природних сцен та для синтаксичного розбору речень природної мови.

Рекурсивна каскадна кореляція

Рекурсивна каскадна кореляція (РекКК, Шаблон:Lang-en) є конструктивним нейромережевим підходом до деревних областей з новаторськими застосуваннями в хімії та розширенням для орієнтованих ациклічних графів.

Некерована РНМ

Систему для некерованих РНМ (Шаблон:Lang-en) було представлено в працях .

Тензорна

Рекурсивні нейронні тензорні мережі (Шаблон:Lang-en) використовують одну функцію поєднання на основі тензорів для всіх вузлів дерева.

Тренування

Стохастичний градієнтний спуск

Як правило, для тренування таких мереж застосовують стохастичний градієнтний спуск (СГС, Шаблон:Lang-en). Градієнт обчислюють, застосовуючи зворотне поширення структурою (ЗПС), що є варіацією зворотного поширення в часі, яке використовують для рекурентних нейронних мереж.

Властивості

В літературі було доведено здатність РНМ до універсального наближення над деревами.

Пов'язані моделі

Рекурентні нейронні мережі

Рекурентні нейронні мережі є рекурсивними штучними нейронними мережами з певною структурою: такою, як в лінійного ланцюжка. В той час як рекурсивні нейронні мережі працюють на будь-якій ієрархічній структурі, поєднуючи дочірні представлення в батьківські, рекурентні нейронні мережі діють на лінійній послідовності часу, поєднуючи попередній такт і приховане представлення в представлення поточного такту.

Деревні мережі з відлунням стану

Дієвий підхід до втілення РНМ дають деревні мережі з відлунням стану (Шаблон:Lang-en) в рамках парадигми резервуарного обчислення.

Розширення для графів

До розширень для графів належать графова нейронна мережа (ГНМ, Шаблон:Lang-en), нейронна мережа для графів (НМДГ, Шаблон:Lang-en) та новіші згорткові нейронні мережі для графів.