Магістралева мережа

У машиннім навчанні магістра́лева мере́жа (Шаблон:Lang-en) — це один з підходів до оптимізування мереж та збільшення їхньої глибини. Магістралеві мережі використовують навчені вентильні механізми для регулювання інформаційного потоку, натхненного рекурентними нейронними мережами довгої короткочасної пам'яті (ДКЧП). Ці вентильні механізми дозволяють нейронним мережам мати шляхи для проходження інформації крізь різні шари («інформаційні магістралі», Шаблон:Lang-en).

Магістралеві мережі використовують як частину задач Шаблон:Нп та розпізнавання мовлення.

Модель

Ця модель має два вентилі на додачу до вентилю H(W_H, x): перетворювальний вентиль (Шаблон:Lang-en) T(W_T, x) та вентиль перенесення (Шаблон:Lang-en) C(W_C, x). Ці два останні вентилі є нелінійними передавальними функціями (умовно сигмоїдними функціями). Функція H(W_H, x) може бути будь-якою бажаною передавальною функцією.

Вентиль перенесення визначають як C(W_C, x) = 1 − T(W_T, x). Тоді як перетворювальний вентиль — це просто вентиль із сигмоїдною передавальною функцією.

Структура

Структура прихованого шару відповідає рівнянню:

$\begin{array}{c}y=H(x,W_H)\cdot T(x,W_T)+x\cdot C(x,W_C)=H(x,W_H)\cdot T(x,W_T)+x\cdot (1-T(x,W_T))\end{array}$

Перевага магістралевої мережі над звичайними глибинними нейронними мережами полягає в тому, що вона розв'язує або частково запобігає проблемі зникання градієнта, що призводить до спрощення оптимізування нейронних мереж.