Глибока мережа переконань

Схематичний огляд глибокої мережі переконань. Стрілки подають спрямовані з'єднання в графовій моделі, яку подає ця мережа.

У машинному навчанні глибо́ка мере́жа перекона́нь (ГМП, Шаблон:Lang-en, також іноді глиби́нна мере́жа перекона́нь) — це породжувальна графова модель або, інакше, клас глибоких нейронних мереж, що складено з кількох шарів латентних змінних («прихованих вузлів»), зі з'єднаннями між шарами, але не між вузлами всередині кожного шару.

При тренуванні на наборі прикладів без керування ГМП може навчатися ймовірнісно відбудовувати свої входи. Шари тоді діють як виявлячі ознак. Після цього етапу навчання ГМП можливо тренувати далі з керуванням для виконання класифікування.

ГМП можливо розглядати як композицію простих некерованих мереж, таких як обмежені машини Больцмана (ОМБ) або автокодувальники, в якій прихований шар кожної підмережі слугує видимим шаром для наступної. ОМБ — це неорієнтована породжувальна модель на основі енергії з «видимим» шаром входу та прихованим шаром і зв'язками між шарами, але не всередині них. Така композиція веде до швидкої пошарової процедури некерованого тренування, де контрастове розходження застосовують по черзі до кожної підмережі, починаючи з «найнижчої» пари шарів (найнижчий видимий шар — це тренувальний набір).

Спостереження щодо того, що ГМП можливо тренувати жадібно, по одному шару за раз, привело до створення одного з перших дієвих алгоритмів глибокого навчання.Шаблон:Rp Загалом існує багато привабливих втілень та використань ГМП у реальних застосуваннях та сценаріях (наприклад, електроенцефалографії, Шаблон:Нп).

Тренування

Обмежена машина Больцмана (ОМБ) з повноз'єднаними видимими та прихованими вузлами. Зауважте, що з'єднань прихований-прихований та видимий-видимий немає.

Метод тренування ОМБ, запропонований Джефрі Гінтоном для використання в тренуванні моделей «Шаблон:Нп», називають контрастовим розходженням (КР, Шаблон:Lang-en). КР забезпечує наближення методу максимальної правдоподібності, застосовувати який для навчання ваг було би ідеально. Під час тренування однієї ОМБ уточнювання ваг виконують градієнтним спуском за таким рівнянням: $w_{ij}(t+1)=w_{ij}(t)+\eta \frac{\partial \log (p(v))}{\partial w_{ij}}$

де $p(v)$ — ймовірність видимого вектора, задана як $p(v)=\frac{1}{Z}\sum _h{e}^{-E(v,h)}$. $Z$ це Шаблон:Нп (яку використовують для нормування), а $E(v,h)$ — функція енергії, приписаної станові мережі. Нижча енергія вказує на те, що мережа має «бажанішу» конфігурацію. Градієнт $\frac{\partial \log (p(v))}{\partial w_{ij}}$ має простий вигляд $⟨v_i{h}_j{⟩}_{\text{data}}-⟨v_i{h}_j{⟩}_{\text{model}}$, де $⟨\cdots {⟩}_p$ подають усереднення відносно розподілу $p$. Проблема виникає у вибиранні $⟨v_i{h}_j{⟩}_{\text{model}}$, оскільки воно вимагає розширеного навперемінного Шаблон:Нп. КР замінює цей крок виконанням альтернативного ґіббзового вибирання для $n$ кроків (значення $n=1$ працюють добре). Після $n$ кроків дані вибирають, і цю вибірку використовують замість $⟨v_i{h}_j{⟩}_{\text{model}}$. Процедура КР працює наступним чином:

1. Встановити видимі вузли у значення тренувального вектора.
2. Уточнити приховані вузли паралельним чином, враховуючи видимі вузли: $p(h_j=1\mid \mathbf{\text{V}})=\sigma (b_j+\sum _i{v}_i{w}_{ij})$. $\sigma$ — сигмоїдна функція, а $b_j$ — зміщення $h_j$.
3. Уточнити видимі вузли паралельним чином, враховуючи приховані вузли: $p(v_i=1\mid \mathbf{\text{H}})=\sigma (a_i+\sum _j{h}_j{w}_{ij})$. $a_i$ — зміщення $v_i$. Це називають етапом «відбудовування».
4. Переуточнити приховані вузли паралельним чином, враховуючи відбудовані видимі вузли, використовуючи те саме рівняння, що й у кроці 2.
5. Виконати уточнення ваг: $\mathrm{\Delta }{w}_{ij}\propto ⟨v_i{h}_j{⟩}_{\text{data}}-⟨v_i{h}_j{⟩}_{\text{reconstruction}}$.

Щойно ОМБ натреновано, поверх неї «накладають» іншу ОМБ, беручи її вхід з останнього натренованого рівня. Новий видимий шар встановлюють у значення тренувального вектора, а значення для вузлів у вже навчених шарах встановлюють з використанням поточних ваг і зміщень. Потім нову ОМБ тренують за описаною вище процедурою. Весь цей процес повторюють, доки не буде досягнуто бажаного критерію зупинки.

Хоч наближення КР до максимальної правдоподібності й грубе (не слідує градієнтові жодної функції), воно емпірично ефективне.

Див. також

• Складена обмежена машина Больцмана
• Баєсова мережа
• Глибоке навчання
• Шаблон:Нп
• Шаблон:Нп

Посилання

• Шаблон:Cite web
• Шаблон:Cite web