Метод корекції зі зворотною передачею сигналу помилки

Метод корекції зі зворотною передачею сигналу помилки - стохастичний метод навчання перцептрона, необхідний для того, щоб гарантувати збіжність при змінних зв'язках більше ніж у одного шару. Метод був запропонований Розенблаттом для перцептрона зі змінними SA зв'язками і може бути використаний для бінарних багатошарових перцептронів. Є альтернативою методу зворотного поширення помилки, але на відміну від нього гарантує процес збіжності (досягнення рішення).

Алгоритм

• Для кожного R-елементу встановлюється помилка $E_r=R^{*}-r^{*}$, де $R^{*}$ - необхідна, а $r^{*}$ - досягнута реакція.
• Для кожного А-елемента $a_i$ помилка обчислюється так:
  • Спочатку $E_i=0$;
  • Якщо елемент $a_i$ активний і зв'язок $c_{(}ir)$ закінчується на R-елементі з ненульовою помилкою $E_r$, що відрізняється по знаку від ваги зв'язку < math>w_ (ir)/math>, то з ймовірністю $p_1$ до $E_i$ слід додати корекцію, що дорівнює -1;
  • Якщо елемент $a_i$ неактивний і зв'язок $c_{(}ir)$ закінчується на R-елементі з ненульовою помилкою $E_r$, не відрізняється (збігається) за знаком від ваги зв'язку $w_{(}ir)$, то з ймовірністю $p_2$ до $E_i$ слід додати корекцію, що дорівнює 1;
  • Якщо елемент $a_i$ неактивний і зв'язок $c_{(}ir)$ закінчується на R-елементі з ненульовою помилкою $E_r$, що відрізняється по знаку від ваги зв'язку $w_{(}ir)$ (або $w_{(}ir)=0$), то з ймовірністю $p_3$ до $E_i$ слід додати корекцію , що дорівнює 1;
  • При всіх інших умовах $E_i$ не змінюється.
• Якщо $E_i=0$, то до всіх активних зв'язків, що закінчується на А чи R елементі, додаємо корекцію $\eta$ з знаком, що збігається зі знаком $E_i$, тобто $\mathrm{\Delta }{w}_{(}ij)=a_i^{*}sign(E_i)\epsilon$, де $\epsilon$ - абсолютне значення $\eta$ (як правило одиниця ).

У більшості випадків найкращі характеристики можуть бути отримані якщо ймовірності будуть вибрана відповідно до наступного умові $p_1>p_2>p_3$.

Див. також

• Перцептрон
• Метод корекції помилки

Література

1. Фрэнк Розенблатт Принципы нейродинамики: перцептроны и теория механизмов мозга = Principles of Neurodynamic: perceptrons and the theory of brain mechanisms. — М.: «Мир», 1965.
2. Lakhmi C. Jain; N.M. Martin Fusion of Neural Networks, Fuzzy Systems and Genetic Algorithms: Industrial Applications. - CRC Press, CRC Press LLC, 1998