Машина екстремального навчання

Шаблон:Машинне навчання Маши́ни екстрема́льного навча́ння (МЕН, Шаблон:Lang-en) — це нейронні мережі прямого поширення для класифікування або регресії з єдиним шаром прихованих вузлів, у яких ваги, що з'єднують входи з прихованими вузлами, є випадково призначеними й ніколи не уточнюваними. Ваги між прихованими вузлами та виходами навчаються за один крок, який по суті становить навчання лінійної моделі. Назву «машини екстремального навчання» (Шаблон:Lang-en) цим моделям дав Гуан-Бін Хуан (Шаблон:Lang-en).

Згідно їхніх творців, ці моделі здатні видавати добру продуктивність узагальнення, і вчитися в тисячі разів швидше за мережі, треновані застосуванням зворотного поширення.

Алгоритм

Найпростіший алгоритм тренування МЕН вчиться моделі вигляду

$\widehat{𝐘}={𝐖}_2\sigma ({𝐖}_{1}x)$

де Шаблон:Math є матрицею ваг від входового до прихованого шару, Шаблон:Mvar є деякою передавальною функцією, а Шаблон:Math є матрицею ваг від прихованого до виходового шару. Алгоритм діє наступним чином:

1. Заповнити Шаблон:Math випадковим гауссовим шумом;
2. оцінити Шаблон:Math допасовуванням найменшими квадратами до матриці змінних відгуку Шаблон:Math, обчисленої застосуванням псевдообернення Шаблон:Math для заданої Шаблон:Нп Шаблон:Math:

   ${𝐖}_2=\sigma ({𝐖}_1𝐗{)}^{+}𝐘$

Надійність

Чорноскриньковий характер нейронних мереж загалом і машин екстремального навчання (МЕН) зокрема є одним з основних занепокоєнь, які відштовхують інженерів від застосування їх у небезпечних задачах автоматизації. До цього конкретного питання підходили за допомогою декількох різних методик. Одним з підходів є зниження залежності від випадкового входу. Інший підхід зосереджується на включенні до процесу навчання МЕН неперервних обмежень, які виводять з попереднього знання про конкретне завдання. Це має сенс, оскільки рішення машинного навчання в багатьох областях застосування мають гарантувати безпечну дію. Зазначені дослідження показали, що особливий вигляд МЕН, з його функційним розділенням та лінійними вагами зчитування, є особливо зручним для дієвого включення неперервних обмежень до визначених наперед областей входового простору.

Полеміка

Заява на винахід МЕН 2008 року спровокувала деяку суперечку. Зокрема, в листі до редактора «IEEE Transactions on Neural Networks» було зазначено, що ідею застосування прихованого шару, з'єднаного з входами випадковими не тренованими вагами, вже було запропоновано в первинній праці з мереж РБФ кінця 1980-х років, і приблизно в ті ж терміни з'явилися експерименти з багатошаровими перцептронами з подібною випадковістю; Гуан-Бін Хуан відповів зазначенням тонких відмінностей. У праці 2015 року Хуан відповів на скарги про винайдення ним назви МЕН для вже наявних методів, поскаржившись на «дуже негативні й некорисні коментарі стосовно МЕН в ані академічному, ані професійному стилі з різних причин та намірів» та «безвідповідальну анонімну атаку, яка має на меті руйнування гармонійного дослідницького середовища», доводячи, що його праця «забезпечує об'єднавчу платформу навчання» для різних типів нейронних мереж, включно з ієрархічно структурованими МЕН. Нещодавнє дослідження замінює випадкові ваги обмеженими випадковими вагами.

Див. також

• Рідкий скінченний автомат