Перегляд вихідного коду сторінки Машина екстремального навчання

{{Машинне навчання}}
'''Маши́ни екстрема́льного навча́ння''' ('''МЕН''', {{lang-en|extreme learning machines, ELM}})&nbsp;— це [[Нейронна мережа прямого поширення|нейронні мережі прямого поширення]] для [[Задача класифікації|класифікування]] або [[Регресійний аналіз|регресії]] з єдиним шаром прихованих вузлів, у яких ваги, що з'єднують входи з прихованими вузлами, є випадково призначеними й ніколи не уточнюваними. Ваги між прихованими вузлами та виходами навчаються за один крок, який по суті становить навчання лінійної моделі. Назву «машини екстремального навчання» ({{lang-en|extreme learning machine, ELM}}) цим моделям дав Гуан-Бін Хуан ({{lang-en|Guang-Bin Huang}}).

Згідно їхніх творців, ці моделі здатні видавати добру продуктивність узагальнення, і вчитися в тисячі разів швидше за мережі, треновані застосуванням [[Зворотне поширення|зворотного поширення]].<ref>{{cite journal |last1=Huang |first1=Guang-Bin |first2=Qin-Yu |last2=Zhu |first3=Chee-Kheong |last3=Siew |title=Extreme learning machine: theory and applications |journal=Neurocomputing |volume=70 |issue=1 |year=2006 |pages=489–501 |doi=10.1016/j.neucom.2005.12.126 |citeseerx=10.1.1.217.3692}} {{ref-en}}</ref>

== Алгоритм ==

Найпростіший алгоритм тренування МЕН вчиться моделі вигляду

: <math>\mathbf{\hat{Y}} = \mathbf{W}_2 \sigma(\mathbf{W}_1 x)</math>

де {{math|'''W'''<sub>1</sub>}} є матрицею ваг від входового до прихованого шару, {{mvar|σ}} є деякою [[Передавальна функція штучного нейрона|передавальною функцією]], а {{math|'''W'''<sub>2</sub>}} є матрицею ваг від прихованого до виходового шару. Алгоритм діє наступним чином:

# Заповнити {{math|'''W'''<sub>1</sub>}} випадковим [[Гауссів шум|гауссовим шумом]];
# оцінити {{math|'''W'''<sub>2</sub>}} [[Допасовування найменшими квадратами|допасовуванням найменшими квадратами]] до матриці змінних відгуку {{math|'''Y'''}}, обчисленої застосуванням [[Псевдообернення матриці|псевдообернення]] {{math|⋅<sup>+</sup>}} для заданої {{нп|Матриця плану|матриці плану||Design matrix}} {{math|'''X'''}}:
#: <math>\mathbf{W}_2 = \sigma(\mathbf{W}_1 \mathbf{X})^+ \mathbf{Y}</math>

== Надійність ==

Чорноскриньковий характер нейронних мереж загалом і машин екстремального навчання (МЕН) зокрема є одним з основних занепокоєнь, які відштовхують інженерів від застосування їх у небезпечних задачах автоматизації. До цього конкретного питання підходили за допомогою декількох різних методик. Одним з підходів є зниження залежності від випадкового входу.<ref>{{Cite journal|last=|first=|year=|title=Batch intrinsic plasticity for extreme learning machines|url=https://pub.uni-bielefeld.de/download/2141968/2904481|format=|journal=Proc. of International Conference on Artificial Neural Networks|volume=|pages=|via=|accessdate=22 квітня 2017|archive-date=2 березня 2017|archive-url=https://web.archive.org/web/20170302193848/https://pub.uni-bielefeld.de/download/2141968/2904481}} {{ref-en}}</ref><ref>{{Cite journal|last=|first=|year=|title=Optimizing extreme learning machines via ridge regression and batch intrinsic plasticity|url=https://pub.uni-bielefeld.de/download/2465823/2903542|format=|journal=Neurocomputing|volume=|pages=23–30|via=|accessdate=22 квітня 2017|archive-date=2 березня 2017|archive-url=https://web.archive.org/web/20170302193747/https://pub.uni-bielefeld.de/download/2465823/2903542}} {{ref-en}}</ref> Інший підхід зосереджується на включенні до процесу навчання МЕН неперервних обмежень,<ref>{{Cite journal|date=2013-10-31|title=Reliable integration of continuous constraints into extreme learning machines|url=http://www.worldscientific.com/doi/abs/10.1142/S021848851340014X|journal=International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems|volume=21|issue=supp02|pages=35–50|doi=10.1142/S021848851340014X|issn=0218-4885|accessdate=22 квітня 2017|archive-date=26 квітня 2022|archive-url=https://web.archive.org/web/20220426194646/https://www.worldscientific.com/doi/abs/10.1142/S021848851340014X}} {{ref-en}}</ref><ref>{{Cite book|url=https://pub.uni-bielefeld.de/download/2656403/2656405|title=Reliability|last=Neumann|first=Klaus|publisher=University Library Bielefeld|year=2014|isbn=|location=|pages=49–74|accessdate=22 квітня 2017|archive-date=2 березня 2017|archive-url=https://web.archive.org/web/20170302194105/https://pub.uni-bielefeld.de/download/2656403/2656405}} {{ref-en}}</ref> які виводять з попереднього знання про конкретне завдання. Це має сенс, оскільки рішення [[Машинне навчання|машинного навчання]] в багатьох областях застосування мають гарантувати безпечну дію. Зазначені дослідження показали, що особливий вигляд МЕН, з його функційним розділенням та лінійними вагами зчитування, є особливо зручним для дієвого включення неперервних обмежень до визначених наперед областей входового простору.

== Полеміка ==

Заява на винахід МЕН 2008 року спровокувала деяку суперечку. Зокрема, в листі до редактора «IEEE Transactions on Neural Networks» було зазначено, що ідею застосування прихованого шару, з'єднаного з входами випадковими не тренованими вагами, вже було запропоновано в первинній праці з [[Мережа РБФ|мереж РБФ]] кінця 1980-х років, і приблизно в ті ж терміни з'явилися експерименти з [[Багатошаровий перцептрон|багатошаровими перцептронами]] з подібною випадковістю; Гуан-Бін Хуан відповів зазначенням тонких відмінностей.<ref>{{cite journal |title=Comments on "The Extreme Learning Machine" |first1=Lipo P. |last1=Wang |first2=Chunru R. |last2=Wan |journal=IEEE Trans. Neural Networks |citeseerx=10.1.1.217.2330}} {{ref-en}}</ref> У праці 2015 року Хуан відповів на скарги про винайдення ним назви МЕН для вже наявних методів, поскаржившись на «дуже негативні й некорисні коментарі стосовно МЕН в ані академічному, ані професійному стилі з різних причин та намірів» та «безвідповідальну анонімну атаку, яка має на меті руйнування гармонійного дослідницького середовища», доводячи, що його праця «забезпечує об'єднавчу платформу навчання» для різних типів нейронних мереж,<ref>{{cite journal |title=What are Extreme Learning Machines? Filling the Gap Between Frank Rosenblatt’s Dream and John von Neumann’s Puzzle |journal=Cognitive Computing |volume=7 |year=2015 |first=Guang-Bin |last=Huang |url=http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Rosenblatt-Neumann.pdf |doi=10.1007/s12559-015-9333-0 |accessdate=22 квітня 2017 |archive-date=10 червня 2017 |archive-url=https://web.archive.org/web/20170610222724/http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Rosenblatt-Neumann.pdf }} {{ref-en}}</ref> включно з ієрархічно структурованими МЕН.<ref>{{Cite journal|last=Zhu|first=W.|last2=Miao|first2=J.|last3=Qing|first3=L.|last4=Huang|first4=G. B.|date=2015-07-01|title=Hierarchical Extreme Learning Machine for unsupervised representation learning|url=http://ieeexplore.ieee.org/document/7280669/|journal=2015 International Joint Conference on Neural Networks (IJCNN)|pages=1–8|doi=10.1109/IJCNN.2015.7280669|accessdate=22 квітня 2017|archive-date=22 лютого 2017|archive-url=https://web.archive.org/web/20170222060637/http://ieeexplore.ieee.org/document/7280669}} {{ref-en}}</ref> Нещодавнє дослідження замінює випадкові ваги обмеженими випадковими вагами.<ref>{{Cite journal|last=Zhu|first=W.|last2=Miao|first2=J.|last3=Qing|first3=L.|date=2014-07-01|title=Constrained Extreme Learning Machine: A novel highly discriminative random feedforward neural network|url=http://ieeexplore.ieee.org/lpdocs/epic03/wrapper.htm?arnumber=6889761|journal=2014 International Joint Conference on Neural Networks (IJCNN)|pages=800–807|doi=10.1109/IJCNN.2014.6889761}} {{ref-en}}</ref>

== Див. також ==
* [[Рідкий скінченний автомат]]

== Примітки ==
{{Примітки}}

[[Категорія:Нейронні мережі]]