Перегляд вихідного коду сторінки Перцептрон

{{Машинне навчання|Кероване навчання}}
[[Файл:Перцептрон.svg|thumb|300px|Логічна схема перцептрону з трьома виходами]]

'''Перцептро́н''', або '''пер''с''ептро́н''' ({{lang-en|perceptron}} від {{lang-la|perceptio}} — [[сприйняття]]; {{lang-de|perzeptron}})&nbsp;— математична або [[комп'ютерне моделювання|комп'ютерна модель]] [[сприйняття]] [[Інформація|інформації]] [[головний мозок|мозком]] ([[кібернетика|кібернетична]]'' [[модель мозку]]''), запропонована [[Френк Розенблат|Френком Розенблатом]] в [[1957]] році<ref>Rosenblatt, Frank (1958), The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Cornell Aeronautical Laboratory, Psychological Review, v65, No. 6, pp. 386—408. {{ref-en}}</ref> й реалізована у вигляді електронної машини {{Не перекладено|Марк-1|«Марк-1»|ru|Марк-1}}<ref group="nb">«Марк-1», зокрема, був системою, що імітує [[Зорова система|людське око]] та його взаємодію з мозком.</ref> у. [[1960]] році. Перцептрон став однією з перших моделей '' [[Штучна нейронна мережа|нейромереж]]'', а «Марк-1»&nbsp;— першим у світі [[Нейрокомп'ютер|''нейрокомп'ютером'']]. Незважаючи на свою простоту, перцептрон здатен [[Машинне навчання|навчатися]] і розв'язувати досить складні завдання. Основна математична задача, з якою він здатний впоратися — це лінійне розділення довільних нелінійних множин, так зване забезпечення [[Лінійна сепарабельність|лінійної сепарабельності]].

Перцептрон складається з трьох типів елементів, а саме: [[сигнал]]и, що надходять від '''[[давач]]ів''', передаються до '''[[Асоціативна пам'ять|асоціативних]]''' елементів, а відтак до '''реагуючих'''. Таким чином, перцептрони дозволяють створити набір [[Асоціація (психологія)|«асоціацій»]] між вхідними [[стимул]]ами та необхідною [[Реакція (біологія)|реакцією]] на виході. В біологічному плані це відповідає перетворенню, наприклад, зорової інформації у [[Фізіологічна реакція|фізіологічну відповідь]] рухових [[нейрон]]ів. Відповідно до сучасної термінології, перцептрони може бути класифіковано як штучні нейронні мережі:
# з одним прихованим шаром;<ref group="nb">«Тришарові» за класифікацією, прийнятою у Розенблата, і «двошарові» за сучасною системою позначень&nbsp;— з тією особливістю, що перший шар не навчається.</ref>
# з [[Штучний нейрон#Порогова передавальна функція|пороговою передавальною функцією]];
# з [[Нейронна мережа прямого поширення|прямим розповсюдженням сигналу]].

На тлі зростання популярності нейронних мереж у [[1969]] році вийшла книга [[Марвін Мінський|Марвіна Мінського]] та [[Сеймур Пейперт|Сеймура Пейперта]], що показала принципові обмеження перцептронів. Це призвело до зміщення інтересу дослідників [[Штучний інтелект|штучного інтелекту]] в протилежну від нейромереж область [[Символьні обчислення|символьних обчислень]].<ref Group="nb">В межах символьного підходу працюють над створенням [[Експертна система|експертних систем]], організацією [[База знань|баз знань]], [[Обробка природної мови|аналізом текстів]].</ref> Крім того, через складність [[Математика|математичного]] аналізу перцептронів, а також відсутність загальноприйнятої термінології, виникли різні [[#Традиційні помилки|неточності і помилки]].

Згодом інтерес до нейромереж, і зокрема, робіт Розенблата, поновився. Так, наприклад, зараз стрімко розвивається [[біокомп'ютинг]], що у своїй теоретичній основі обчислень, зокрема, базується на нейронних мережах, а перцептрон відтворюють на базі [[Бактеріородопсинмісні плівки|бактеріородопсинмісних плівок]].

== Поява перцептрона ==
[[Файл:Single_layer_perceptron.png‎|міні|ліворуч|200пкс|Схема [[Штучний нейрон|штучного нейрону]]&nbsp;— базового елементу будь-якої нейронної мережі]]
У [[1943]] році в своїй статті «Логічне числення ідей, що стосуються нервової активності»<ref>[http://www.springerlink.com/content/61446605110620kg/fulltext.pdf {{lang|en|Warren S. McCulloch and Walter Pitts, A logical calculus of the ideas immanent in nervous activity}}]{{Недоступне посилання|date=листопада 2019 |bot=InternetArchiveBot }} {{ref-en}}</ref> [[Воррен Маккалох]] і {{Не перекладено|Волтер Піттс|||Walter Pitts}} запропонували поняття [[Штучна нейронна мережа|штучної нейронної мережі]]. Зокрема, ними було запропоновано модель [[Штучний нейрон|штучного нейрону]]. [[Дональд Гебб]] в роботі «Організація поведінки»<ref name="hebb">Donald Olding Hebb The Organization of Behavior: A Neuropsychological Theory [http://books.google.com/books?id=VNetYrB8EBoC] {{Webarchive|url=https://web.archive.org/web/20121123105142/http://books.google.com/books?id=VNetYrB8EBoC|date=23 листопада 2012}} {{ref-en}}</ref> [[1949]] року описав основні принципи навчання нейронів.

Ці ідеї кілька років пізніше розвинув американський [[нейрофізіологія|нейрофізіолог]] [[Френк Розенблат]]. Він запропонував схему пристрою, що [[Імітаційне моделювання|моделює]] процес [[органи чуття|людського сприйняття]], і назвав його «перцептроном». Перцептрон передавав сигнали від [[фотоелемент]]ів, що являють собою сенсорне поле, в блоки електромеханічних елементів пам'яті. Ці комірки з'єднувалися між собою випадковим чином відповідно до принципів [[конекціонізм]]у. [[1957]] року в {{Не перекладено|Корнельська лабораторія аеронавтики|Корнельській лабораторії аеронавтики||Cornell Aeronautical Laboratory}} було успішно завершено моделювання роботи перцептрона на комп'ютері [[IBM 704]], а двома роками пізніше, [[23 червня]] [[1960]] року в [[Корнельський університет|Корнельському університеті]], було продемонстровано перший [[нейрокомп'ютер]]&nbsp;— '''«Марк-1»''', що був здатен розпізнавати деякі з літер англійського алфавіту.<ref>[http://ei.cs.vt Perceptrons.Estebon.html Perceptrons: An Associative Learning Network]{{Недоступне посилання|date=липень 2019 |bot=InternetArchiveBot }} {{ref-en}}</ref><ref>[http://www.e-ink.ru/article/iui/poavlenie_perceptrona.htm Поява перцептрону]{{Недоступне посилання|date=квітень 2019 |bot=InternetArchiveBot }} {{ref-ru}}</ref>

[[Файл:Rosenblatt.jpg|thumb|[[Френк Розенблат]] зі своїм творінням&nbsp;— «Марк-1».]]
Щоби «навчити» перцептрон класифікувати образи, було розроблено спеціальний ітераційний метод навчання проб і помилок, що нагадує процес навчання людини&nbsp;— [[метод корекції помилки]].<ref name="learning">[http://www.iskint.ru/ Системи розпізнавання образів] {{Webarchive|url=https://web.archive.org/web/20100126051249/http://www.iskint.ru/ |date=26 січня 2010 }} {{ref-ru}}</ref> Крім того, при розпізнанні тієї чи іншої літери перцептрон міг виділяти характерні особливості літери, що статистично зустрічаються частіше, ніж незначні відмінності в індивідуальних випадках. Таким чином, перцептрон був здатен [[Узагальнення|узагальнювати]] літери, написані по-різному (різним почерком), в один узагальнений образ. Проте можливості перцептрона були обмеженими: машина не могла надійно розпізнавати частково закриті літери, а також літери іншого розміру, розташовані зі зсувом або поворотом відносно тих, що використовувалися на етапі її навчання.<ref name="invariant">Минский М., Пейперт С., с. 50.</ref>

Звіт про перші результати з'явився ще [[1958]] року&nbsp;— тоді Розенблат було опубліковано статтю «Перцептрон: Ймовірна модель зберігання та організації інформації в головному мозку».<ref>[http://www.manhattanrarebooks-science.com/rosenblatt.htm The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain] {{Webarchive|url=https://web.archive.org/web/20080218153928/http://www.manhattanrarebooks-science.com/rosenblatt.htm |date=18 лютого 2008 }} {{ref-en}}</ref> Але докладніше свої теорії та припущення щодо процесів сприйняття і перцептронів він описує [[1962]] року в книзі «Принципи нейродинаміки: Перцептрони та теорія механізмів мозку». У книзі він розглядає не лише вже готові моделі перцептрону з одним прихованим шаром, але й [[Багатошаровий перцептрон Розенблатта|багатошарових перцептронів]] з {{Не перекладено|Перцептрон із перехресними зв'язками|перехресними|ru|Перцептрон с перекрёстными связями}} (третій розділ) і {{Не перекладено|Перцептрон зі зворотним зв'язком|зворотніми|ru|Перцептрон с обратной связью}} (четвертий розділ) зв'язками. В книзі також вводиться ряд важливих ідей та теорем, наприклад, доводиться [[теорема збіжності перцептрону]].<ref name="teorshod">Розенблатт Ф., с. 102.</ref>

== Опис елементарного перцептрона ==
[[Файл:Perceptron-ukr_phys.JPG| left|280px | thumb | left | Надходження сигналів із сенсорного поля до розв'язувальних блоків елементарного перцептрона в його фізичному втіленні.]]
[[Файл:Simple perceptron.svg | thumb|280px | left | Логічна схема елементарного перцептрону. Ваги зв'язків S-A можуть мати значення −1, 1 або 0 (тобто відсутність зв'язку). Ваги зв'язків A-R W можуть мати будь-яке значення]]
Елементарний перцептрон складається з елементів трьох типів: S-елементів, A-елементів та ''одного'' R-елементу. S-елементи&nbsp;— це шар сенсорів, або рецепторів. У фізичному втіленні вони відповідають, наприклад, світлочутливим клітинам [[Сітківка|сітківки ока]] або [[фоторезистор]]ам матриці камери. Кожен рецептор може перебувати в одному з двох станів&nbsp;— ''спокою'' або ''збудження'', і лише в останньому випадку він передає одиничний сигнал до наступний шару, асоціативним елементам.

A-елементи називаються асоціативними, тому що кожному такому елементові, як правило, відповідає цілий набір (асоціація) S-елементів. A-елемент активізується, щойно кількість сигналів від S-елементів на його вході перевищує певну величину θ.<ref Group="nb">Формально A-елементи, як і R-елементи, являють собою [[суматор]]и з ''порогом'', тобто [[Штучний нейрон|поодинокі нейрони]].</ref>

Сигнали від збуджених A-елементів, своєю чергою, передаються до суматора R, причому сигнал від i-го асоціативного елемента передається з коефіцієнтом <math>w_{i}</math>.<ref>''Фомин, С. В., Беркинблит, М. Б.'' [http://www.library.biophys.msu.ru/FominBerk/main.htm Математические проблемы в биологии] {{Webarchive|url=https://web.archive.org/web/20091221004428/http://www.library.biophys.msu.ru/FominBerk/main.htm |date=21 грудня 2009 }} {{ref-ru}}</ref> Цей коефіцієнт називається ''вагою'' A-R зв'язку.

Так само як і A-елементи, R-елемент підраховує суму значень вхідних сигналів, помножених на ваги ([[Лінійна форма|лінійну форму]]). R-елемент, а разом з ним і елементарний перцептрон, видає «1», якщо лінійна форма перевищує поріг θ, інакше на виході буде «-1». Математично, функцію, що реалізує R-елемент, можна записати так:

: <math>f(x) = sign(\sum_{i=1}^{n} w_i x_i - \theta)</math>

[[Машинне навчання|Навчання]] елементарного перцептрона полягає у зміні вагових коефіцієнтів <math> w_i </math> зв'язків A-R. Ваги зв'язків S-A (які можуть приймати значення (-1; 0; 1)) і значення порогів A-елементів вибираються випадковим чином на самому початку і потім не змінюються. (Опис алгоритму див. [[# Алгоритми навчання|нижче]].)

Після навчання перцептрон готовий працювати в режимі ''[[розпізнавання образів|розпізнавання]]''<ref>Розенблатт, Ф., с. 158—162.</ref> або ''[[узагальнення]]''.<ref>Розенблатт, Ф., с. 162—163.</ref> У цьому режимі перцептрону пред'являються раніше невідомі йому об'єкти, й він повинен встановити, до якого класу вони належать. Робота перцептрона полягає в наступному: при пред'явленні об'єкта, збуджені A-елементи передають сигнал R-елементу, що дорівнює сумі відповідних коефіцієнтів <math> w_i </math>. Якщо ця сума позитивна, то ухвалюється рішення, що даний об'єкт належить до першого класу, а якщо вона негативна&nbsp;— то до другого.<ref>''Брюхомицкий Ю. А. ''Нейросетевые модели для систем информационной безопасности, 2005. {{ref-ru}}</ref>

== Основні поняття теорії перцептронів ==

Серйозне ознайомлення з теорією перцептронів вимагає знання базових визначень і теорем, сукупність яких і являє собою базову основу для всіх наступних видів [[штучна нейронна мережа|штучних нейронних мереж]]. Але, як мінімум, необхідно розуміння хоча б з точки зору [[Теорія сигналів|теорії сигналів]], що є оригінальним, тобто описане автором перцептрону Ф.&nbsp;Розенблатом.

=== Опис на основі сигналів ===
[[Файл:Threshold function.svg | frame|right | Порогова функція, що реалізується простими S- та A-елементами.]]
[[Файл:Signum.svg | frame|right | Порогова функція, що реалізується простим R-елементом.]]
Для початку визначмо складові елементи перцептрона, які є частковими випадками [[штучний нейрон|штучного нейрону]] з [[Штучний нейрон#Порогова передавальна функція|пороговою функцією передачі]].
* Простим '''S-елементом''' (сенсорним) є чутливий елемент, який від дії будь-якого з видів енергії (наприклад, світла, звуку, тиску, тепла тощо) виробляє сигнал. Якщо вхідний сигнал перевищує певний поріг θ, на виході елемента отримуємо +1, в іншому випадку&nbsp;— 0.<ref name="elemdef">Розенблатт Ф., с. 81.</ref>
* Простим '''A-елементом''' (асоціативним) називається логічний елемент, який дає вихідний сигнал +1, коли [[алгебраїчна сума]] його вхідних сигналів дорівнює або перевищує деяку граничну величину θ (кажуть, що елемент ''Активний''), в іншому випадку вихід дорівнює нулю.<ref name="elemdef" />
* Простим '''R-елементом''' (таким, що реагує, тобто діє) називається елемент, який видає сигнал +1, якщо сума його вхідних сигналів є суворо додатною, і сигнал −1, якщо сума його вхідних сигналів є суворо від'ємною. Якщо сума вхідних сигналів дорівнює нулю, вихід вважається або рівним нулю, або невизначеним.<ref name="elemdef" />

Якщо на виході будь-якого елемента ми отримуємо 1, то кажуть, що елемент '''активний''' або '''збуджений'''.

Всі розглянуті елементи називаються ''простими'', тому що вони реалізують ''стрибкоподібні функції''. Розенблат стверджував, що для розв'язання складніших завдань можуть знадобитися інші види функцій, наприклад, [[Лінійна функція|лінійна]].<ref name="notsimple">Розенблатт, Ф., с. 200.</ref>

В результаті Розенблат ввів такі визначення:
* '''Перцептрон''' являє собою мережу, що складається з S-, A- та R-елементів, зі змінною матрицею взаємодії W (елементи якої <math>w_{ij}</math>&nbsp;— вагові коефіцієнти), що визначається послідовністю минулих станів активності мережі.<ref name="notsimple" /><ref name="percdef">Розенблатт Ф., с. 82.</ref>
* '''Перцептроном з послідовними зв'язками''' називається система, в якій всі зв'язки, що починаються від елементів з логічною відстанню d від найближчого S-елементу, закінчуються на елементах з логічною відстанню d+1 від найближчого S-елементу.<ref name="percdef" />
* '''Простим перцептроном''' називається будь-яка система, що задовольняє наступні п'ять умов:
# в системі є лише один R-елемент (природно, він пов'язаний з усіма A-елементами);
# система являє собою перцептрон з послідовними зв'язками, що йдуть лише від S-елементів до A-елементів, та від A-елементів до R-елементів;
# ваги всіх зв'язків від S-елементів до A-елементів (S-A зв'язків) незмінні;
# час передачі кожного зв'язку дорівнює або нулю, або сталій величині <math>\tau</math>;
# всі [[Передавальна функція штучного нейрона|функції активації]] S-, A-, R-елементів мають вигляд <math>U_{i}(t) = f(a_{i}(t))</math>, де <math>a_{i}(t)</math>&nbsp;— алгебраїчна сума всіх сигналів, що надходять одночасно на вхід елемента <math>u_{i}</math><ref name="notsimple" /><ref>Розенблатт Ф., с. 83.</ref>
* '''Елементарним перцептроном''' називається простий перцептрон, у якого''всі елементи&nbsp;— прості''. У цьому випадку його функція активації має вигляд <math>c_{ij}(t) = U_{i}(t - \tau)w_{ij}(t)</math>.<ref name="Розенблатт Ф., с. 93">Розенблатт Ф., с. 93.</ref>
Додатково можна вказати на такі концепції, запропоновані в книзі, та пізніше розвинені в рамках теорії нейронних мереж:
* {{Не перекладено|Перцептрон із перехресними зв'язками|'''Перцептрон із перехресними зв'язками'''|ru|Перцептрон с перекрёстными связями}}&nbsp;— це система, в якій існують зв'язки між елементами одного типу (S, A або R), що знаходяться на однаковій відстані від S-елементів, причому всі інші зв'язки&nbsp;— послідовного типу.<ref name="percdef" />
* {{Не перекладено|Перцептрон зі зворотним зв'язком|'''Перцептрон зі зворотнім зв'язком'''|ru|Перцептрон с обратной связью}}&nbsp;— це система, в якій існує хоча б один зв'язок від логічно віддаленішого елемента до менш віддаленого.<ref name="percdef" /> Згідно сучасної термінології такі мережі називаються [[Рекурентна нейронна мережа|рекурентними нейронними мережами]].
* {{Не перекладено|Перцептрон зі змінними S-A зв'язками|'''Перцептрон зі змінними S-A зв'язками'''|ru|Перцептрон с переменными S-A связями}}&nbsp;— це система, в якій знято обмеження на фіксованість зв'язків від S-елементів до A-елементів. Доведено, що шляхом оптимізації S-A зв'язків можна досягти значного поліпшення характеристик перцептрона.<ref name="s-a-var">Розенблатт, Ф., с. 230.</ref>

=== Опис на основі предикатів ===
{{Докладніше1|{{Не перекладено|Перцептрон (предикативний опис)||ru|Перцептрон (предикатное описание)}}}}
Марвін Мінський вивчав властивості [[Паралельні обчислення|паралельних обчислень]], окремим випадком яких на той час був перцептрон. Для аналізу його властивостей йому довелося перекласти теорію перцептронів на мову [[предикат]]ів. Суть підходу полягала в наступному:<ref group="nb">Викладення в цьому розділі спрощено з причини складності аналізу на основі предикатів.</ref><ref>Минский, Пейперт, с. 11—18.</ref>
* множині сигналів від S-елементів було поставлено у відповідність змінну X;
* кожному A-елементові поставлено у відповідність предикат φ(X) ''(фі від ікс)'', названий '''частинним предикатом''';
* кожному R-елементові поставлено у відповідність предикат ψ ''(псі)'', що залежить від частинних предикатів;
* нарешті, '''перцептроном''' було названо пристрій, здатний обчислювати всі предикати типу ψ.

В «зоровому» перцептроні змінна X символізувала образ будь-якої геометричної фігури (''стимул''). Частинний предикат дозволяв кожному А-елементові «розпізнавати» свою фігуру. Предикат ψ означав ситуацію, коли лінійна комбінація <math>a_{1}\phi_{1} + \ldots + a_{n}\phi_{n}</math> (<math>a_{i}</math>&nbsp;— коефіцієнти передачі) перевищувала певний поріг θ.

Науковці виділили 5 класів перцептронів, що володіють, на їхню думку, цікавими властивостями:
# '''Перцептрони, обмежені за діаметром'''&nbsp;— кожна фігура X, що розпізнається частинними предикатами, не перевищує за діаметром деяку фіксовану величину.
# '''Перцептрони обмеженого порядку'''&nbsp;— кожен частинний предикат залежить від обмеженої кількості точок з X.
# '''Перцептрони Гамба'''&nbsp;— кожен частинний предикат повинен бути лінійною пороговою функцією, тобто міні-перцептроном.
# '''Випадкові перцептрони'''&nbsp;— перцептрони обмеженого порядку, коли частинні предикати являють собою випадково вибрані булеві функції. В книзі зазначається, що саме цю модель найдокладніше досліджувала група Розенблата.
# '''Обмежені перцептрони'''&nbsp;— множина частинних предикатів нескінченна, а множина можливих значень коефіцієнтів <math>a_{i}</math> скінченна.

Хоча такий математичний апарат дозволив застосувати цей аналіз лише до '''елементарного перцептрону''' Розенблата, він розкрив багато принципових обмежень для паралельних обчислень, які має кожен вид сучасних штучних нейронних мереж.

== Історична класифікація ==
[[Файл:Neuro.PNG | thumb|350px | Архітектура багатошарового перцептрону (обох підтипів).]]
Поняття перцептрона має цікаву, але незавидну історію. В результаті нерозвиненої термінології нейронних мереж минулих років, різкої критики та нерозуміння завдань дослідження перцептронів, а іноді й помилкового освітлення пресою, початковий сенс цього поняття було викривлено. Порівнюючи розробки Розенблата та сучасні огляди й статті, можна виділити 4 доволі відособлених класи перцептронів:

; Перцептрон з одним прихованим шаром
: Це класичний перцептрон, що йому присвячено більшу частина книги Розенблата, і що розглядається в цій статті: у нього є по одному шару S-, A- та R-елементів.

; Одношаровий перцептрон
: Це модель, у якій вхідні елементи безпосередньо з'єднано з вихідними за допомогою системи ваг. Є найпростішою [[Нейронна мережа прямого поширення|мережею прямого поширення]]&nbsp;— [[Лінійний класифікатор|лінійним класифікатором]], і окремим випадком класичного перцептрона, в якому кожен S-елемент однозначно відповідає одному A-елементові, S-A зв'язку мають вагу +1, і всі A-елементи мають поріг θ = 1. Одношарові перцептрони фактично є [[Штучний нейрон|формальними нейронами]], тобто пороговими елементами Мак-Каллока&nbsp;— Піттса. Вони мають безліч обмежень, зокрема, вони не можуть ідентифікувати ситуацію, коли на їхні входи подано різні сигнали («завдання XOR», див [[#Функціональні помилки|нижче]]).

; [[Багатошаровий перцептрон Розенблатта]]
: Це перцептрон, в якому присутні додаткові шари A-елементів. Його аналіз провів Розенблат у третій частині своєї книги.

; [[Багатошаровий перцептрон Румельхарта]]
: Це перцептрон, в якому присутні додаткові шари A-елементів, причому навчання такої мережі проводиться за методом [[Метод зворотного поширення помилки|зворотного поширення помилки]], і навчаються всі шари перцептрону (включно з S-A). Є окремим випадком багатошарового перцептрону Розенблата.

В даний час в літературі під терміном «перцептрон» найчастіше розуміють одношаровий перцептрон ({{lang-en|single-layer_perceptron}}), причому існує поширена омана, що саме цей найпростіший тип моделей запропонував Розенблат. На противагу одношаровому, ставлять «багатошаровий перцептрон» ({{lang-en|multilayer perceptron}}), знову ж таки, найчастіше маючи на увазі багатошаровий перцептрон Румельхарта, а не Розенблата. Класичний перцептрон у такій дихотомії відносять до багатошарових.

== Алгоритми навчання ==
Важливою властивістю будь-якої нейронної мережі є [[Машинне навчання|здатність до навчання]]. Процес навчання є процедурою налаштування ваг та порогів з метою зменшення різниці між бажаними (цільовими) та отримуваними векторами на виході. У своїй книзі Розенблат намагався класифікувати різні алгоритми навчання перцептрону, називаючи їх системами підкріплення.
: '''Система підкріплення'''&nbsp;— це будь-який набір правил, на підставі яких можна змінювати з плином часу матрицю взаємодії (або стан пам'яті) перцептрону.<ref name="roslearn">Розенблатт, Ф., с. 85—88.</ref>
Описуючи ці системи підкріплення і уточнюючи можливі їхні види, Розенблат ґрунтувався на ідеях [[Дональд Гебб|Дональда Гебба]] про навчання, запропонованих ним [[1949]] року, які можна перефразувати в наступне правило, яке складається з двох частин:
* Якщо два нейрони з обох боків синапсу (з'єднання) активізуються одночасно (тобто синхронно), то міцність цього з'єднання зростає.
* Якщо два нейрони з обох боків синапсу активізуються асинхронно, то такий синапс послаблюється або взагалі відмирає.

=== Кероване навчання ===
{{Головна|Метод корекції помилки}}
Класичний метод навчання перцептрону&nbsp;— це ''метод корекції помилки''.<ref name="teorshod" /> Він являє собою такий вид [[Кероване навчання|керованого навчання]], при якому вага зв'язку не змінюється до тих пір, поки поточна реакція перцептрона залишається правильною. При появі неправильної реакції вага змінюється на одиницю, а знак (+/-) визначається протилежним від знаку помилки.

Припустимо, ми хочемо навчити перцептрон розділяти два класи об'єктів так, щоби при пред'явленні об'єктів першого класу вихід перцептрона був позитивний (+1), а при пред'явленні об'єктів другого класу&nbsp;— негативним (-1). Для цього виконаємо наступний алгоритм:<ref name="learning" />
# Випадково вибираємо пороги для A-елементів та встановлюємо зв'язки S-A (далі вони не змінюватимуться).
# Початкові коефіцієнти <math>w_i</math> вважаємо рівними нулеві.
# Пред'являємо '''навчальну вибірку''': об'єкти (наприклад, кола або квадрати) із зазначенням класу, до якого вони належать.
#* Показуємо перцептронові об'єкт першого класу. При цьому деякі A-елементи збудяться. Коефіцієнти <math>w_i</math> , що відповідають цим збудженням елементів, ''збільшуємо'' на 1.
#* Пред'являємо об'єкт другого класу, і коефіцієнти <math>w_i</math> тих А-елементів, які збудилися при цьому показі, ''зменшуємо'' на 1.
# Обидві частини кроку 3 виконаємо для всієї навчальної вибірки. В результаті навчання сформуються значення вагів зв'язків <math>w_i</math>.

''' [[Теорема збіжності перцептрону]]''',<ref name="teorshod" /> описана і доведена Ф.&nbsp;Розенблатом (за участю Блока, Джозефа, Кеста та інших дослідників, які працювали разом з ним), показує, що елементарний перцептрон, навчений за таким алгоритмом, незалежно від початкового стану вагових коефіцієнтів і послідовності появи стимулів ''завжди'' приведе до досягнення рішення за скінченний проміжок часу.

=== Некероване навчання ===
Крім класичного методу навчання перцептрону, Розенблат також ввів поняття про [[некероване навчання]], запропонувавши наступний спосіб навчання:
* '''Альфа-система підкріплення'''&nbsp;— це система підкріплення, за якої ваги всіх ''активних'' зв'язків <math>c_{ij}</math>, що ведуть до елемента <math>u_j</math>, змінюються на однакову величину r, а ваги ''неактивних'' зв'язків за цей час не змінюються.<ref>Розенблатт, Ф., с. 86.</ref>
Пізніше, з розробкою поняття [[багатошаровий перцептрон Румельхарта|багатошарового перцептрону]], альфа-систему було модифіковано, і її стали називати ''[[дельта-правило]]м''. Модифікацію було проведено з метою зробити функцію навчання [[Диференціювання (математика)|диференційовною]] (наприклад, [[Сигмоїда|сигмоїдною]]), що в свою чергу потрібно для застосування методу [[Градієнтний спуск|градієнтного спуску]], завдяки якому можливе навчання більше ніж одного шару.

=== Метод зворотного поширення помилки ===
{{Головна|Метод зворотного поширення помилки}}
Для навчання багатошарових мереж ряд учених, у тому числі [[Девід Румельхарт|Девідом Румельхартом]], було запропоновано [[Градієнтний спуск|градієнтний алгоритм]] керованого навчання, що проводить сигнал помилки, обчислений ''виходами'' перцептрона, до його ''входів'', шар за шаром. Зараз це є найпопулярніший метод навчання багатошарових перцептронів. Його перевага в тому, що він може навчити ''всі'' шари нейронної мережі, і його легко прорахувати локально. Однак цей метод є дуже довгим, до того ж, для його застосування потрібно, щоб передавальна функція нейронів була диференційовною. При цьому в перцептронах довелося відмовитися від бінарного сигналу, і користуватися на вході [[Дійсні числа|неперервними значеннями]].<ref>Хайкин С., 2006, с. 225—243, 304—316.</ref>

== Традиційні помилки ==
В результаті популяризації штучних нейронних мереж журналістами та маркетологами було допущено ряд неточностей, які, при недостатньому вивченні оригінальних робіт з цієї тематики, неправильно тлумачилися молодими (на той час) науковцями. В результаті до сьогодні можна зустрітися з недостатньо глибоким трактуванням функціональних можливостей перцептрона у порівнянні з іншими нейронними мережами, розробленими в наступні роки.

=== Термінологічні неточності ===
Найпоширенішою помилкою, пов'язаною з термінологією, є визначення перцептрона як ''нейронної мережі без прихованих шарів'' (одношарового перцептрона, див. [[#Історична класифікація|вище]]). Ця помилка пов'язана з недостатньо проробленою термінологією в галузі нейромереж на ранньому етапі їхньої розробки. Ф.&nbsp;Уоссерменом було зроблено спробу певним чином класифікувати різні види нейронних мереж:
{{початок цитати}}
Як видно з публікацій, немає загальноприйнятого способу підрахунку кількості шарів в мережі. Багатошарова мережа складається з множин нейронів і ваг, що чергуються. Вхідний шар не виконує підсумовування. Ці нейрони слугують лише як розгалуження для першої множини ваг, і не впливають на обчислювальні можливості мережі. З цієї причини перший шар не беруть до уваги при підрахунку шарів, і мережа вважається двошаровою, оскільки лише два шари виконують обчислення. Далі, ваги шару вважаються пов'язаними з наступними за ними нейронами. Отже, шар складається з множини ваг з наступними за ними нейронами, що підсумовують зважені сигнали.<ref>''Уоссермен, Ф.''Нейрокомпьютерная техника: Теория и практика, 1992. {{ref-ru}}</ref>
{{кінець цитати}}
В результаті такого подання перцептрон потрапив під визначення «одношарова нейронна мережа». Частково це вірно, тому що в нього немає прихованих шарів нейронів, які ''навчаються'' (ваги яких адаптуються до задачі). І тому всю сукупність фіксованих зв'язків системи з S- до A-елементів, можна логічно замінити набором (модифікованих за жорстким правилом) ''нових'' вхідних сигналів, що надходять відразу на А-елементи (усунувши тим самим взагалі перший шар зв'язків). Але тут як раз не враховують те, що така модифікація перетворює нелінійне подання завдання в лінійне.

Тому просте ігнорування шарів із фіксованими зв'язками що не навчаються (в елементарному перцептроні це S-A зв'язки) призводить до неправильних висновків про можливості нейромережі. Так, Мінський вчинив дуже коректно, переформулювавши А-елемент як [[предикат]] (тобто функцію); навпаки, Уоссермен вже втратив таке подання і у нього А-елемент&nbsp;— просто вхід (майже еквівалентний S-елементу). За такої термінологічної плутанини не береться до уваги той факт, що в перцептроні відбувається [[відображення]] [[Рецептивне поле|рецепторного поля]] S-елементів на асоціативне поле А-елементів, в результаті чого й відбувається перетворення будь-якої лінійно нероздільної задачі на лінійно роздільну.

=== Функціональні помилки ===
[[Файл:Perceptron XOR task v2.svg | 300px|thumb | Розв'язання елементарним перцептроном «задачі XOR». Поріг всіх елементів θ = 0.]]
Більшість функціональних помилок зводяться до нібито неможливості вирішення перцептроном нелінійно роздільної задачі. Але варіацій на цю тему досить багато, нижче розглянуто головні з них.

==== Завдання XOR ====
''Перцептрон не здатен розв'язати «[[Виключна диз'юнкція|задачу XOR]]».''
: Дуже поширена й найнесерйозніша заява. На ілюстрації праворуч зображено розв'язання цієї задачі перцептроном. Ця помилка виникає, по-перше, через те, що неправильно інтерпретують визначення перцептрона, даного Мінським (див. [[#Модель на основі предикатів|вище]]), а саме, предикати відразу прирівнюють до входів, хоча предикат у Мінського&nbsp;— це функція, що ідентифікує цілий набір вхідних значень.<ref group="nb">Предикат є еквівалентним входові лише в окремому випадку&nbsp;— лише коли він залежить від одного аргументу.</ref>  По-друге, через те, що класичний перцептрон Розенблата плутають з одношаровим перцептроном (через термінологічні неточності, описані вище).

Слід звернути увагу на те, що «одношаровий перцептрон» у сучасній термінології та «одношаровий перцептрон» в термінології Уоссермена є різними об'єктами. І об'єкт, що зображено на ілюстрації, в термінології Уоссермена є двошаровим перцептроном.

Доцільно зазначити, що при реалізації одношарового персептрону можна використати нелінійні функції класифікації. Це розширює його функціональні можливості, не змінюючи структуру. Такий підхід дозволяє зняти частину функціональних обмежень, зокрема, реалізувати логічну функцію [[XOR]].<ref>[https://ieeexplore.ieee.org/abstract/document/8336337/ {{Webarchive|url=https://web.archive.org/web/20180621193945/https://ieeexplore.ieee.org/abstract/document/8336337/ |date=21 червня 2018 }} {{lang|en|Melnychuk S., Yakovyn S., Kuz M. Emulation of logical functions NOT, AND, OR, and XOR with a perceptron implemented using an information entropy function // 2018 14th International Conference on Advanced Trends in Radioelecrtronics, Telecommunications and Computer Engineering (TCSET). - 2018. - P.878-882}}] {{ref-en}}</ref>

==== Здатність до навчання розв'язання лінійно нероздільних задач ====
''Вибором випадкових ваг '''можна''' досягти навчання розв'язання лінійно нероздільних (взагалі, будь-яких) задач, '''але тільки якщо пощастить''', і в нових змінних (виходах A-нейронів) задача виявиться лінійно роздільною. Проте може й не пощастити.''

: [[Теорема збіжності перцептрону]]<ref name="teorshod" /> доводить, що немає і не може бути ніякого «може і не пощастити»; при рівності А-елементів кількості стимулів і не особливій {{Не перекладено|G-матриця перцептрона|G-матриці|ru|G-матрица перцептрона}}&nbsp;— імовірність рішення дорівнює 100&nbsp;%. Тобто при [[відображення|відображенні]] рецепторного поля на асоціативне поле, [[Розмірність простору|розмірності]] більшої на одну, випадковим (нелінійним) [[Оператор (математика)|оператором]], нелінійна задача перетворюється на лінійно роздільну. А наступний шар, що навчається, вже знаходить лінійний розв'язок в іншому просторі входів.

: Наприклад, навчання перцептрона для розв'язання «задачі XOR» (див. ілюстрацію) проводиться наступними етапами:
<div align="center">
{| class="wikitable"
!rowspan="2"|Ваги
!colspan="9"|Ітерації
|-
!colspan="3"|1
!2
!colspan="2"|3
!colspan="2"|4
!5
|-
!w1
|width="40px"| 0
|width="40px"| 1
|width="40px"| 1
|width="40px"| 1
|width="40px"| 1
|width="40px"| 2
|width="40px"| 2
|width="40px"| 2
|width="40px"| 2
|-
!w2
| 0|| 0|| 1|| 1|| 1|| 1|| 1|| 2|| 2
|-
!w3
| −1|| 0|| 1|| 0|| −1|| 0|| −1|| 0|| −1
|-
!Вхідні сигнали (x, y)
| 1, 1|| 0, 1|| 1, 0|| 1, 1|| 1, 1|| 0, 1|| 1, 1|| 1, 0|| 1, 1
|}</div>

==== Здатність до навчання на малій кількості прикладів ====
''Якщо в задачі розмірність входів досить висока, а навчальних прикладів мало, то в такому «слабо заповненому» просторі кількість успіхів може і не виявитися малою. Це свідчить лише про часткову придатність перцептрону, а не про його універсальність.''

: Цей аргумент легко перевірити на тестовій задачі під назвою «шахівниця» або «губка з водою»:<ref>Бонгард М.&nbsp;М.&nbsp;Проблема узнавания М.: Физматгиз, 1967. {{ref-ru}}</ref><ref group="nb">{{Не перекладено|Михайло Мойсеєвич Бонгард|М.&nbsp;М.&nbsp;Бонгард|ru|Бонгард, Михаил Моисеевич}} вважає цю задачу найскладнішою для проведення гіперплощини у просторі рецепторів.</ref>
:
{{початок цитати}}
Дано ланцюжок з 2·''N''одиниць або нулів, що паралельно надходять на входи перцептрону. Якщо цей ланцюжок є дзеркально симетричним відносно центру, то на виході буде 1, інакше&nbsp;— 0. Навчальні приклади&nbsp;— ''всі'' (це важливо) <math>2^{2N}</math> ланцюжків.
{{кінець цитати}}
: Можуть бути варіації даної задачі, наприклад:
{{початок цитати}}
Візьмімо [[Бінарне зображення|чорно-біле зображення]] розміром 256 × 256 елементів ([[піксель|пікселів]]). Вхідними даними для перцептрона будуть координати точки (8 біт + 8 біт, разом потрібно 16 S-елементів), на виході вимагатимемо отримати колір точки. Навчаємо перцептрон усім точкам (всьому зображенню). В результаті маємо 65&nbsp;536 різних пар «стимул-реакція». Навчити без помилок.
{{кінець цитати}}
: Якщо цей аргумент справедливий, то перцептрон не зможе ні за яких умов навчитися, не роблячи жодної помилки. Інакше перцептрон не помилиться жодного разу.

: На практиці виявляється, що дана задача є дуже простою для перцептрону: щоб її розв'язати, перцептронові достатньо 1&nbsp;500 А-елементів (замість повних 65&nbsp;536, необхідних для будь-якої задачі). При цьому кількість [[Ітерація|ітерацій]] є порядку 1&nbsp;000. При 1&nbsp;000 А-елементах перцептрон не сходиться за 10&nbsp;000 ітерацій. Якщо ж збільшити кількість А-елементів до 40&nbsp;000, то сходження можна чекати за 30-80 ітерацій.

: Такий аргумент з'являється через те, що дану задачу плутають із задачею Мінського «про предикат „парність“».<ref name="chetnost">Минский М., Пейперт С., с. 59.</ref>

==== Стабілізація ваг та збіжність ====
''У перцептроні Розенблата стільки А-елементів, скільки входів. І збіжність за Розенблатом&nbsp;— це стабілізація ваг.''

: У Розенблата читаємо:
{{початок цитати}}
Якщо кількість стимулів у просторі W дорівнює n > N (тобто більше кількості А-елементів елементарного перцептрону), то існує деяка [[класифікація]] {{nobr|С(W)}}, для якої розв'язку не існує.<ref>Розенблатт, Ф., с. 101.</ref>
{{кінець цитати}}

: Звідси випливає, що:
:# у Розенблата кількість А-елементів дорівнює кількості стимулів (навчальних прикладів), а не кількості входів;
:# збіжність за Розенблатом&nbsp;— це не стабілізація ваг, а наявність всіх необхідних класифікацій, тобто по суті відсутність помилок.

==== Експоненційне зростання кількості прихованих елементів ====
''Якщо вагові коефіцієнти до елементів прихованого шару (А-елементів) фіксовано, то необхідно, щоби кількість елементів прихованого шару (або їхня складність) експоненційно зростала зі зростанням розмірності задачі (кількості рецепторів). Відтак, втрачається їхня основна перевага&nbsp;— здатність розв'язувати задачі довільної складності за допомогою простих елементів.''

: Розенблатом було показано, що кількість А-елементів залежить лише від кількості стимулів, які треба розпізнати (див. попередній пункт або [[Теорема збіжності перцептрону|теорему збіжності перцептрону]]). Таким чином, якщо кількість А-елементів є фіксованою, то можливість перцептрону до розв'язання задач довільної складності безпосередньо не залежить від зростання кількості рецепторів.

: Така помилка походить від наступної фрази Мінського:
{{початок цитати}}
При дослідженні предикату «парність» ми бачили, що коефіцієнти можуть зростати зі зростанням |R| (кількості точок на зображенні) експоненційно.<ref>Минский, Пейперт, с. 155, 189 (не дослівно, спрощено для виразності).</ref>
{{кінець цитати}}
: Крім того, Мінський досліджував і інші предикати, наприклад, «рівність». Але всі ці предикати є достатньо специфічними задачами на узагальнення, а не на розпізнавання або прогнозування. Так, наприклад, щоби перцептрон міг виконувати предикат «парність»&nbsp;— він повинен сказати, парна чи ні кількість чорних точок на чорно-білому зображенні, а для виконання предикату «рівність»&nbsp;— сказати, рівна чи ні права частина зображення лівій. Ясно, що такі задачі виходять за рамки задач розпізнавання та прогнозування, і являють собою задачі на узагальнення або просто на підрахунок певних характеристик. Це і було переконливо показано Мінським, і є обмеженням не лише перцептронів, але й усіх [[Паралельні обчислення|паралельних алгоритмів]], які не здатні швидше за послідовні алгоритми обчислити такі предикати.

: Тому такі завдання обмежують можливості всіх нейронних мереж і перцептронів зокрема, але це ніяк не пов'язано з фіксованими зв'язками першого шару; тому що, по-перше, мова йшла про величину коефіцієнтів зв'язків другого шару, а по-друге, питання лише в ефективності, а не в принциповій можливості. Тобто, перцептрон можна навчити і цієї задачі, але обсяг пам'яті та швидкість навчання будуть більшими, ніж при застосуванні простого послідовного алгоритму. Введення ж у першому шарі вагових коефіцієнтів, що навчаються, лише погіршить стан справ, бо вимагатиме більшого часу навчання, оскільки перемінні зв'язки між S та A швидше перешкоджають, ніж сприяють процесові навчання.<ref>Розенблатт, стр. 239</ref> Причому, при підготовці перцептрону до задачі розпізнавання стимулів особливого типу, для збереження ефективності знадобляться особливі умови стохастичного навчання,<ref name=autogenerated1>Розенблатт, стр. 242</ref> що було показано Розенблатом в експериментах із {{Не перекладено|Перцептрон зі змінними S-A зв'язками|перцептроном зі змінними S-A зв'язками|ru|Перцептрон с переменными S-A связями}}.

== Можливості та обмеження моделі ==
{{Докладніше1|{{Не перекладено|Можливості та обмеження перцептронів||ru|Возможности и ограничения перцептронов}}}}

=== Можливості моделі ===
[[Файл:Edge approximation.svg | thumb| 200px | left | Приклад [[Класифікація|класифікації]] об'єктів. Зелена лінія&nbsp;— межа класів.]]
Сам Розенблат розглядав перцептрон перш за все як наступний важливий крок у дослідженні та використанні нейронних мереж, а не як завершений варіант «машини, здатної мислити».<ref group="nb">На перших етапах розвитку науки про [[штучний інтелект]] її задача розглядалася в абстрактному сенсі&nbsp;— створення систем, що нагадують за розумом людину (див. [[Штучний загальний інтелект]]). Сучасні формулювання задач в [[ШІ]] є, як правило, точнішими.</ref> Ще в передмові до своєї книги він, відповідаючи на критику, відзначав, що «програма з дослідження перцептрона пов'язана головним чином ''не'' з винаходом пристроїв, що володіють „штучним інтелектом“, а з вивченням фізичних структур і нейродинамічних принципів».<ref>Розенблатт, Ф., с. 18.</ref>

Розенблат запропонував ряд [[Психологічний тест|психологічних тестів]] для визначення можливостей нейромереж: експерименти з [[Кластеризація|розрізнення]], [[узагальнення]], [[Пошук закономірностей|розпізнавання послідовностей]], [[Абстрагування|утворення абстрактних понять]], формування та властивостей «[[Самосвідомість|самосвідомості]]», [[Творчість|творчості]], [[Уява|уяви]] та інші.<ref>Розенблатт, Ф., с. 70—77.</ref> Деякі з цих експериментів далекі від сучасних можливостей перцептронів, тому їхній розвиток відбувається більше [[Філософія|філософськи]], в межах напряму [[конекціонізм]]у. Тим не менше, для перцептронів встановлено два важливих факти, що знаходять застосування у практичних задачах: ''можливість [[класифікація|класифікації]]'' (об'єктів) і ''можливість [[апроксимація|апроксимації]]'' (класів і функцій).<ref>[http://www.intuit.ru/department/expert/neurocomputing/3/2.html Лекція 3: Навчання з учителем: Розпізнавання образів] {{Webarchive|url=https://web.archive.org/web/20111101153403/http://www.intuit.ru/department/expert/neurocomputing/3/2.html |date=1 листопада 2011 }} {{ref-ru}}</ref>

Важливою властивістю перцептроів є їхня здатність до навчання, причому за рахунок досить простого й ефективного алгоритму (див. [[#Алгоритми навчання|вище]]). Останнім часом дослідники починають звертати увагу саме на оригінальну версію перцептрона, оскільки навчання багатошарового перцептрона за допомогою методу зворотного поширення помилки виявило істотні обмеження на швидкість навчання. Спроби навчати багатошаровий перцептрон методом зворотного поширення помилок призводять до експоненційного зростання обчислювальних витрат. Якщо ж користуватися методом прямого поширення,<ref>ГОСТ Р 52633.5-2011 «Защита информации. Техника защиты информации. Автоматическое обучение нейросетевых преобразователей биометрия-код доступа» {{ref-ru}}</ref> то обчислювальна складність алгоритму навчання стає лінійною. Це дозволяє зняти проблему навчання нейронних мереж із дуже великою кількістю входів та виходів, а також мати довільну кількість шарів мережі перцептронів. Поняття про зняття [[прокляття розмірності]] можна прочитати у праці Іванова&nbsp;А.&nbsp;І «Підсвідомість штучного інтелекту: програмування автоматів нейромережевої біометрії мовою їх навчання».<ref>[http://пниэи.рф/activity/science/bio_neuro.pdf Иванов А. И. «Подсознание искусственного интеллекта: программирование автоматов нейросетевой биометрии языком их обучения»] {{Webarchive|url=https://web.archive.org/web/20160804035048/http://xn--h1aanh6e.xn--p1ai/activity/science/bio_neuro.pdf |date=4 серпня 2016 }} {{ref-ru}}</ref>

=== Обмеження моделі ===
{{Докладніше1|{{Не перекладено|Перцептрони (книга)|||Perceptrons (book)}}}}
[[Файл:Invariant image recognition.svg | thumb|180px | Деякі задачі, які перцептрон не здатен розв'язати: 1, 2&nbsp;— перетворення групи переносів; 3&nbsp;— з якої кількості частин складається фігура? 4&nbsp;— всередині якого об'єкта немає іншої фігури? 5&nbsp;— яка фігура всередині об'єктів повторюється два рази? (3, 4, 5&nbsp;— завдання на визначення «зв'язності» фігур.)]]

Сам Розенблат виділив два фундаментальні обмеження для тришарових перцептронів (що складаються з одного S-шару, одного A-шару та R-шару): відсутність у них здатності до узагальнення своїх характеристик на нові стимули або нові ситуації, а також нездатність аналізувати складні ситуації у зовнішньому середовищі шляхом розчленування їх на простіші.<ref name="Розенблатт Ф., с. 93"/>

В [[1969]] році [[Мінський Марвін Лі|Марвін Мінський]] та [[Сеймур Пейперт]] опублікували книгу «Перцептрони»,<ref>Minsky M L and Papert S A 1969 Perceptrons (Cambridge, MA: MIT Press) {{ref-en}}</ref> де математично показали, що перцептрони, подібні до розенблатівських, принципово не в змозі виконувати багато з тих функцій, які хотіли б отримати від перцептронів. До того ж, у той час теорія паралельних обчислень була слабко розвиненою, а перцептрон повністю відповідав принципам таких обчислень. За великим рахунком, Мінський показав перевагу послідовних обчислень перед [[Паралельні обчислення|паралельними]] в певних класах задач, пов'язаних з інваріантні представленням. Його критику можна розділити на три теми:

# Перцептрони мають обмеження в задачах, пов'язаних з ''інваріантним представленням'' образів, тобто незалежним від їхнього положення на сенсорному полі та положення щодо інших фігур. Такі задачі виникають, наприклад, якщо нам потрібно побудувати машину для читання [[Символ|друкованих літер або цифр так]], щоб ця машина могла розпізнавати їх незалежно від положення на сторінці (тобто щоб на рішення машини не впливали [[Паралельне перенесення|перенесення]], [[Обертання (математика)|обертання]], [[розтяг-стиск]] символів);<ref name="invariant" /> або якщо нам потрібно визначити зі скількох частин складається фігура;<ref>Минский М., Пейперт С., с. 76—98.</ref> або чи знаходяться дві фігури поруч чи ні.<ref>Минский М., Пейперт С., с. 113—116.</ref> Мінським було доведено, що цей тип задач неможливо повноцінно розв'язати за допомогою паралельних обчислень, у тому числі&nbsp;— перцептрону.
# Перцептрони не мають функціонального переваги над [[Аналітичні методи|аналітичними методами]] (наприклад, [[Статистичні методи|статистичними]]) в задачах, пов'язаних із [[прогнозування]]м.<ref>Минский М., Пейперт С., с. 192—214.</ref> Тим не менше, в деяких випадках вони представляють простіший і [[Продуктивність|продуктивніший]] метод [[Добування даних|аналізу даних]].
# Було показано, що деякі задачі в принципі може бути розв'язано перцептроном, але вони можуть вимагати нереально [[Теорія складності обчислень|великого часу]]<ref>Минский, Пейперт, с. 163—187</ref> або нереально великої [[Оперативна пам'ять|оперативної пам'яті]].<ref>Минский, Пейперт, с. 153—162</ref>

Книга Мінського і Паперті істотно вплинула на розвиток науки про штучний інтелект, тому що змістила науковий інтерес та субсидії урядових організацій [[США]] на інший напрямок досліджень&nbsp;— символьний підхід у [[ШІ]].

=== Застосування перцептронів ===
Перцептрон може бути використано, наприклад, для [[апроксимація|апроксимації]] функцій, для задачі ''[[прогнозування]]'' (й еквівалентної їй задачі '' [[розпізнавання образів]]''), що вимагає високої точності, та задачі ''[[Інтелектуальний агент|керування агентами]]'', що вимагає високої швидкості навчання.

У практичних задачах від перцептрона вимагатиметься можливість вибору більш ніж з двох варіантів, а отже, на виході в нього має бути більше одного R-елемента. Як показано Розенблатом, характеристики таких систем не відрізняються суттєво від характеристик елементарного перцептрона.<ref>Розенблатт, Ф., с. 219—224.</ref>

==== Апроксимація функцій ====
{{Головна|Теорема Цибенка}}
[[Теорема Цибенка]], доведена [[Джордж Цибенко|Джорджем Цибенком]] [[1989]] року, стверджує, що штучна [[нейронна мережа прямого поширення]] з одним прихованим шаром може апроксимувати будь-яку [[неперервна функція|неперервну функцію]] багатьох змінних з будь-якою точністю. Умовами є достатня кількість нейронів прихованого шару, вдалий підбір <math>\mathbf{w}_1, \mathbf{w}_2, \dots , \mathbf{w}_N, \mathbf{\alpha},</math> і <math>\mathbf{\theta}</math>, де
* <math>\mathbf{w}_i</math>&nbsp;— ваги між вхідними [[штучний нейрон|нейронами]] і нейронами прихованого шару
* <math>\mathbf{\alpha}</math>&nbsp;— ваги між зв'язками від нейронів прихованого шару і вихідним нейроном
* <math>\mathbf{\theta}</math>&nbsp;— коефіцієнт «упередженості» для нейронів прихованого шару.

==== Прогнозування та розпізнавання образів ====
{{main|Задача розпізнавання образів}}
[[Файл:Learnign_agent_ua.JPG | thumb | 350px | right | Взаємодія [[Інтелектуальний агент|інтелектуального агента]] із середовищем. Важливою частиною такої системи є зворотні зв'язки.]]
У цих завданнях перцептронові потрібно встановити приналежність об'єкта до якогось класу за його параметрами (наприклад, за зовнішнім виглядом, формою, силуету). Причому точність розпізнавання багато в чому залежатиме від представлення вихідних реакцій перцептрону. Тут можливі три типи кодування: конфігураційне, позиційне та гібридне. Позиційне кодування, за якого кожному класові відповідає свій R-елемент, дає точніші результати, ніж інші види. Такий тип використано, наприклад, у праці Е.&nbsp;Куссуль та ін. «Перцептрони Розенблата для розпізнавання рукописних цифр». Однак воно є незастосовним у тих випадках, коли кількість класів є значною, наприклад, кілька сотень. У таких випадках можна застосовувати гібридне конфігураційно-позиційне кодування, як це було зроблено у праці Яковлева «Система розпізнавання рухомих об'єктів на базі штучних нейронних мереж».

==== Керування агентами ====
У теорії [[ШІ|штучного інтелекту]] часто розглядають агентів, що навчаються ([[Адаптивна система|адаптуються]] до [[довкілля]]). При цьому в умовах [[Невизначеність|невизначеності]] стає важливим аналізувати не лише поточну інформацію, а й загальний контекст ситуації, в яку потрапив агент, тому тут застосовують {{Не перекладено|Перцептрон зі зворотним зв'язком|перцептрони зі зворотним зв'язком|ru|Перцептрон с обратной связью}}.<ref>''Яковлев С. С.'' [http://ru.vlab.wikia.com/wiki/Сергей_Яковлев:Статья:Yak1 Использование принципа рекуррентности Джордана в перцептроне Розенблатта, Журнал «АВТОМАТИКА И ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА», Рига, 2009] {{Webarchive|url=https://web.archive.org/web/20170701042956/http://ru.vlab.wikia.com/wiki/Сергей_Яковлев:Статья:Yak1 |date=1 липня 2017 }}. Virtual Laboratory Wiki. {{ref-ru}}</ref> Крім того, в деяких задачах стає важливим підвищення швидкості навчання перцептрона, наприклад, за допомогою моделювання [[Рефрактерний період|рефрактерності]].<ref>''Яковлев С. С.'', Investigation of Refractoriness principle in Recurrent Neural Networks, Scientific proceedings of Riga Technical University, Issue 5, Vol.36, RTU, Riga, 2008, P. 41-48. [http://ru.vlab.wikia.com/wiki/Сергей_Яковлев:Статья:Yak2 Читати] {{Webarchive|url=https://web.archive.org/web/20160307133119/http://ru.vlab.wikia.com/wiki/Сергей_Яковлев:Статья:Yak2 |date=7 березня 2016 }} {{ref-ru}}</ref>

Після періоду, відомого як [[Зима штучного інтелекту|«Зима штучного інтелекту»]], інтерес до кібернетичним моделей відродився в 1980-х роках, оскільки прихильники символьного підходу в [[ШІ]] так і не змогли підібратися до вирішення питань про «Розуміння» і «Значення», через що [[машинний переклад]] і технічне розпізнавання образів досі володіють неусувними недоліками. Сам Мінський публічно висловив жаль, що його виступ завдав шкоди концепції перцептронів, хоча книга лише показувала недоліки окремо взятого пристрою та деяких його варіацій. Але в основному [[ШІ]] став синонімом символьного підходу, що виражався у складанні все складніших програм для комп'ютерів, що моделюють складну діяльність [[Головний мозок людини|мозку людини]].

== Багатокласовий перцептрон ==

Як і більшість інших методик для тренування лінійних класифікаторів, перцептрон природно узагальнюється до {{нп|Багатокласова класифікація|багатокласової класифікації||Multiclass classification}}. Тут вхід <math>x</math> та вихід <math>y</math> витягуються з довільних множин. Функція представлення ознак <math>f(x,y)</math> відображує кожну можливу пару входів/виходів на скінченновимірний дійснозначний вектор ознак. Як і раніше, вектор ознак множиться на ваговий вектор <math>w</math>, але тепер отримуваний бал використовується для вибору серед багатьох можливих виходів:

: <math>\hat y = \operatorname{argmax}_y f(x,y) \cdot w.</math>

Навчання, знов-таки, проходить зразками, передбачуючи вихід для кожного, залишаючи ваги незмінними коли передбачений вихід відповідає цільовому, і змінюючи їх, коли ні. Уточненням стає:

: <math> w_{t+1} = w_t + f(x, y) - f(x,\hat y).</math>

Це формулювання багатокласового зворотного зв'язку зводиться до оригінального перцептрону, коли <math>x</math> є дійснозначним вектором, <math>y</math> обирається з <math>\{0,1\}</math>, а <math>f(x,y) = y x</math>.

Для деяких задач можливо обирати представлення входів/виходів та ознаки таким чином, що <math>\mathrm{argmax}_y f(x,y) \cdot w</math> буде можливо знаходити ефективно, навіть якщо <math>y</math> вибирається з дуже великої, або навіть нескінченної множини.

Останніми роками перцептронове тренування стало популярним в галузі [[Обробка природної мови|обробки природної мови]] для таких задач як [[розмічування частин мови]] та [[синтаксичний аналіз]].<ref>{{нп|Майкл Коллінз (обчислювацький лінгвіст)|Collins, M.||Michael Collins (computational linguist)}} 2002. Discriminative training methods for hidden Markov models: Theory and experiments with the perceptron algorithm in Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP '02). {{ref-en}}</ref>

== Див. також ==
* [[Біокомп'ютинг]]
* [[Баєсова мережа]]
* [[Когнітрон]]
* [[Історія штучного інтелекту]]
* [[Патерн]]

== Примітки ==
<references group="nb"/>

== Джерела ==
{{reflist|2}}

== Література ==
* {{книга
|автор          = {{Не перекладено|Михайло Мойсеєвич Бонгард|Бонгард&nbsp;М.&nbsp;М.|ru|Бонгард, Михаил Моисеевич}}
|заголовок       = Проблема узнавания
|оригінал       = 
|посилання         = http://vlabdownload.googlecode.com/files/Bongard.djvu
|місце          = М.
|видавництво   = Наука
|рік            = 1967
|сторінок        = 320
}} {{ref-ru}}
* {{книга
|автор          = Брюхомицкий,&nbsp;Ю.&nbsp;А.
|заголовок       = Нейросетевые модели для систем информационной безопасности: Учебное пособие
|посилання         = http://window.edu.ru/window_catalog/redir?id=28836&file=tsure062.pdf
|місце          = Таганрог
|видавництво   = Изд-во ТРТУ
|рік            = 2005
|сторінок        = 160
}} {{ref-ru}}
* {{стаття
| автор         = [[Воррен Маккалох|Мак-Каллок,&nbsp;У.&nbsp;С.]], {{Не перекладено|Уолтер Піттс|Питтс,&nbsp;В.||Walter Pitts}}
| заголовок      = Логическое исчисление идей, относящихся к нервной активности
| оригінал      = A logical calculus of the ideas immanent in nervous activity
| посилання        = http://vlabdownload.googlecode.com/files/mcculloch.pdf
| видання       = Автоматы
| тип           = Сб.
| місце         = М.
| рік           = 1956
| сторінки      = 363—384
}} {{ref-ru}}
* {{книга
|автор          = [[Марвін Мінський|Минский,&nbsp;М.]], [[Сеймур Пейперт|Пейперт,&nbsp;С.]]
|заголовок       = Персептроны
|оригінал       = Perceptrons
|посилання         = http://vlabdownload.googlecode.com/files/perceptrons2.djvu
|місце          = М.
|видавництво   = Мир
|рік            = 1971
|сторінок        = 261
}} {{ref-ru}}
* {{книга
|автор          = [[Френк Розенблат|Розенблатт,&nbsp;Ф.]]
|заголовок       = Принципы нейродинамики: Перцептроны и теория механизмов мозга
|оригінал       = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms
|посилання         = http://vlabdownload.googlecode.com/files/ros_principles2.djvu
|місце          = М.
|видавництво   = Мир
|рік            = 1965
|сторінок        = 480
}} {{ref-ru}}
* {{книга
|автор          = Уоссермен,&nbsp;Ф.
|заголовок       = Нейрокомпьютерная техника: Теория и практика
|оригінал       = Neural Computing. Theory and Practice
|посилання         = http://evrika.tsi.lv/index.php?name=texts&file=show&f=410
|місце          = М.
|видавництво   = Мир
|рік            = 1992
|сторінок        = 240
|isbn           = 5-03-002115-9
}} {{ref-ru}}
* {{книга
|автор          = Хайкин,&nbsp;С.
|заголовок       = Нейронные сети: Полный курс
|оригінал       = Neural Networks: A Comprehensive Foundation
|посилання         = 
|видання        = 2-е изд
|місце          = М.
|видавництво   = [[Вільямс (видавництво)|«Вильямс»]]
|рік            = 2006
|сторінок        = 1104
|isbn           = 0-13-273350-1
}} {{ref-ru}}
* {{стаття
| автор         = Яковлев&nbsp;С.&nbsp;С.
| заголовок      = Система распознавания движущихся объектов на базе искусственных нейронных сетей
| посилання        = http://ru.vlab.wikia.com/wiki/Сергей_Яковлев:стаття:RecognitionDynamic
| видання       = ИТК НАНБ
| місце         = Минск
| рік           = 2004
| сторінки      = 230—234
}} {{ref-ru}}
* {{стаття
| автор         = Kussul&nbsp;E., Baidyk&nbsp;T., Kasatkina&nbsp;L., Lukovich&nbsp;V.
| оригінал      = Rosenblatt Perceptrons for Handwritten Digit Recognition
| заголовок      = Перцептроны Розенблатта для распознавания рукописных цифр
| посилання        = http://vlabdownload.googlecode.com/files/IJCNN2001.pdf
| видання       = IEEE
| рік           = 2001
| сторінки      = 1516—1520
| ISBN          = 0-7803-7044-9
}} {{ref-en}}
* {{стаття
| автор         = Stormo&nbsp;G.&nbsp;D., Schneider&nbsp;T.&nbsp;D., Gold&nbsp;L., Ehrenfeucht&nbsp;A.
| оригінал      = Use of the 'Perceptron' algorithm to distinguish transational initiation sites in E. coli
| заголовок      = Использование перцептрона для выделения сайтов инициации в E. coli
| посилання        = http://www.ncbi.nlm.nih.gov/pmc/articles/PMC320670/pdf/nar00378-0235.pdf
| видання       = Nucleic Acids Research
| рік           = 1982
| сторінки      = P. 2997–3011
| ISBN          = 
}} {{ref-en}}

== Посилання ==
* {{cite web
 |url         = http://ru.vlab.wikia.com/wiki/Перцептрон
 |title       = Перцептрон
 |work        = 
 |publisher   = Virtual Laboratory Wiki
 |accessdate  = 2009-01-17
 |lang        = 
 |description = 
 |archiveurl  = https://www.webcitation.org/613rARwE9?url=http://ru.vlab.wikia.com/wiki/Перцептрон
 |archivedate = 19 серпня 2011
 |deadurl     = no
}} {{ref-ru}}
* {{cite web
 | url  = http://www.algoritmy.info/intellect5.html
 | title  = Появление перцептрона
 | accessdate  = 2009-01-17
 | archiveurl  = https://www.webcitation.org/613rBMFrU?url=http://www.algoritmy.info/intellect5.html
 | archivedate  = 2011-08-19
 | deadurl  = yes
 }} {{ref-ru}}
* {{cite web
 |author      = Ежов А. А., Шумский С. А.
 |authorlink  = 
 |year        = 2006
 |url         = http://www.intuit.ru/department/expert/neurocomputing/
 |title       = Нейрокомпьютинг и его применения в экономике и бизнесе
 |format      = 
 |work        = 
 |publisher   = ИНТУИТ
 |accessdate  = 2009-01-17
 |lang        = 
 |description = 
 |archiveurl  = https://www.webcitation.org/613rBmf0H?url=http://www.intuit.ru/department/expert/neurocomputing/
 |archivedate = 2011-08-19
 |deadurl     = no
}} {{ref-ru}}
* {{cite web
 |author      = Редько В. Г.
 |year        = 1999
 |url         = http://www.keldysh.ru/pages/BioCyber/Lectures/Lecture11/Lecture11.html
 |title       = Искусственные нейронные сети
 |accessdate  = 2009-01-17
 |archiveurl  = https://www.webcitation.org/613rDiAfE?url=http://www.keldysh.ru/pages/BioCyber/Lectures/Lecture11/Lecture11.html
 |archivedate = 2011-08-19
 |deadurl     = no
}} {{ref-ru}}
* {{cite web
 |author      = Яковлев С. С.
 |year        = 2006
 |url         = http://www.tachome.times.lv/Articles/Linejnost&Invariantnost_2006/Invariantnost.pdf
 |title       = Линейность и инвариантность в искусственных нейронных сетях
 |format      = pdf
 |accessdate  = 2009-01-17
 |archiveurl  = https://www.webcitation.org/613rEbDlz?url=http://www.tachome.times.lv/Articles/Linejnost
 |archivedate = 2011-08-19
 |deadurl     = yes
}} {{ref-ru}}
* {{cite web
 |author      = Estebon, M. D.; Tech, V.
 |year        = 1997
 |url         = http://ei.cs.vt.edu/~history/Perceptrons.Estebon.html
 |title       = Perceptrons: An Associative Learning Network
 |language    = en
 |accessdate  = 2009-01-17
 |archiveurl  = https://www.webcitation.org/613rF8fxO?url=http://ei.cs.vt.edu/~history/Perceptrons.Estebon.html
 |archivedate = 2011-08-19
 |deadurl     = no
}} {{ref-en}}
* {{cite web
 |author      = Беркинблит М. Б.
 |year        = 1993
 |url         = http://www.katenke.net/static/berkinblit/perseptron.html
 |title       = Нейронные сети. Глава "Перцептроны и другие обучающиеся классификационные системы"
 |accessdate  = 2009-01-17
 |archiveurl  = https://www.webcitation.org/613rFYD1N?url=http://www.katenke.net/static/berkinblit/perseptron.html
 |archivedate = 2011-08-19
 |deadurl     = yes
}} {{ref-ru}}
* [http://www.cs.nott.ac.uk/~gxk/courses/g5aiai/006neuralnetworks/perceptron.xls SergeiAlderman-ANN.rtf] {{Webarchive|url=https://web.archive.org/web/20100326131208/http://www.cs.nott.ac.uk/~gxk/courses/g5aiai/006neuralnetworks/perceptron.xls |date=26 березня 2010 }}
* [http://www.cimne.com/flood Flood: An Open Source Neural Networks C++ Library] {{Webarchive|url=https://web.archive.org/web/20111005222333/http://www.cimne.com/flood/ |date=5 жовтня 2011 }}
* [http://page.mi.fu-berlin.de/rojas/neural/chapter/K3.pdf Chapter 3 Weighted networks - the perceptron ] {{Webarchive|url=https://web.archive.org/web/20070824033212/http://page.mi.fu-berlin.de/rojas/neural/chapter/K3.pdf |date=24 серпня 2007 }} and [http://page.mi.fu-berlin.de/rojas/neural/chapter/K4.pdf Chapter 4 Perceptron learning] {{Webarchive|url=https://web.archive.org/web/20070824034132/http://page.mi.fu-berlin.de/rojas/neural/chapter/K4.pdf |date=24 серпня 2007 }} of [http://page.mi.fu-berlin.de/rojas/neural/index.html.html ''Neural Networks - A Systematic Introduction''] {{Webarchive|url=https://web.archive.org/web/20160122162741/http://page.mi.fu-berlin.de/rojas/neural/index.html.html |date=22 січня 2016 }} by [[Рауль Рохас|Raúl Rojas]] (ISBN 978-3-540-60505-8) {{ref-en}}
* [http://www-cse.ucsd.edu/users/elkan/250B/perceptron.pdf Pithy explanation of the update rule] {{Webarchive|url=https://web.archive.org/web/20081031151040/http://www-cse.ucsd.edu/users/elkan/250B/perceptron.pdf |date=31 жовтня 2008 }} by Charles Elkan {{ref-en}}
* [https://web.archive.org/web/20090722011842/http://dynamicnotions.blogspot.com/2008/09/single-layer-perceptron.html C# implementation of a perceptron]
* [http://www.csulb.edu/~cwallis/artificialn/History.htm History of perceptrons] {{Webarchive|url=https://web.archive.org/web/20090114064919/http://www.csulb.edu/~cwallis/artificialn/History.htm |date=14 січня 2009 }} {{ref-en}}
* [http://www.cis.hut.fi/ahonkela/dippa/node41.html Mathematics of perceptrons] {{Webarchive|url=https://web.archive.org/web/20081028172223/http://www.cis.hut.fi/ahonkela/dippa/node41.html |date=28 жовтня 2008 }} {{ref-en}}
* [https://web.archive.org/web/20090225083638/http://library.thinkquest.org/18242/perceptron.shtml Perceptron demo applet and an introduction by examples] {{ref-en}}

{{Диференційовні обчислення}}

[[Категорія:Штучний інтелект]]
[[Категорія:Нейронні мережі]]
[[Категорія:Перцептрон]]
[[Категорія:Нейробіологія]]
[[Категорія:Алгоритми класифікації]]
[[Категорія:Штучні нейронні мережі]]