Перегляд вихідного коду сторінки Некероване навчання

{{Short description|Одна з парадигм у машинному навчанні}}
'''Некеро́ване навча́ння''',<ref name="СинєглазовЧумаченко2022" /><ref name="ДудаЗіСпівавт2018" /><ref name="В'юненкоЗіСпівавт2021" /><ref name="КопивницькаМагас2023" /> '''неконтрольо́ване навча́ння''',<ref name="Мальцев2021" /><ref name="МельникБерестенко2022" /> '''навча́ння без на́гляду''',<ref name="ІваніченкоСаблінаКравчук2021" /> '''навча́ння без учи́теля'''<ref name="ЛавренюкНовіков2018" /> ({{lang-en|unsupervised learning}})&nbsp;— це парадигма [[Машинне навчання|машинного навчання]], в якій, на відміну від [[Кероване навчання|керованого]] та [[Напівкероване навчання|напівкерованого навчання]], алгоритми навчаються образів виключно з немічених даних.

== Нейронні мережі ==

=== Завдання й методи ===
[[Файл:Task-guidance_uk.png|ліворуч|міні|300x300пкс|Схильність завдань використовувати керовані та некеровані методи. Перетин кіл назвами завдань навмисний. Він показує, що класичне відокремлення творчих завдань (ліворуч) із застосуванням некерованих методів у сучасних схемах навчання розмите.]]
{{Машинне навчання|Парадигми}}

Завдання нейронних мереж часто класифікують як розрізнювальні ({{lang-en|discriminative}}, розпізнавання) та породжувальні ({{lang-en|generative}}, уявляння). Часто, але не завжди, розрізнювальні завдання використовують керовані методи, а породжувальні&nbsp;— некеровані (див. [[Діаграма Венна|діаграму Венна]]); проте цей поділ дуже розмитий. Наприклад, розпізнавання об'єктів надає перевагу керованому навчанню, але некероване навчання також може кластерувати об'єкти в групи. Крім того, в міру прогресу деякі завдання застосовують обидва методи, а деякі переходять від одного до іншого. Наприклад, розпізнавання зображень розпочалося як сильно кероване, але стало гібридним, застосувавши некероване попереднє навчання, а потім знову перейшло до керованості з появою [[Виключення (нейронні мережі)|виключення]], [[Випрямляч (нейронні мережі)|випрямляча]] та [[Темп навчання|адаптивних темпів навчання]].

=== Тренування ===

Під час фази тренування некерована мережа намагається імітувати дані, які їй дають, і використовує похибку у своєму імітованому виході, щоб виправляти себе (себто виправляти свої ваги та зміщення). Іноді похибку виражають як низьку ймовірність видавання помилкового виходу, або це може бути виражено як нестабільний високоенергетичний стан у мережі.

На відміну до переважного використання в керованих методах [[Зворотне поширення|зворотного поширення]], некероване навчання також використовує й інші методи, зокрема: гопфілдове правило навчання, больцманове правило навчання, [[контрастове розходження]], {{нп|Алгоритм неспання — сну|неспання — сон||Wake-sleep algorithm}}, {{нп|варіаційне висновування|||Variational inference}}, [[Максимальна правдоподібність|максимальну правдоподібність]], [[Максимум апостеріорної ймовірності|максимальне апостеріорне]], {{нп|ґіббзове вибирання|||Gibbs sampling}} та зворотне поширення похибок відтворення або перепараметрування прихованого стану. Докладніше див. таблицю нижче.

=== Енергія ===

Функція енергії ({{lang-en|energy function}})&nbsp;— це макроскопічна міра стану збудження мережі. У машинах Больцмана вона виконує роль функції витрат ({{lang-en|cost function}}). Ця аналогія з фізикою натхнена аналізом макроскопічної енергії газу Людвіга Больцмана на основі мікроскопічних імовірностей руху частинок. <math>p \propto e^{-E/kT}</math>, де ''k''&nbsp;— стала Больцмана, а ''T''&nbsp;— температура. У мережі [[Обмежена машина Больцмана|ОМБ]] цим відношенням є <math>p = e^{-E} / Z</math>,<ref name="Hinton2010" /> де <math>p</math> та <math>E</math> пробігають всі можливі схеми ({{lang-en|pattern}}) збудження, а <math>\textstyle{Z = \sum_{\scriptscriptstyle{\text{All Patterns}}} e^{-E(\text{pattern})}}</math>. Якщо точніше, <math>p(a) = e^{-E(a)} / Z</math>, де <math>a</math>&nbsp;— схема збудження всіх нейронів (видимих і прихованих). Тому ранні нейронні мережі носять назву «машина Больцмана» ({{lang-en|Boltzmann machine}}). Пол Смоленський називає <math>-E\,</math> ''гармонією'' ({{lang-en|Harmony}}). Мережа шукає низьку енергію, що є високою гармонією.

=== Мережі ===

У цій таблиці наведено схеми зв'язності різних некерованих мереж, деталі яких буде наведено в розділі Порівняння мереж. Кола&nbsp;— це нейрони, а ребра між ними&nbsp;— це ваги з'єднань. Зі зміною конструкції мереж функції додаються, щоби відкрити нові можливості, або усуваються, щоби пришвидшити навчання. Наприклад, нейрони змінюються між детермінованими (Гопфілда) та стохастичними (Больцмана), щоби забезпечити робастний вихід, ваги усуваються в межах шару (ОМБ), щоби прискорити навчання, або з'єднанням дозволяється стати асиметричними (Гельмгольца).

{| class="wikitable"
! [[Мережа Гопфілда|Гопфілда]]
! [[Машина Больцмана|Больцмана]]
! [[Обмежена машина Больцмана|ОМБ]]
! [[Складена обмежена машина Больцмана|Складена Больцмана]]
|-
| [[Файл:Hopfield-net-vector.svg|міні|Мережа на основі магнітних доменів у залізі з одним самоз'єднаним шаром. Її можливо використовувати як [[Асоціативна пам'ять|асоціативну пам'ять]].]]
| [[Файл:Boltzmannexamplev1.png|міні|Мережу розділено на 2 шари (прихований і видимий), але все ще використовують симетричні двобічні ваги. Відповідно до больцманової термодинаміки, окремі ймовірності породжують макроскопічні енергії.]]
| [[Файл:Restricted_Boltzmann_machine-uk.svg|міні|Обмежена машина Больцмана. Це машина Больцмана, де бічні з'єднання всередині шарів заборонено, щоби зробити аналіз піддатливим.]]
| [[Файл:Stacked-boltzmann_uk.png|міні|Ця мережа має кілька ОМБ для кодування ієрархії прихованих ознак. Після тренування однієї ОМБ додають ще один блакитний прихований шар (див. ОМБ ліворуч), і 2 верхні шари тренують як червоно-блакитну ОМБ. Відтак, середні шари ОМБ діють як приховані або видимі залежно від того, у якій фазі тренування вони перебувають.]]
|}

{| class="wikitable"
! {{нп|Машина Гельмгольца|Гельмгольца||Helmholtz machine}}
! [[Автокодувальник]]
! [[Варіаційний автокодувальник|ВАК]]
|-
| [[Файл:Helmholtz_Machine.png|міні|Замість двоспрямованого симетричного з'єднання складених машин Больцмана маємо окремі односпрямовані з'єднання, що утворюють цикл. Вона виконує як породжування, так і розрізнювання.]]
| [[Файл:Autoencoder_schema_uk.png|міні|Мережа прямого поширення, яка прагне знайти добре середньошарове подання світу свого входу. Ця мережа детермінована, тому вона не така робастна, як її наступник, ВАК.]]
| [[Файл:VAE_blocks_uk.png|міні|Застосовує до автокодувальника варіаційне висновування. Середній шар&nbsp;— це набір середніх значень і дисперсій для гауссових розподілів. Ця стохастична природа уможливлює робастніше уявляння, ніж у детермінованого автокодувальника.]]
|}

З-поміж людей, чиїми іменами названо ці мережі, безпосередньо з нейронними мережами працював лише Гопфілд. Больцман та Гельмгольц були раніше за створення штучних нейронних мереж, але їхні роботи в галузі фізики та фізіології надихнули використані аналітичні методи.

=== Історія ===
{| class="wikitable"
| 1969 рік
| Книга «{{нп|Перцептрони (книга)|Перцептрони||Perceptrons (book)}}» Мінського та Пейперта показує, що [[перцептрон]] без прихованих шарів неспроможний на [[Виключна диз'юнкція|виключне «або»]]
|-
| 1970-ті роки
| (дати приблизні) Перша [[Зима штучного інтелекту|зима ШІ]]
|-
| 1974 рік
| Магнітна модель Ізінга запропонована {{нп|Вільям Артур Літл (фізик)|В. А. Літлом|de|William A. Little}} для пізнавання
|-
| 1980 рік
| Фукусіма представляє [[неокогнітрон]], який пізніше назвали [[Згорткова нейронна мережа|згортковою нейронною мережею]]. Його переважно використовують у керованім навчанні, але він заслуговує на згадку й тут.
|-
| 1982 рік
| Видозміну Ізінга, мережу Гопфілда, описано Джоном Гопфілдом як [[Асоціативна пам'ять|асоціативну пам'ять]] і класифікатори.
|-
| 1983 рік
| Видозміну Ізінга, машину Больцмана з імовірнісними нейронами, описано [[Джефрі Гінтон|Гінтоном]] і {{нп|Террі Сейновський|Сейновським||Terry Sejnowski}} по слідах праці Шерінгтона та Кіркпатріка 1975 року.
|-
| 1986 рік
| {{нп|Пол Смоленський|||Paul Smolensky}} публікує «Теорію гармонії», яка є ОМБ з практично тією ж больцмановою функцією енергії. Смоленський не надав практичної схеми тренування. Гінтон зробив це в середині 2000-х.
|-
| 1995 рік
| Шмідхубер представляє нейрон [[Довга короткочасна пам'ять|ДКЧП]] для мов.
|-
| 1995 рік
| Даян та Гінтон представляють машину Гельмгольца
|-
| 1995-2005 роки
| (дати приблизні) Дуга [[Зима штучного інтелекту|зима ШІ]]
|-
| 2013 рік
| Кінгма, Резенде й інші представили варіаційні автокодувальники як баєсову графову ймовірнісну мережу з нейронними мережами як складовими.
|}

=== Конкретні мережі ===

Тут ми висвітлюємо деякі характеристики обраних мереж. Подробиці щодо кожної наведено в порівняльній таблиці нижче.

{{Glossary}}
{{Term|[[Мережа Гопфілда]]}}
{{Defn|Мережі Гопфілда надихнув феромагнетизм. Нейрон відповідає домену заліза з бінарними магнітними моментами Вгору та Донизу, а з'єднання нейронів відповідають впливам доменів один на одного. Симетричні з’єднання уможливлюють формулювання глобальної енергії. Під час висновування мережа уточнює кожен стан використовуючи стандартну функцію кроку збудження. Симетричні ваги та правильні функції енергії гарантують збіжність до стабільного візерунку збудження. Асиметричні ваги аналізувати складно. Мережі Гопфілда використовують як асоціативну пам’ять.}}

{{Term|[[Машина Больцмана]]}}
{{Defn|1=Це стохастичні мережі Гопфілда. Значення їхнього стану вибирається з цієї [[Функція густини ймовірності|функції густини ймовірності]] таким чином: припустімо, що бінарний нейрон спрацьовує з імовірністю Бернуллі ''p''(1) = 1/3 і зупиняється з ''p''(0) = 2/3. З цього роблять вибірку, беручи ''рівномірно'' розподілене випадкове число ''y'' та підставляючи його до оберненої [[Функція розподілу ймовірності|функції розподілу ймовірності]], що в даному випадку є відтинково сталою функцією з порогом 2/3. Обернена функція = { 0 якщо x <= 2/3, 1 якщо x > 2/3 }.}}

{{Term|Сигмоїдна мережа переконань}}
{{Defn|1=Представлена Редфордом Нілом 1992 року, ця мережа застосовує ідеї ймовірнісних графових моделей до нейронних мереж. Ключова відмінність полягає в тому, що вузли в графових моделях мають заздалегідь призначені значення, тоді як ознаки нейронів мережі переконань визначаються після тренування. Мережа являє собою розріджено зв’язаний орієнтований ациклічний граф, що складається з бінарних стохастичних нейронів. Правило навчання походить від максимальної правдоподібності на ''p''(X): Δ''w''<sub>''ij''</sub> <math>\propto</math> ''s''<sub>''j''</sub> * (''s''<sub>''i''</sub> - ''p''<sub>''i''</sub>), де ''p''<sub>''i''</sub> = 1 / ( 1 + ''e''<sup>зважені входи до нейрону ''i''</sup>). ''s''<sub>''j''</sub> це збудження з незміщеної вибірки апостеріорного розподілу, і це проблематично через проблему редукції причини ({{lang-en|Explaining Away}}), порушену Джудою Перлом. {{нп|Варіаційні баєсові методи|||Variational Bayesian methods}} використовують сурогатне апостеріорне й відверто ігнорують цю складність.}}

{{Term|[[Глибока мережа переконань]]}}
{{Defn|Ця мережа, представлена Гінтоном, є гібридом ОМБ та сигмоїдної мережі переконань. Верхні 2 шари — це ОМБ, а другий шар униз утворює сигмоїдну мережу переконань. Її тренують методом [[Складена обмежена машина Больцмана|складеної ОМБ]], а потім відкидають ваги розпізнавання під верхньою ОМБ. Станом на 2009 рік оптимальною глибиною видавалися 3—4 шари.<ref name="HintonMlss2009" />}}

{{Term|[[Машина Гельмгольца]]}}
{{Defn|Це перші джерела натхнення варіаційних автокодувальників. Це 2 мережі, об’єднані в одну: прямі ваги забезпечують розпізнавання, а зворотні втілюють уявляння. Можливо, це перша мережа, яка робила і те, й інше. Гельмгольц не працював у сфері машинного навчання, але він надихнув думку про «механізм статистичного висновування, функцією якого є висновувати ймовірні причини сенсо́рного входу».<ref name="nc95">{{Cite journal|title = The Helmholtz machine.|url = https://archive.org/details/sim_neural-computation_1995-09_7_5/page/889|journal = Neural Computation|date = 1995|pages = 889–904|volume = 7|issue = 5|first1 = Dayan|last1 = Peter|authorlink1=Пітер Даян|first2 = Geoffrey E.|last2 = Hinton|authorlink2=Джефрі Гінтон|first3 = Radford M.|last3 = Neal|authorlink3=Редфорд Ніл|first4 = Richard S.|last4 = Zemel|authorlink4=Річард Земель|doi = 10.1162/neco.1995.7.5.889|pmid = 7584891|s2cid = 1890561|hdl = 21.11116/0000-0002-D6D3-E|hdl-access = free|language = en}} {{closed access}}</ref> Стохастичний бінарний нейрон видає ймовірність того, що його стан дорівнює 0 або 1. Вхідні дані зазвичай не вважають шаром, але в породжувальному режимі машини Гельмгольца шар даних отримує вхідні дані від середнього шару й має для цієї мети окремі ваги, тож його вважають шаром. Отже, ця мережа має 3 шари.}}

{{Term|[[Варіаційний автокодувальник]]}}
{{Defn|Вони натхнені машинами Гельмгольца та поєднують імовірнісну мережу з нейронними мережами. Автокодувальник&nbsp;— це 3-шарова мережа асоціативної пам'яті, де середній шар має бути деяким внутрішнім поданням образів входу. Нейронна мережа кодувальника&nbsp;— це розподіл імовірностей ''q''<sub>φ</sub>(''z'' коли ''x''), а мережа декодувальника&nbsp;— ''p''<sub>θ</sub>(''x'' коли ''z''). Ваги називають фі та тета, а не ''W'' та ''V'', як у Гельмгольца,&nbsp;— косметична відмінність. Ці 2 мережі тут можуть бути повністю з’єднаними, або використовувати іншу нейромережну схему.}}
{{Glossary end}}

=== Порівняння мереж ===

{| class="wikitable"
!
! Гопфілда
! Больцмана
! ОМБ
! Складена ОМБ
! Гельмгольца
! Автокодувальник
! ВАК
|-
| '''Використання й видатні застосування'''
| Асоціативна пам'ять, задача комівояжера
| Асоціативна пам'ять. Свобода з'єднань ускладнює аналіз цієї мережі.
| розпізнавання образів. використовували в цифрах ''MNIST'' та мовленні.
| розпізнавання та уявляння. тренується некерованим попереднім тренуванням та/або керованим тонким настроюванням.
| уявляння, імітування
| мова: творче написання, переклад. бачення: покращування розмитих зображень
| породжування реалістичних даних
|-
| '''Нейрон'''
| детермінований бінарний стан. Збудження = { 0 (або -1), якщо ''x'' від'ємне, 1 в іншому випадку }
| стохастичний бінарний нейрон Гопфілда
| ← те саме. (розширено до дійснозначних у середині 2000-х)
| ← те саме
| ← те саме
| мова: ДКЧП. зір: локальні рецептивні поля. зазвичай дійснозначне [[Випрямляч (нейронні мережі)|випрямлячеве]] збудження.
| нейрони середнього шару кодують середні значення та дисперсії для гауссіанів. У режимі виконання (висновування) вихід середнього шару є вибірковими значеннями з цих гауссіанів.
|-
| '''З'єднання'''
| 1 шар із симетричними вагами. Без самоз'єднань.
| 2 шари. 1 прихований та 1 видимий. симетричні ваги.
| ← те саме.<br/>бічних зв'язків усередині шару немає.
| верхній шар неорієнтований, симетричний. інші шари двобічні, асиметричні.
| 3 шари: асиметричні ваги. 2 мережі об'єднано в 1.
| 3 шари. Вхід вважають шаром, навіть попри відсутність вхідних ваг. рекурентні шари для [[Обробка природної мови|ОПМ]]. згортки прямого поширення для бачення. вхід і вихід мають однакову кількість нейронів.
| 3 шари: вхід, кодувальник, декодувальник вибірки з розподілів. вибірку не вважають шаром
|-
| '''Висновування й енергія'''
| Енергію задано ґіббзовою ймовірнісною мірою: <math>E = -\frac12\sum_{i,j}{w_{ij}{s_i}{s_j}}+\sum_i{\theta_i}{s_i}</math>
| ← те саме
| ← те саме
|
| мінімізувати [[КЛ-розходження]]
| висновування лише пряме. попередні мережі некерованого навчання працювали в ''обох'' напрямках
| мінімізація похибки = похибка відбудови - [[Розходження Кульбака — Лейблера|РКЛ]]
|-
| '''Тренування'''
| Δ''w<sub>ij</sub>'' = ''s<sub>i</sub>''*''s<sub>j</sub>'' для нейрона +1/-1
| Δ''w<sub>ij</sub>'' = ''e''*(''p<sub>ij</sub>'' &minus; ''p''<nowiki/>'<sub>''ij''</sub>). Це виведено з мінімізування РКЛ. ''e'' = темп навчання, ''p''<nowiki/>' = передбачений, а ''p'' = фактичний розподіл.
| Δ''w<sub>ij</sub>'' = ''e''*(< ''v<sub>i</sub>'' ''h<sub>j</sub>'' > <sub>даних</sub> &minus; < ''v<sub>i</sub>'' ''h<sub>j</sub>'' > <sub>рівноваги</sub>). Це вигляд контрастового розходження з вибіркою за Ґіббзом. «<>»&nbsp;— математичні сподівання.
| ← подібне. тренувати 1 шар за раз. наближений стан рівноваги з 3-сегментним проходом. зворотного поширення немає.
| 2-фазове навчання неспання-сон
| зворотне поширення похибки відбудови
| перепараметрувати прихований стан для зворотного поширення
|-
| '''Сила'''
| нагадує фізичні системи, бо успадковує їхні рівняння
| ← те саме. приховані нейрони діють як внутрішнє подання зовнішнього світу
| швидша й практичніша схема тренування, ніж у машин Больцмана
| тренується швидко. дає ієрархічний шар ознак
| помірно анатомічна. піддається аналізу за допомогою теорії інформації та статистичної механіки
|
|
|-
| '''Слабкість'''
|
| важко тренувати через бічні з'єднання
| рівновага вимагає забагато ітерацій
| цілочислові й дійснозначні нейрони складніші.
|
|
|
|}

=== Геббове навчання, ТАР, СОК ===

Класичним прикладом некерованого навчання у дослідженні нейронних мереж є принцип [[Дональд Гебб|Дональда Гебба]], а саме, що нейрони, які спрацьовують разом, з'єднуються докупи.<ref name="Buhmann" /> У [[Геббове навчання|геббовім навчанні]] з'єднання зміцнюється незалежно від помилки, і є виключно функцією збігу потенціалів дії двох нейронів.<ref name="Comesana" /> Подібна версія, яка змінює синаптичні ваги, враховує час між потенціалами дії ({{нп|спайкова час-залежна пластичність|||Spike-timing-dependent plasticity}},<ref name="ЧернетченкоМілихЛуданов2019" /><ref name="Чернетченко2019" /> або {{lang-en|STDP}}). За припущеннями, геббове навчання лежить в основі низки когнітивних функцій, таких як [[розпізнавання образів]] та експериментальне навчання.

Серед [[Штучна нейронна мережа|нейромережних моделей]], в алгоритмах некерованого навчання широко використовують [[Самоорганізаційна карта|самоорганізаційну карту]] (СОК, {{lang-en|SOM}}) та {{нп|Теорія адаптивного резонансу|теорію адаптивного резонансу||Adaptive resonance theory}} (ТАР, {{lang-en|ART}}). СОК&nbsp;— це топографічне впорядкування, в якому сусідні місця на карті подають входи з подібними властивостями. Модель ТАР дозволяє кількості кластерів змінюватися з розміром задачі та дозволяє користувачеві контролювати ступінь подібності між членами одних і тих же кластерів за допомогою визначаної користувачем сталої, званої параметром пильності ({{lang-en|vigilance parameter}}). Мережі ТАР використовують для багатьох завдань розпізнавання образів, таких як [[автоматичне розпізнавання цілей]] та обробка сейсмічних сигналів.<ref name="Carpenter" />

== Імовірнісні методи ==

Двома основними методами, які використовують у некерованім навчанні, є [[метод головних компонент]] і [[кластерний аналіз]]. [[Кластерний аналіз]] використовують у некерованім навчанні для групування, або сегментування, наборів даних зі спільними атрибутами з метою екстраполювання алгоритмічних зв'язків.<ref name="tds-ul" /> Кластерний аналіз&nbsp;— це розділ [[Машинне навчання|машинного навчання]], який групує дані, які не було {{нп|Мічені дані|мічено||Labeled data}}, класифіковано чи категоризовано. Замість того, щоби реагувати на зворотний зв'язок, кластерний аналіз встановлює спільні риси в даних і реагує залежно від наявності або відсутності таких спільних рис у кожному новому примірнику даних. Цей підхід допомагає виявляти аномальні точки даних, які не допасовуються до жодної з груп.

Основним застосуванням некерованого навчання є [[оцінювання густини]] у [[Статистика|статистиці]],<ref name="JordanBishop2004" /> хоча некероване навчання охоплює багато інших областей, включно з узагальнюванням та пояснюванням ознак даних. Його можливо порівняти з керованим навчанням, сказавши, що тоді як кероване навчання має на меті виснувати [[умовний розподіл імовірності]], обумовлений міткою вхідних даних; некероване навчання має на меті виснувати [[Апріорна ймовірність|апріорний розподіл імовірності]].

=== Підходи ===

До деяких із найпоширеніших алгоритмів, які використовують у некерованім навчанні, належать: (1) кластерування, (2) виявляння аномалій, (3) підходи до навчання моделей з латентними змінними. Кожен підхід використовує декілька методів, а саме:

* До методів [[кластерування]] належать: [[ієрархічне кластерування]],<ref name="Hastie" /> [[Кластерування методом k–середніх|''k''-середні]],<ref name="tds-kmeans" /> {{нп|сумішеві моделі|||Mixture models}}, алгоритми ''[[DBSCAN]]'' та ''[[OPTICS]]''
* До методів [[виявляння аномалій]] належать [[коефіцієнт локального відхилення]] та {{нп|ізоляційний ліс|||Isolation forest}}
* Підходи до навчання {{нп|Модель з латентними змінними|моделей з латентними змінними||Latent variable model}} такі як [[алгоритм очікування-максимізації]] ({{lang-en|EM}}), [[метод моментів]] і методи {{нп|Сліпе виокремлювання сигналу|сліпого виокремлювання сигналу||Blind signal separation}} ([[метод головних компонент]], {{нп|аналіз незалежних компонент|||Independent component analysis}}, [[розклад невід'ємних матриць]], [[Сингулярний розклад матриці|сингулярний розклад матриць]])

=== Метод моментів ===

Одним зі статистичних підходів до некерованого навчання є [[метод моментів]]. У ньому невідомі (цільові) параметри в моделі пов'язані з моментами однієї або кількох випадкових величин, і відтак, ці невідомі параметри можливо оцінювати, виходячи з цих моментів. Моменти зазвичай оцінюють з вибірок емпірично. Основними моментами є моменти першого та другого порядків. Для випадкового вектора моментом першого порядку є вектор [[Середнє значення|середнього значення]], а моментом другого порядку є [[коваріаційна матриця]] (коли середнє нульове). Моменти вищих порядків зазвичай подають за допомогою [[тензор]]ів, які є узагальненням матриць до вищих порядків як багатовимірних масивів.

Зокрема, показано ефективність методу моментів у навчанні параметрів {{нп|Модель з латентними змінними|моделей з латентними змінними||Latent variable model}}. Це статистичні моделі, де на додачу до спостережуваних змінних також існує набір латентних змінних, що не спостерігаються. Дуже практичним прикладом моделей з латентними змінними у машинному навчанні є [[тематичне моделювання]], яке є статистичною моделлю для породжування слів (спостережуваних змінних) у документі на основі теми (латентної змінної) документа. У тематичному моделюванні слова в документі породжуються відповідно до відмінних статистичних параметрів, коли змінюється тема документа. Показано, що метод моментів (методики тензорного розкладу) дозволяє послідовно отримувати параметри великого класу моделей з латентними змінними за деяких припущень.<ref name="TensorLVMs" />

[[Алгоритм очікування-максимізації]] ({{lang-en|EM}}) також є одним із найпрактичніших методів навчання моделей з латентними змінними. Проте він може застрягати в локальних оптимумах, і немає гарантії, що алгоритм збігатиметься до справжніх невідомих параметрів моделі. На відміну від нього, для методу моментів глобальна збіжність за певних умов гарантована.

== Див. також ==

* [[Автоматизоване машинне навчання]]
* [[Кластерний аналіз]]
* [[Виявляння аномалій]]
* [[Алгоритм очікування-максимізації]]
* {{нп|Породжувальна топографічна карта|||Generative topographic map}}
* [[Метанавчання (інформатика)]]
* [[Багатовимірний аналіз]]
* [[Мережа радіальних базисних функцій]]
* [[Слабке керування]]

== Примітки ==
{{Примітки|
refs=
<ref name="tds-ul"          >{{Cite web|url=https://towardsdatascience.com/unsupervised-machine-learning-clustering-analysis-d40f2b34ae7e|title=Unsupervised Machine Learning: Clustering Analysis|last=Roman|first=Victor|date=2019-04-21|website=Medium|access-date=2019-10-01|language=en}}</ref>
<ref name="JordanBishop2004">{{cite book |first1=Michael I. |last1=Jordan |first2=Christopher M. |last2=Bishop |chapter=7. Intelligent Systems §Neural Networks |editor-first=Allen B. |editor-last=Tucker |title=Computer Science Handbook |url=https://www.taylorfrancis.com/books/mono/10.1201/9780203494455/computer-science-handbook-allen-tucker |edition=2nd |publisher=Chapman & Hall/CRC Press |year=2004 |doi=10.1201/9780203494455 |isbn=1-58488-360-X |language=en }}</ref>
<ref name="Hastie"          >{{harvnb|Hastie|Tibshirani|Friedman|2009|pp=485–586}}</ref>
<ref name="tds-kmeans"      >{{Cite web|url=https://towardsdatascience.com/understanding-k-means-clustering-in-machine-learning-6a6e67336aa1|title=Understanding K-means Clustering in Machine Learning|last=Garbade|first=Dr Michael J.|date=2018-09-12|website=Medium|language=en|access-date=2019-10-31}}</ref>
<ref name="TensorLVMs"      >{{cite journal |last1=Anandkumar |first1=Animashree |last2=Ge |first2=Rong |last3=Hsu |first3=Daniel |last4=Kakade |first4=Sham |first5= Matus |last5=Telgarsky |date=2014 |title=Tensor Decompositions for Learning Latent Variable Models |url=http://www.jmlr.org/papers/volume15/anandkumar14b/anandkumar14b.pdf |journal=Journal of Machine Learning Research |volume=15 |pages=2773–2832|bibcode=2012arXiv1210.7559A |arxiv=1210.7559 |language=en }}</ref>
<ref name="Buhmann"         >{{Cite book|last1=Buhmann|first1=J.|last2=Kuhnel|first2=H.|title= &#91;Proceedings 1992&#93; IJCNN International Joint Conference on Neural Networks|volume=4|pages=796–801|publisher=IEEE|doi=10.1109/ijcnn.1992.227220|isbn=0780305590|chapter=Unsupervised and supervised data clustering with competitive neural networks|year=1992|s2cid=62651220|language=en}}</ref>
<ref name="Comesana"        >{{Cite journal|last1=Comesaña-Campos|first1=Alberto|last2=Bouza-Rodríguez|first2=José Benito|date=June 2016|title=An application of Hebbian learning in the design process decision-making|journal=Journal of Intelligent Manufacturing|volume=27|issue=3|pages=487–506|doi=10.1007/s10845-014-0881-z|s2cid=207171436|issn=0956-5515|url=https://www.semanticscholar.org/paper/4059b77be03fea077350c106e6e9aa9fce23e8c7|language=en}}</ref>
<ref name="Carpenter"       >{{cite journal|author1=Carpenter, G.A.|author2=Grossberg, S.|name-list-style=amp|year=1988|title=The ART of adaptive pattern recognition by a self-organizing neural network|journal=Computer|volume=21|issue=3|pages=77–88|url=http://www.cns.bu.edu/Profiles/Grossberg/CarGro1988Computer.pdf|doi=10.1109/2.33|s2cid=14625094|language=en|accessdate=2023-08-11|archive-date=2018-05-16|archive-url=https://web.archive.org/web/20180516131553/http://www.cns.bu.edu/Profiles/Grossberg/CarGro1988Computer.pdf}}</ref>
<ref name="Hinton2010"      >{{cite book | last = Hinton |first=G. | date=2012 |chapter = A Practical Guide to Training Restricted Boltzmann Machines |chapter-url=http://www.cs.utoronto.ca/~hinton/absps/guideTR.pdf |publisher=Springer |title=Neural Networks: Tricks of the Trade |series=Lecture Notes in Computer Science |volume=7700 |pages=599–619 |doi=10.1007/978-3-642-35289-8_32 |isbn=978-3-642-35289-8 |language=en}}</ref>
<ref name="HintonMlss2009"  >{{cite web |people=Hinton, Geoffrey |date=September 2009 |title=Deep Belief Nets |type=video |url=https://videolectures.net/mlss09uk_hinton_dbn |language=en }}</ref>
<ref name="СинєглазовЧумаченко2022">{{cite book|url=https://ela.kpi.ua/bitstream/123456789/52775/1/Metody.pdf|last1=Синєглазов|first1=Віктор|last2=Чумаченко|first2=Олена|year=2022|title=Методи та технології напівкерованого навчання: Курс лекцій|editor-last1=Бідюк|editor-first1=П.&nbsp;І.|editor-link1=Бідюк Петро Іванович|editor-last2=Шугалей|editor-first2=Л.&nbsp;П.|publisher=[[НТУУ «КПІ ім. Ігоря Сікорського»]]|location=Київ|language=uk}}</ref>
<ref name="ДудаЗіСпівавт2018">{{cite conference|url=http://elibrary.kdpu.edu.ua/bitstream/123456789/2876/1/isdmci_2018.pdf#page=160|last1=Дуда|first1=О.&nbsp;М.|last2=Кунанець|first2=Н.&nbsp;Е.|last3=Мацюк|first3=О.&nbsp;В.|last4=Пасічник|first4=В.&nbsp;В.|title=Методи аналітичного опрацювання big data|conference=Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту|date=21—27 травня 2018|location=Залізний Порт|isbn=978-617-7573-17-2|pages=159|language=uk}}</ref>
<ref name="В'юненкоЗіСпівавт2021">{{cite conference|url=https://dspace.univd.edu.ua/bitstream/handle/123456789/10496/Aviatsiia_Promyslovist_Suspilstvo_1.09_2021.pdf?sequence=7&isAllowed=y#page=167|last=В'юненко|first1=О.&nbsp;Б.|last2=Виганяйло|first2=С.&nbsp;М.|title=Інновації та загальні проблеми підвищення рівня кібербезпеки|conference=II Міжнародна науково-практична конференція «Авіація, промисловість, суспільство»|editor-last1=Сокуренко|editor-first1=В.&nbsp;В.|editor-last2=Швець|editor-first2=Д.&nbsp;В.|editor-last3=Могілевський|editor-first3=Л.&nbsp;В.|editor-last4=Шульга|editor-first4=В.&nbsp;П.|editor-last5=Яковлєв|editor-first5=Р.&nbsp;П.|editor-last6=Шмельов|editor-first6=Ю.&nbsp;М.|volume=1|publisher=МВС України, [[Харківський національний університет внутрішніх справ]], [[Кременчуцький льотний коледж]]|date=12 травня 2021|isbn=978-966-610-243-3|pages=169|language=uk}}</ref>
<ref name="КопивницькаМагас2023">{{cite journal|last1=Кропивницька|first1=В.&nbsp;Б.|last2=Магас|first2=Д.&nbsp;М.|date=30 квітня 2023|title=Напівкероване машинне навчання для виявлення несправностей нафтогазопроводів|url=https://moderntechno.de/index.php/meit/article/view/meit26-01-010|journal=Modern engineering and innovative technologies|volume=1|issue=18|pages=33—36|doi=10.30890/2567-5273.2023-26-01-010|language=uk}}</ref>
<ref name="Мальцев2021">{{cite journal|last=Мальцев|first=А.&nbsp;Ю.|year=2021|title=Огляд принципів глибокого навчання як динамічної теорії штучного інтелекту|journal=Вчені записки Таврійського національного університету імені В.І.&nbsp;Вернадського|volume=32|issue=71|publisher=[[ТНУ ім. Вернадського]]|url=https://www.tech.vernadskyjournals.in.ua/journals/2021/6_2021/6_2021.pdf#page=105|language=uk|doi=10.32838/2663-5941/2021.6/16|issn=2663-5941}}</ref>
<ref name="МельникБерестенко2022">{{cite conference|last1=Мельник|first1=А.|last2=Берестенко|first2=Д.|year=2022|title=Дослідження методів машинного навчання|conference=Автоматика, комп’ютерно-інтегровані технології та проблеми енергоефективності в промисловості і сільському господарстві (АКІТ-2022)|location=Кропивницький|publisher=[[КНТУ]]|pages=41—42|url=http://dspace.kntu.kr.ua/jspui/bitstream/123456789/12299/1/Матеріали%20конференції_2022.pdf#page=42|language=uk}}</ref>
<ref name="ІваніченкоСаблінаКравчук2021">{{cite journal|last1=Іваніченко|first1=Є.|last2=Сабліна|first2=М.|last3=Кравчук|first3=К.|year=2021|title=Використання машинного навчання в кібербезпеці|journal=Кібербезпека: освіта, наука, техніка»|volume=4|issue=12|pages=32—142|url=https://www.csecurity.kubg.edu.ua/index.php/journal/article/view/260|language=uk}}</ref>
<ref name="ЛавренюкНовіков2018">{{cite journal|last1=Лавренюк|first1=М.&nbsp;С.|last2=Новіков|first2=О.&nbsp;М.|year=2018|title=Огляд методів машинного навчання для класифікації великих обсягів супутникових даних|journal=Системні дослідження та інформаційні технології|issue=1|pages=52-71|url=http://journal.iasa.kpi.ua/article/view/114466|doi=10.20535/SRIT.2308-8893.2018.1.04|language=uk}}</ref>
<ref name="ЧернетченкоМілихЛуданов2019">{{Cite journal|title=Апаратна реалізація імпульсної штучної нейронної мережі для детектування параметрів електрокардіографічного сигналу (ЕКГ)|url=http://journals.khnu.km.ua/vestnik/pdf/tech/pdfbase/2019/2019_4/(275)%202019-4-t.pdf#page=126|journal=Вісник Херсонського національного технічного університету|date=2019|accessdate=2023-08-10|issn=2307-5732|doi=10.31891/2307-5732|pages=126-133|volume=4|first=Д.|last=Чернетченко|first2=М.|last2=Мілих|last3=Луданов|first3=К.|issue=275|language=uk}}</ref>
<ref name="Чернетченко2019">{{Cite thesis|title=Метод та апаратно-програмний засіб обробки електрокардіографічних сигналів за допомогою штучних мультистабільних нейронних мереж|url=http://ir.lib.vntu.edu.ua/handle/123456789/28216|type=автореферат дисертації на здобуття наукового ступеня кандидата технічних наук|date=2019|accessdate=2023-08-10|language=uk|first=Д.&nbsp;В.|last=Чернетченко|publisher=[[ВНТУ]]|location=Вінниця}}</ref>
}}

== Література ==
{{refbegin}}
* {{cite book |editor1=Bousquet, O. |editor3=Raetsch, G. |editor2=von Luxburg, U. |title=Advanced Lectures on Machine Learning |url=https://archive.org/details/springer_10.1007-b100712 |publisher=Springer |year=2004 |isbn=978-3540231226 |language=en}}
* {{cite book |author1=Duda, Richard O. |author2-link=Пітер Гарт |author2=Hart, Peter E. |author3=Stork, David G. |year=2001 |chapter=Unsupervised Learning and Clustering  |title=Pattern classification |edition=2nd |publisher=Wiley |isbn=0-471-05669-3|author1-link=Річард Дуда |title-link=Класифікування образів |language=en }}
* {{cite book |first1=Trevor |last1=Hastie |authorlink1=Тревор Гасті |first2=Robert |last2=Tibshirani |authorlink2=Роберт Тібширані |first3=Jerome |last3=Friedman |chapter=Unsupervised Learning |chapter-url=https://link.springer.com/chapter/10.1007/978-0-387-84858-7_14 |title=The Elements of Statistical Learning: Data mining, Inference, and Prediction |year=2009 |publisher=Springer |isbn=978-0-387-84857-0 |pages=485–586 |doi=10.1007/978-0-387-84858-7_14 |ref=harv |language=en}}
* {{cite book |editor1-last=Hinton |editor1-first=Geoffrey |editor-link=Джефрі Гінтон |editor2-last=Sejnowski |editor2-first=Terrence J. |editor2-link=Террі Сейновський |year=1999 |title=Unsupervised Learning: Foundations of Neural Computation |publisher=[[MIT Press]] |isbn=0-262-58168-X |language=en}} 
{{refend}}

{{Диференційовні обчислення}}
{{Бібліоінформація}}

[[Категорія:Некероване навчання| ]]