Перегляд вихідного коду сторінки Навчання ознак

{{Машинне навчання|Задачі}}
В [[Машинне навчання|машинному навчанні]] '''навча́ння озна́к''' ({{lang-en|feature learning}}) або '''навча́ння предста́влень''' ({{lang-en|representation learning}})<ref name="pami">{{cite journal |author1=Y. Bengio |author2=A. Courville |author3=P. Vincent |title=Representation Learning: A Review and New Perspectives |journal= IEEE Transactions on Pattern Analysis and Machine Intelligence|year=2013|doi=10.1109/tpami.2013.50 |pmid=23787338 |volume=35 |issue=8 |pages=1798–1828|arxiv=1206.5538 }} {{ref-en}}</ref>&nbsp;— це набір методик, що дозволяє системі автоматично виявляти представлення, необхідні для виявлення [[Ознака (машинне навчання)|ознак]], або класифікування з сирих даних. Воно замінює ручне [[конструювання ознак]] і дозволяє машині як навчатися ознак, так і застосовувати їх для виконання конкретного завдання.

Необхідність у навчанні ознак обумовлено тим фактом, що такі завдання машинного навчання, як [[Статистична класифікація|класифікування]], часто потребують входу, що є математично та обчислювально зручним для обробки. Проте дані реального світу, такі як зображення, відео та [[давач]]еві вимірювання, ще не піддаються спробам алгоритмічного визначення конкретних ознак. Альтернативою є виявляти такі ознаки або представлення через дослідження, не покладаючись на явні алгоритми.

Навчання ознак може бути або керованим, або некерованим.

* У [[Кероване навчання|керованому навчанні]] ознак машина навчається ознак із застосуванням мічених входових даних. До прикладів належать [[Штучна нейронна мережа|керовані нейронні мережі]], [[багатошаровий перцептрон]] та (кероване) {{нп|Навчання розрідженого словника|навчання словника||Sparse dictionary learning}}.
* У [[Некероване навчання|некерованому навчанні]] ознак машина навчається ознак з неміченими входовими даними. До прикладів належать навчання словника, {{нп|метод незалежних компонент|||Independent component analysis}}, [[автокодувальник]]и, [[Розклад матриці|розклад матриць]]<ref>{{cite conference
|author1=Nathan Srebro |author2=Jason D. M. Rennie |author3=Tommi S. Jaakkola
|title=Maximum-Margin Matrix Factorization
|conference={{нп|NIPS|||Conference on Neural Information Processing Systems}}
|year=2004
}} {{ref-en}}</ref> та різні види [[Кластерний аналіз|кластерування]].<ref name="coates2011"/><ref>{{cite conference
|last1 = Csurka
|first1 = Gabriella
|last2 = Dance
|first2 = Christopher C.
|last3 = Fan
|first3 = Lixin
|last4 = Willamowski
|first4 = Jutta
|last5 = Bray
|first5 = Cédric
|title = Visual categorization with bags of keypoints
|conference = ECCV Workshop on Statistical Learning in Computer Vision
|year = 2004
|url = https://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/csurka-eccv-04.pdf
|accessdate = 22 вересня 2019
|archive-date = 13 липня 2019
|archive-url = https://web.archive.org/web/20190713040210/http://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/csurka-eccv-04.pdf
}} {{ref-en}}</ref><ref name="jurafsky">{{cite book |title=Speech and Language Processing |author1=Daniel Jurafsky|author-link=Деніел Журавський|author2=James H. Martin |publisher=Pearson Education International |year=2009 |pages=145–146}} {{ref-en}}</ref>

== Кероване ==

Кероване навчання ознак є навчанням ознак з мічених даних. Мітка даних дозволяє системі обчислювати член похибки, міру, до якої системі не вдається виробити мітку, що може бути потім використано як зворотний зв'язок для правлення процесу навчання (зниження/мінімізування цієї похибки). До його підходів належать:

=== Кероване навчання словника ===

Навчання словника виробляє набір (словник) показових елементів із входових даних, таких, що кожну точку даних може бути представлено як зважену суму показових елементів. Елементи словника та вагові коефіцієнти може бути знайдено мінімізацією середньої похибки представлення (над входовими даними), разом з [[Регуляризація (математика)|''L1''-регуляризацією]] вагових коефіцієнтів для забезпечення розрідженості (тобто, щоби представлення кожної точки даних мало лише декілька ненульових вагових коефіцієнтів).

Кероване навчання словника ({{lang-en| supervised dictionary learning}}) для оптимізації елементів словника використовує як структуру, що стоїть за входовими даними, так і мітки. Наприклад, ця<ref>{{cite journal|last1=Mairal|first1=Julien|last2=Bach|first2=Francis|last3=Ponce|first3=Jean|last4=Sapiro|first4=Guillermo|last5=Zisserman|first5=Andrew|title=Supervised Dictionary Learning|journal=Advances in Neural Information Processing Systems|date=2009}} {{ref-en}}</ref> методика керованого навчання словника застосовує навчання словника до задач класифікації шляхом спільної оптимізації на основі входових даних елементів словника, вагових коефіцієнтів для представлення точок даних, та параметрів класифікатора. Зокрема, сформульовано задачу мінімізації, в якій цільова функція складається з похибки класифікації, похибки представлення, ''L1''-регуляризації вагових коефіцієнтів, що представляють кожну точку даних (для забезпечення розрідженого представлення даних) та ''L2''-регуляризації параметрів класифікатора.

=== Нейронні мережі ===

[[Штучна нейронна мережа|Нейронні мережі]] є сімейством алгоритмів навчання, що використовують «мережу», яка складається з кількох шарів з'єднаних між собою вузлів. Їх натхнено нервовою системою тварин, де вузли розглядають як нейрони, а ребра розглядають як синапси. Кожне ребро має пов'язану з ним вагу, а мережа визначає обчислювальні правила для передавання входових даних з шару входу мережі до шару виходу. Функція мережі, пов'язана з нейронною мережею, характеризує співвідношення між шарами входу та виходу, що параметризується ваговими коефіцієнтами. Для відповідно визначених функцій мережі різні завдання навчання можливо виконувати шляхом мінімізування функції втрат над функцією мережі (ваговими коефіцієнтами).

Для виконання навчання ознак можливо використовувати багатошарові [[Штучна нейронна мережа|нейронні мережі]], оскільки вони навчаються представлення їхнього входу на прихованих шарах, яке потім використовується для класифікації або регресії на шарі виходу. Найпопулярнішою мережною архітектурою цього типу є {{нп|Сіамська нейронна мережа|сіамські мережі||Siamese neural network}}.

== {{Якір|Некероване навчання ознак}}{{Якір|Спонтанне навчання ознак}}Некероване ==

Некероване навчання ознак навчається ознак з немічених даних. Метою некерованого навчання ознак часто є виявлення ознак низької розмірності, що вловлюють певну структуру, що лежить за входовими даними високої розмірності. Коли навчання ознак виконують некерованим чином, воно уможливлює певний вид [[Напівкероване навчання|напівкерованого навчання]], коли ознаки, навчені з неміченого набору даних, потім застосовують для покращення продуктивності в керованому режимі з міченими даними.<ref name="liang">{{cite book |type=M. Eng. |author=Percy Liang |year=2005 |title=Semi-Supervised Learning for Natural Language |publisher=[[Массачусетський технологічний інститут|MIT]] |url=http://people.csail.mit.edu/pliang/papers/meng-thesis.pdf |pages=44–52 |accessdate=12 січня 2016 |archive-date=26 лютого 2015 |archive-url=https://web.archive.org/web/20150226070127/http://people.csail.mit.edu/pliang/papers/meng-thesis.pdf }} {{ref-en}}</ref><ref name="turian"/> Далі наведено кілька підходів.

=== Кластерування методом ''k''–середніх ===

Одним з підходів до векторного квантування є [[Кластерування методом к–середніх|кластерування методом ''k''–середніх]]. Зокрема, для заданої множини з ''n'' векторів кластерування методом ''k''–середніх групує їх в ''k'' кластерів (тобто, підмножин) таким чином, що кожен вектор належить до кластера з найближчим середнім значенням. Ця задача є обчислювально [[NP-складна задача|''NP''-складною]], хоча було розроблено підоптимальні [[Жадібний алгоритм|жадібні алгоритми]].

Кластерування ''k''–середніми можливо застосовувати для групування неміченого набору входів у ''k'' кластерів, з наступним використанням [[центроїд]]ів цих кластерів для формування ознак. Ці ознаки можливо виводити кількома способами. Найпростішим є додавати ''k'' двійкових ознак до кожного зразка, де кожна ознака ''j'' має одиничне значення [[тоді й лише тоді]], коли ''j''-тий центроїд, навчений ''k''–середніми, є найближчим до зразка, що розглядають.<ref name="coates2011"/> Також можливо використовувати як ознаки відстані до кластерів, принаймні після їх перетворення [[Радіальна базисна функція|радіальною базисною функцією]] (методика, яку застосовували для тренування [[Мережа радіальних базисних функцій|мереж РБФ]]<ref name="schwenker">{{cite journal |last1=Schwenker |first1=Friedhelm |last2=Kestler |first2=Hans A. |last3=Palm |first3=Günther |title=Three learning phases for radial-basis-function networks |journal=Neural Networks |volume=14 |issue=4–5 |pages=439–458 |year=2001 |citeseerx = 10.1.1.109.312 |doi=10.1016/s0893-6080(01)00027-2|pmid=11411631 }} {{ref-en}}</ref>). Котс та [[Ендрю Ин|Ин]] зауважують, що деякі варіанти ''k''–середніх поводяться подібно до алгоритмів [[Розріджене кодування|розрідженого кодування]].<ref name=Coates2012>{{cite encyclopedia |last1 = Coates |first1 = Adam |last2 = Ng |first2 = Andrew Y. |title=Learning feature representations with k-means |encyclopedia=Neural Networks: Tricks of the Trade |year = 2012 |publisher=Springer |editor=G. Montavon, G. B. Orr and {{нп|Клаус-Роберт Мюллер|K.-R. Müller||Klaus-Robert Müller}}}} {{ref-en}}</ref>

Під час порівняльної оцінки методів некерованого навчання ознак Котс, Лі та Ин з'ясували, що кластерування ''k''-середніми з відповідним перетворенням в завданні класифікації зображень перевершує винайдені пізніше [[автокодувальник]]и та [[Обмежена машина Больцмана|ОМБ]].<ref name="coates2011"/> ''K''-середні також покращують продуктивність в галузі [[Обробка природної мови|ОПМ]], особливо в [[Розпізнавання іменованих сутностей|розпізнаванні іменованих сутностей]];<ref>{{cite conference |title=Phrase clustering for discriminative learning |author1=Dekang Lin |author2=Xiaoyun Wu |conference=Proc. J. Conf. of the ACL and 4th Int'l J. Conf. on Natural Language Processing of the AFNLP |pages=1030–1038 |year=2009 |url=http://wmmks.csie.ncku.edu.tw/ACL-IJCNLP-2009/ACLIJCNLP/pdf/ACLIJCNLP116.pdf |accessdate=12 січня 2016 |archive-date=3 березня 2016 |archive-url=https://web.archive.org/web/20160303224116/http://wmmks.csie.ncku.edu.tw/ACL-IJCNLP-2009/ACLIJCNLP/pdf/ACLIJCNLP116.pdf }} {{ref-en}}</ref> там вони конкурують з {{нп|Кластерування Брауна|кластеруванням Брауна||Brown clustering}}, а також із розподіленими представленнями слів (також відомими як нейронні вкладення слів).<ref name="turian">{{cite conference |author1=Joseph Turian |author2=Lev Ratinov |author3=Yoshua Bengio |title=Word representations: a simple and general method for semi-supervised learning |conference=Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics |year=2010 |url=http://www.newdesign.aclweb.org/anthology/P/P10/P10-1040.pdf |accessdate=12 січня 2016 |archiveurl=https://web.archive.org/web/20140226202823/http://www.newdesign.aclweb.org/anthology/P/P10/P10-1040.pdf |archivedate=26 лютого 2014 |deadurl=yes }} {{ref-en}}</ref>

=== Метод головних компонент ===
{{Детальніше|Метод головних компонент}}
Для зниження розмірності часто застосовують [[метод головних компонент]] (МГК, {{lang-en|principal component analysis, PCA}}). Для заданого неміченого набору ''n'' векторів входових даних МГК породжує ''p'' (що є набагато меншим за розмірність входових даних) [[Сингулярний розклад матриці|правих сингулярних векторів]], що відповідають ''p'' найбільшим сингулярним числам матриці даних, де ''k''-тий рядок матриці даних є ''k''-тим входовим вектором входових даних, зсунутим на [[вибіркове середнє]] входу (тобто, з відніманням вибіркового середнього від вектора даних). Рівнозначно, ці сингулярні вектори є [[Власний вектор|власними векторами]], що відповідають ''p'' найбільшим власним значенням [[Вибіркове середнє|вибіркової коваріаційної матриці]] входових векторів. Ці ''p'' сингулярних векторів є векторами ознак, навченими з входових даних, і вони представляють напрямки, вздовж яких дані мають найбільший розкид.

МГК є лінійним підходом до навчання ознак, оскільки ''p'' сингулярних векторів є лінійними функціями матриці даних. Сингулярні вектори може бути породжено простим алгоритмом з ''p'' ітерацій. На ''i''-тій ітерації віднімають проєкцію матриці даних на ''(i-1)''-й власний вектор, і знаходять ''i''-тий сингулярний вектор як правий сингулярний вектор, що відповідає найбільшому сингулярному числу залишкової матриці даних.

МГК має кілька обмежень. По-перше, він припускає, що напрямки з найбільшою дисперсією становлять найвищий інтерес, що може бути не так. МГК покладається лише на ортогональні перетворення первинних даних, і використовує [[Момент (математика)|моменти даних]] лише першого та другого порядків, які можуть не добре характеризувати цей розподіл даних. Більше того, МГК може дієво зменшувати розмірність лише тоді, коли вектори входових даних є корельованими (що призводить до кількох домінантних власних значень).

=== Локальне лінійне вкладення ===

{{нп|Нелінійне зниження розмірності|Локальне лінійне вкладення||Nonlinear dimensionality reduction}} (ЛЛВ, {{lang-en|local linear embedding, LLE}}) є нелінійним підходом до навчання для породження представлень низької розмірності, що зберігають сусідство, з (неміченого) входу високої розмірності. Цей підхід було запропоновано Ровейсом та Солом 2000 року.<ref name="RowSau00">{{cite journal|last1=Roweis|first1=Sam T|last2=Saul|first2=Lawrence K|title=Nonlinear Dimensionality Reduction by Locally Linear Embedding|journal=Science |series=New Series|date=2000|volume=290|issue=5500|pages=2323–2326|doi=10.1126/science.290.5500.2323|jstor=3081722|pmid=11125150|bibcode=2000Sci...290.2323R}} {{ref-en}}</ref><ref name="SauRow00">{{cite journal|last1=Saul|first1=Lawrence K|last2=Roweis|first2=Sam T|title=An Introduction to Locally Linear Embedding|date=2000|url=http://www.cs.toronto.edu/~roweis/lle/publications.html|journal=|accessdate=12 січня 2016|archive-date=14 травня 2009|archive-url=https://web.archive.org/web/20090514055938/http://www.cs.toronto.edu/~roweis/lle/publications.html}} {{ref-en}}</ref> Загальною ідеєю ЛЛВ є відбудова первинних даних високої розмірності із застосуванням точок нижчої розмірності при збереженні деяких геометричних властивостей околів у первинному наборі даних.

ЛЛВ складається з двох основних етапів. Перший етап слугує «збереженню сусідства», на ньому кожна точка входових даних ''X<sub>i</sub>'' відбудовують як зважену суму [[Метод k-найближчих сусідів|''K'' найближчих сусідніх]] точок даних, і знаходять оптимальні вагові коефіцієнти шляхом мінімізування середньої квадратичної похибки відбудови (тобто різниці між входовою точкою та її відбудовою) за обмеження, що вагові коефіцієнти, пов'язані з кожною точкою даних, повинні в сумі давати одиницю. Другий етап слугує «зниженню розмірності» шляхом пошуку векторів у просторі нижчої розмірності, що мінімізує похибку представлення із застосуванням оптимізованих вагових коефіцієнтів з першого етапу. Зауважте, що на першому етапі вагові коефіцієнти оптимізують за незмінних даних, що можливо розв'язувати як задачу [[Метод найменших квадратів|найменших квадратів]]. На другому етапі точки нижчої розмірності оптимізують із незмінними ваговими коефіцієнтами, що можливо розв'язувати через розріджений власний розклад.

Вагові коефіцієнти відбудови, отримані на першому етапі, схоплюють «внутрішні геометричні властивості» околу у входових даних.<ref name="SauRow00"/> Вважають, що первинні дані лежать на гладкому [[многовид]]і нижчої розмірності, і очікують, що «внутрішні геометричні властивості», схоплені ваговими коефіцієнтами первинних даних, є також на цьому многовиді. Ось чому ті ж самі вагові коефіцієнти використовують на другому етапі ЛЛВ. У порівнянні з МГК, ЛЛВ є потужнішим у використанні внутрішньої структури даних.

=== Метод незалежних компонент ===

{{нп|Метод незалежних компонент|||independent component analysis}} (МНК, {{lang-en|Independent component analysis, ICA}})&nbsp;— це методика для формування представлення даних із застосуванням зваженої суми незалежних не-ґаусових компонент.<ref>{{cite journal|last1=Hyvärinen|first1=Aapo|last2=Oja|first2=Erkki|title=Independent Component Analysis: Algorithms and Applications|journal=Neural Networks|date=2000|volume=13|issue=4|pages=411–430|doi= 10.1016/s0893-6080(00)00026-5|pmid=10946390}} {{ref-en}}</ref> Припущення про не-ґаусовість накладають тому, що вагові коефіцієнти не може бути визначено однозначно, якщо всі компоненти слідують [[Нормальний розподіл|ґаусовому]] розподілу.

=== Некероване навчання словника ===

Некероване навчання словника ({{lang-en|unsupervised dictionary learning}}) для оптимізування словникових елементів не користується мітками даних, а використовує лише внутрішню структуру даних. Прикладом некерованого навчання словника є {{нп|Навчання розріджених словників|розріджене кодування||Sparse dictionary learning}}, спрямоване на навчання базисних функцій (словникових елементів) для представлення даних із немічених входових даних. Розріджене кодування можливо застосовувати для навчання переповнених словників, у яких кількість елементів є більшою за розмір входових даних.<ref>{{cite journal|last1=Lee|first1=Honglak|last2=Battle|first2=Alexis|last3=Raina|first3=Rajat|last4=Ng|first4=Andrew Y|title=Efficient sparse coding algorithms|journal=Advances in Neural Information Processing Systems|date=2007}} {{ref-en}}</ref> Аарон та ін. для навчання словника елементів, що уможливлює розріджене представлення, запропонували алгоритм {{нп|K-СРМ|''K''-{{H:title|Сингулярний розклад матриці|СРМ}}||K-SVD}} ({{lang-en|K-SVD}}).<ref>{{cite journal|last1=Aharon|first1=Michal|last2=Elad|first2=Michael|last3=Bruckstein|first3=Alfred|title=K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation|journal=IEEE Trans. Signal Process.|date=2006|volume=54|issue=11|pages=4311–4322|doi=10.1109/TSP.2006.881199|bibcode=2006ITSP...54.4311A|url=http://www.cs.technion.ac.il/~michalo/papers/IEEESubmission4.pdf|accessdate=12 січня 2016|archive-date=25 червня 2016|archive-url=https://web.archive.org/web/20160625052647/http://www.cs.technion.ac.il/~michalo/papers/IEEESubmission4.pdf}} {{ref-en}}</ref>

== Багатошарові/глибокі архітектури ==

Ієрархічна будова біологічної нервової системи надихає архітектури [[Глибоке навчання|глибокого навчання]] для навчання ознак декількома накладеними шарами вузлів навчання.<ref>{{cite journal|last1=Bengio|first1=Yoshua|title=Learning Deep Architectures for AI|journal=Foundations and Trends in Machine Learning|date=2009|volume=2|issue=1|pages=1–127|doi=10.1561/2200000006}} {{ref-en}}</ref> Ці архітектури часто розробляють на основі припущення про [[розподілене представлення]]: спостережувані дані породжуються взаємодіями багатьох різних чинників на декількох рівнях. В архітектурі глибокого навчання вихід кожного проміжного шару можливо розглядати як представлення первинних входових даних. Кожен рівень використовує представлення, вироблене попереднім рівнем, як вхід, і виробляє нові представлення на виході, що потім подають до вищих рівнів. Входом на найнижчому рівні є сирі дані, а виходом завершального рівня є остаточна ознака або представлення низької розмірності.

=== Обмежена машина Больцмана ===

Як будівельні блоки для архітектур багатошарового навчання часто використовують [[Обмежена машина Больцмана|обмежені машини Больцмана]] (ОМБ, {{lang-en|restricted Boltzmann machine, RBM}}).<ref name="coates2011">{{cite conference
|last1 = Coates
|first1 = Adam
|last2 = Lee
|first2 = Honglak
|last3 = Ng
|first3 = Andrew Y.
|title = An analysis of single-layer networks in unsupervised feature learning
|conference = Int'l Conf. on AI and Statistics (AISTATS)
|year = 2011
|url = http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2011_CoatesNL11.pdf
|accessdate = 12 січня 2016
|archiveurl = https://web.archive.org/web/20170813153615/http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2011_CoatesNL11.pdf
|archivedate = 13 серпня 2017
|deadurl = yes
}} {{ref-en}}</ref><ref name = Hinton2006>{{Cite journal | last1 = Hinton | first1 = G. E. | last2 = Salakhutdinov | first2 = R. R. | title = Reducing the Dimensionality of Data with Neural Networks | doi = 10.1126/science.1127647 | journal = Science | volume = 313 | issue = 5786 | pages = 504–507 | year = 2006 | pmid = 16873662 | url = http://www.cs.toronto.edu/~hinton/science.pdf | bibcode = 2006Sci...313..504H | accessdate = 12 січня 2016 | archive-date = 23 грудня 2015 | archive-url = https://web.archive.org/web/20151223152006/http://www.cs.toronto.edu/~hinton/science.pdf }} {{ref-en}}</ref> ОМБ може бути представлено неорієнтованим двочастковим графом, що складається з групи {{нп|Двійкова змінна|двійкових||Binary variable}} [[Прихована змінна|прихованих змінних]], групи видимих змінних, та ребер, що з'єднують приховані та видимі вузли. Вона є окремим випадком загальніших [[Машина Больцмана|машин Больцмана]] з обмеженням відсутності міжвузлових з'єднань. Кожне ребро в ОМБ пов'язано з ваговим коефіцієнтом. Вагові коефіцієнти разом зі з'єднаннями визначають [[Енергетична функція|енергетичну функцію]], на основі якої може бути винайдено [[спільний розподіл]] видимих та прихованих вузлів. Виходячи з топології ОМБ, приховані (видимі) змінні незалежно обумовлено видимими (прихованими) змінними.{{Clarify|reason=видимими прихованими?|date=Серпень 2019}} Така умовна незалежність полегшує обчислення.

ОМБ можливо розглядати як одношарову архітектуру для некерованого навчання ознак. Зокрема, видимі змінні відповідають входовим даним, а приховані змінні відповідають детекторам ознак. Вагові коефіцієнти може бути треновано максимізацією ймовірності видимих змінних із застосуванням алгоритму [[Контрастове розходження|контрастового розходження]] (КР, {{lang-en|contrastive divergence, CD}}) [[Джефрі Гінтон]]а.<ref name = Hinton2006/>

В цілому, тренування ОМБ розв'язанням задачі максимізації призводить в результаті до не розріджених представлень. Для уможливлення розріджених представлень було запропоновано розріджену ОМБ ({{lang-en|sparse RBM}}).<ref name = Lee2008>{{cite journal|last1=Lee|first1=Honglak|last2=Ekanadham|first2=Chaitanya|last3=Andrew|first3=Ng|title=Sparse deep belief net model for visual area V2|journal=Advances in Neural Information Processing Systems|date=2008}} {{ref-en}}</ref> Ідея полягає в додаванні до цільової функції правдоподібності даних члена [[Регуляризація (математика)|регуляризації]], який штрафував би відхилення очікуваних прихованих змінних, починаючи з невеликої сталої <math>p</math>.

=== Автокодувальник ===

Однією з парадигм для архітектур глибокого навчання є [[автокодувальник]], що складається з кодувальника та декодувальника. Гінтоном та Салахутдіновим було запропоновано приклад,<ref name = Hinton2006/> в якому кодувальник використовує сирі дані (наприклад, зображення) як вхід, і виробляє ознаку або представлення як вихід, а декодувальник використовує виявлені кодувальником ознаки як вхід, і відбудовує первинні входові сирі дані як вихід. Кодувальник та декодувальник побудовано накладенням декількох шарів ОМБ. Параметри, залучені до цієї архітектури, в оригіналі було треновано [[Жадібний алгоритм|жадібним]] пошаровим чином: після того, як один шар було навчено детекторів ознак, їх подають вище як видимі змінні для тренування відповідної ОМБ. Поточні підходи зазвичай застосовують тренування з краю в край методами [[Стохастичний градієнтний спуск|стохастичного градієнтного спуску]]. Тренування може тривати доти, поки не стане задоволено певні критерії зупинки.

== Див. також ==

* [[Автоматизоване машинне навчання]] ({{lang-en|AutoML}})
* [[Базисна функція]]
* [[Варіаційний автокодувальник]]
* {{нп|Векторне квантування|||Vector quantization}}
* [[Виділяння ознак]]
* [[Виявляння ознак (комп'ютерне бачення)]]
* [[Глибоке навчання]]
* [[Ядрові методи]]

== Примітки ==

{{Примітки|30em}}

[[Категорія:Машинне навчання]]