Перегляд вихідного коду сторінки Варіаційний автокодувальник

{{short description|Пододжувальна модель глибокого навчання для кодування подань даних}}
{{Машинне навчання}}

У [[Машинне навчання|машинному навчанні]] '''варіаційний автокодувальник''' ({{lang-en|variational autoencoder}}),<ref name=":0">{{cite arxiv |last1=Kingma |first1=Diederik P. |last2=Welling |first2=Max |title=Auto-Encoding Variational Bayes |date=2014-05-01 |class=stat.ML |eprint=1312.6114}} {{ref-en}}</ref> відомий також як '''ВАК''' ({{lang-en|VAE}}),&nbsp;— це архітектура [[Штучна нейронна мережа|штучної нейронної мережі]], запроваджена {{нпні|Дідерік П. Кінгма|Дідеріком П. Кінгмою||Diederik P Kingma}} та {{нп|Макс Веллінг|Максом Веллінгом||Max Welling}}, що належить до сімейств [[Графова модель|імовірнісних графових моделей]] та {{нп|варіаційні баєсові методи|варіаційних баєсових методів||Variational Bayesian methods}}.

Її часто асоціюють із моделлю [[автокодувальник]]а<ref>{{cite journal |last1=Kramer |first1=Mark A. |title=Nonlinear principal component analysis using autoassociative neural networks |journal=AIChE Journal |date=1991 |volume=37 |issue=2 |pages=233–243 |doi=10.1002/aic.690370209 |url=https://aiche.onlinelibrary.wiley.com/doi/abs/10.1002/aic.690370209 |language=en |accessdate=3 липня 2021 |archive-date=8 червня 2021 |archive-url=https://web.archive.org/web/20210608093400/https://aiche.onlinelibrary.wiley.com/doi/abs/10.1002/aic.690370209 }} {{ref-en}}</ref><ref>{{cite journal |last1=Hinton |first1=G. E. |last2=Salakhutdinov |first2=R. R. |title=Reducing the Dimensionality of Data with Neural Networks |journal=Science |date=2006-07-28 |volume=313 |issue=5786 |pages=504–507 |doi=10.1126/science.1127647 |pmid=16873662 |bibcode=2006Sci...313..504H |s2cid=1658773 |url=https://science.sciencemag.org/content/313/5786/504.abstract?casa_token=ZLsQ9vPfFA4AAAAA:3iBJRtRFr9RzkbbGpAJQtghIAndmRGEPVxW-yixDgfiXqWuuaQs8WjDMf-fkzTIe8RKn_J9o1aFozD4 |language=en |accessdate=3 липня 2021 |archive-date=28 червня 2021 |archive-url=https://web.archive.org/web/20210628003317/https://science.sciencemag.org/content/313/5786/504.abstract?casa_token=ZLsQ9vPfFA4AAAAA:3iBJRtRFr9RzkbbGpAJQtghIAndmRGEPVxW-yixDgfiXqWuuaQs8WjDMf-fkzTIe8RKn_J9o1aFozD4 }} {{ref-en}}</ref> через її архітектурну спорідненість, але між ними є значні відмінності як у цілі, так і в математичному формулюванні. Варіаційні автокодувальники призначено для стискання інформації входу до обмеженого багатовимірного латентного розподілу ([[код]]ування), щоби відбудовувати її якомога точніше ([[Код|декодування]]). Хоча первинно цей тип моделі було розроблено для [[Некероване навчання|некерованого навчання]],<ref>{{cite arxiv |last1=Dilokthanakul |first1=Nat |last2=Mediano |first2=Pedro A. M. |last3=Garnelo |first3=Marta |last4=Lee |first4=Matthew C. H. |last5=Salimbeni |first5=Hugh |last6=Arulkumaran |first6=Kai |last7=Shanahan |first7=Murray |title=Deep Unsupervised Clustering with Gaussian Mixture Variational Autoencoders |date=2017-01-13 |class=cs.LG |eprint=1611.02648}} {{ref-en}}</ref><ref>{{cite book |last1=Hsu |first1=Wei-Ning |last2=Zhang |first2=Yu |last3=Glass |first3=James |title=2017 IEEE Automatic Speech Recognition and Understanding Workshop (ASRU) |chapter=Unsupervised domain adaptation for robust speech recognition via variational autoencoder-based data augmentation |date=December 2017 |pages=16–23 |doi=10.1109/ASRU.2017.8268911 |arxiv=1707.06265 |isbn=978-1-5090-4788-8 |s2cid=22681625 |chapter-url=https://ieeexplore.ieee.org/abstract/document/8268911?casa_token=i8S9DzueB5gAAAAA:SnZUh5mfUYtRpusQLMJxN7eC_-6-qOQs9vpkEcA0Ai_ju-nJH7o1H1DN6nDFdeCY-LgGg3OVKQ |accessdate=3 липня 2021 |archive-date=28 серпня 2021 |archive-url=https://web.archive.org/web/20210828043431/https://ieeexplore.ieee.org/abstract/document/8268911?casa_token=i8S9DzueB5gAAAAA:SnZUh5mfUYtRpusQLMJxN7eC_-6-qOQs9vpkEcA0Ai_ju-nJH7o1H1DN6nDFdeCY-LgGg3OVKQ }} {{ref-en}}</ref> його дієвість було доведено й в інших областях машинного навчання, таких як [[Напівкероване навчання|напівкероване]]<ref>{{cite book |last1=Ehsan Abbasnejad |first1=M. |last2=Dick |first2=Anthony |last3=van den Hengel |first3=Anton |title=Infinite Variational Autoencoder for Semi-Supervised Learning |date=2017 |pages=5888–5897 |url=https://openaccess.thecvf.com/content_cvpr_2017/html/Abbasnejad_Infinite_Variational_Autoencoder_CVPR_2017_paper.html |accessdate=3 липня 2021 |archive-date=24 червня 2021 |archive-url=https://web.archive.org/web/20210624195246/https://openaccess.thecvf.com/content_cvpr_2017/html/Abbasnejad_Infinite_Variational_Autoencoder_CVPR_2017_paper.html }} {{ref-en}}</ref><ref>{{cite journal |last1=Xu |first1=Weidi |last2=Sun |first2=Haoze |last3=Deng |first3=Chao |last4=Tan |first4=Ying |title=Variational Autoencoder for Semi-Supervised Text Classification |journal=Proceedings of the AAAI Conference on Artificial Intelligence |date=2017-02-12 |volume=31 |issue=1 |url=https://ojs.aaai.org/index.php/AAAI/article/view/10966 |language=en |accessdate=3 липня 2021 |archive-date=16 червня 2021 |archive-url=https://web.archive.org/web/20210616043347/https://ojs.aaai.org/index.php/AAAI/article/view/10966 }} {{ref-en}}</ref> та [[кероване навчання]].<ref>{{cite journal |last1=Kameoka |first1=Hirokazu |last2=Li |first2=Li |last3=Inoue |first3=Shota |last4=Makino |first4=Shoji |title=Supervised Determined Source Separation with Multichannel Variational Autoencoder |journal=Neural Computation |date=2019-09-01 |volume=31 |issue=9 |pages=1891–1914 |doi=10.1162/neco_a_01217 |pmid=31335290 |s2cid=198168155 |url=https://direct.mit.edu/neco/article/31/9/1891/8494/Supervised-Determined-Source-Separation-with |accessdate=3 липня 2021 |archive-date=16 червня 2021 |archive-url=https://web.archive.org/web/20210616043338/https://direct.mit.edu/neco/article/31/9/1891/8494/Supervised-Determined-Source-Separation-with }} {{ref-en}}</ref>

== Архітектура ==
Варіаційні автокодувальники є варіаційними баєсовими методами з багатовимірним розподілом як апріорне, й апостеріорним, наближуваним штучною нейронною мережею, що утворюють так звану структуру варіаційного кодувальника-декодувальника.<ref name=":2">An, J., & Cho, S. (2015). Variational autoencoder based anomaly detection using reconstruction probability. ''Special Lecture on IE'', ''2''(1). {{ref-en}}</ref><ref name="1bitVAE">{{Cite arXiv|arxiv=1911.12410|first2=M.|last2=Soltanalian|title=Model-Aware Deep Architectures for One-Bit Compressive Variational Autoencoding|date=2019}} {{ref-en}}</ref><ref>{{Cite journal|last1=Kingma|first1=Diederik P.|last2=Welling|first2=Max|date=2019|title=An Introduction to Variational Autoencoders|journal=Foundations and Trends in Machine Learning|volume=12|issue=4|pages=307–392|doi=10.1561/2200000056|issn=1935-8237|arxiv=1906.02691|s2cid=174802445}} {{ref-en}}</ref>

Стандартний кодувальник є штучною нейронною мережею, здатною зводити свою вхідну інформацію до найвужчого подання, що називають латентним простором. Він являє собою першу половину архітектури як автокодувальника, так і варіаційного автокодувальника: для першого виходом є фіксований вектор штучних нейронів, а в другому інформація виходу стискається до ймовірнісного латентного простору, що все ще складається зі штучних нейронів. Проте в архітектурі варіаційного автокодувальника вони представляють і їх розглядають як два різні вектори однакової вимірності, що подають вектор середніх значень та вектор стандартних відхилень відповідно.

Стандартний декодувальник все ще є штучною нейронною мережею, призначеною віддзеркалювати архітектуру кодувальника. Він бере на вході стиснену інформацію, що надходить із латентного простору, а потім розгортає її, виробляючи вихід, якомога ближчий до входу кодувальника. І хоча для автокодувальника вхід декодувальника є просто вектором дійсних значень фіксованої довжини, для варіаційного автокодувальника необхідно ввести проміжний етап: враховуючи ймовірнісну природу латентного простору, можливо розглядати його як [[багатовимірний гауссів вектор]]. За цього припущення й за допомогою методики, відомої як перепараметрувальний трюк ({{lang-en|reparametrization trick}}), можливо вибирати сукупності з цього латентного простору й розглядати їх точно як вектор дійсних значень фіксованої довжини.

З системної точки зору моделі як стандартного, так і варіаційного автокодувальників отримують як вхід набір даних великої розмірності. Потім вони адаптивно стискають його до латентного простору (кодування) і, нарешті, намагаються якомога точніше його відбудувати (декодування). Враховуючи природу його латентного простору, варіаційний автокодувальник характеризується дещо іншою цільовою функцією: він має мінімізувати [[Функція втрат|функцію втрат]] відбудови, як і стандартний автокодувальник. Проте він також враховує [[розходження Кульбака — Лейблера]] між латентним простором та вектором нормальних гауссіан.

== Формулювання ==
[[Файл:VAE Basic uk.jpg|міні|425x425пкс| Базова схема варіаційного автокодувальника. Модель отримує <math>\mathbf{x}</math> як вхід. Кодувальник стискає його до латентного простору. Декодувальник отримує як вхід інформацію, вибрану з цього латентного простору, й виробляє <math>\mathbf{x'}</math>, що є якомога подібнішим до <math>\mathbf{x}</math> .]]
З формальної точки зору, за заданого набору даних входу <math>\mathbf{x}</math>, описуваного невідомою функцією ймовірності <math>P(\mathbf{x})</math>, та багатовимірного вектору латентного кодування <math>\mathbf{z}</math>, мета полягає в моделюванні цих даних як розподілу <math>p_\theta(\mathbf{x})</math>, де <math>\theta</math> визначено як набір параметрів мережі.

Цей розподіл можливо формалізувати як

<math>p_\theta(\mathbf{x}) = \int_{\mathbf{z}}p_\theta(\mathbf{x,z})d\mathbf{z} </math>

де <math>p_\theta</math> є [[Свідчення моделі|свідченням]] даних цієї моделі з [[Відособлювання (ймовірності)|відособленням]], виконаним над неспостережуваними змінними, й відтак <math>p_\theta(\mathbf{x,z})</math> подає [[спільний розподіл]] даних входу та їхнього латентного подання відповідно до параметрів мережі <math>\theta</math>.

Відповідно до [[Теорема Баєса|теореми Баєса]], це рівняння можливо переписати як

<math>p_\theta(\mathbf{x}) = \int_{\mathbf{z}}p_\theta(\mathbf{x|z})p_\theta(\mathbf{z})d\mathbf{z}</math>

У стандартному варіаційному автокодувальнику ми вважаємо, що <math>\mathbf{z}</math> має скінченну розмірність, і що <math>p_\theta(\mathbf{x|z})</math> є [[гауссів розподіл|гауссовим розподілом]], тоді <math>p_\theta(\mathbf{x})</math> є сумішшю гауссових розподілів.

Тепер можливо визначити набір взаємозв'язків між даними входу та їх латентним поданням як

* Апріорне <math>p_\theta(\mathbf{z})</math>
* Правдоподібність <math>p_\theta(\mathbf{x}|\mathbf{z})</math>
* Апостеріорне <math>p_\theta(\mathbf{z}|\mathbf{x})</math>

На жаль, обчислення <math>p_\theta(\mathbf{x})</math> є дуже витратним, і в більшості випадків навіть непіддатливим. Щоби пришвидшити це обчислення й зробити його здійсненним, необхідно ввести додаткову функцію для наближення апостеріорного розподілу:

<math>q_\Phi(\mathbf{z|x}) \approx p_\theta(\mathbf{z|x})</math>

де <math>\Phi</math> визначено як набір дійсних значень, що параметрує <math>q</math>.

Таким чином загальну задачу можливо легко перевести до області визначення автокодувальника, в якому розподіл умовної правдоподібності <math>p_\theta(\mathbf{x}|\mathbf{z})</math> провадиться ''імовірнісним кодувальником'' ({{lang-en|probabilistic encoder}}), а наближений апостеріорний розподіл <math>q_\Phi(\mathbf{z|x})</math> обчислюється ''імовірнісним декодувальником'' ({{lang-en|probabilistic decoder}}).

== Функція втрат НМЕС ==
Як і в будь-якій задачі [[Глибоке навчання|глибокого навчання]], щоб уточнювати ваги мережі шляхом [[зворотне поширення|зворотного поширення]], необхідно визначити диференційовну функцію втрат.

Для варіаційних автокодувальників ідея полягає в спільному мінімізуванні параметрів породжувальної моделі <math>\theta</math>, щоби зменшувати похибку відбудови між входом і виходом мережі, та <math>\Phi</math>, щоби мати <math>q_\Phi(\mathbf{z|x})</math> якомога ближчою до <math>p_\theta(\mathbf{z}|\mathbf{x})</math> .

Як втрати відбудови, добрими варіантами є [[середньоквадратична похибка]] та [[перехресна ентропія]].

Як втрати відстані між цими двома розподілами, добрим вибором, щоби втискувати <math>q_\Phi(\mathbf{z|x})</math> під <math>p_\theta(\mathbf{z}|\mathbf{x})</math>, є обернене розходження Кульбака&nbsp;— Лейблера <math>D_{KL}(q_\Phi(\mathbf{z|x})||p_\theta(\mathbf{z|x}))</math>.<ref name=":0" /><ref>{{Cite web|title=From Autoencoder to Beta-VAE|url=https://lilianweng.github.io/lil-log/2018/08/12/from-autoencoder-to-beta-vae.html|website=Lil'Log|language=en|date=2018-08-12|accessdate=3 липня 2021|archive-date=14 травня 2021|archive-url=https://web.archive.org/web/20210514164202/https://lilianweng.github.io/lil-log/2018/08/12/from-autoencoder-to-beta-vae.html}}</ref>

Щойно визначені втрати відстані розкриваються як

<math>\begin{align}
D_{KL}(q_\Phi(\mathbf{z|x})||p_\theta(\mathbf{z|x})) &= \int q_\Phi(\mathbf{z|x}) \log \frac{q_\Phi(\mathbf{z|x})}{p_\theta(\mathbf{z|x})} d\mathbf{z}\\
&= \int q_\Phi(\mathbf{z|x}) \log \frac{q_\Phi(\mathbf{z|x})p_\theta(\mathbf{x})}{p_\theta(\mathbf{z,x})} d\mathbf{z}\\
&= \int q_\Phi(\mathbf{z|x}) \left( \log (p_\theta(\mathbf{x})) + \log \frac{q_\Phi(\mathbf{z|x})}{p_\theta(\mathbf{z,x})}\right) d\mathbf{z}\\
&= \log (p_\theta(\mathbf{x})) + \int q_\Phi(\mathbf{z|x}) \log \frac{q_\Phi(\mathbf{z|x})}{p_\theta(\mathbf{z,x})} d\mathbf{z}\\
&= \log (p_\theta(\mathbf{x})) + \int q_\Phi(\mathbf{z|x}) \log \frac{q_\Phi(\mathbf{z|x})}{p_\theta(\mathbf{x|z})p_\theta(\mathbf{z})} d\mathbf{z}\\
&= \log (p_\theta(\mathbf{x})) + E_{\mathbf{z} \sim q_\Phi(\mathbf{z|x})}(\log \frac{q_\Phi(\mathbf{z|x})}{p_\theta(\mathbf{z})} - \log(p_\theta(\mathbf{x|z})))\\
&= \log (p_\theta(\mathbf{x})) + D_{KL}(q_\Phi(\mathbf{z|x}) || p_\theta(\mathbf{z})) - E_{\mathbf{z} \sim q_\Phi(\mathbf{z|x})}(\log(p_\theta(\mathbf{x|z})))
\end{align}</math>

На цьому етапі можливо переписати це рівняння як

<math>\log (p_\theta(\mathbf{x})) - D_{KL}(q_\Phi(\mathbf{z|x})||p_\theta(\mathbf{z|x})) = E_{\mathbf{z} \sim q_\Phi(\mathbf{z|x})}(\log(p_\theta(\mathbf{x|z}))) - D_{KL}(q_\Phi(\mathbf{z|x}) || p_\theta(\mathbf{z}))</math>

Метою є максимізувати [[Логарифмічна правдоподібність|логарифмічну правдоподібність]] лівої частини цього рівняння для поліпшення якості породжуваних даних та мінімізування відстаней між розподілами справжнього та оцінюваного апостеріорних.

Це є рівнозначним мінімізуванню від'ємної логарифмічної правдоподібності, що є типовою практикою в задачах оптимізації.

Отриману таким чином функцію втрат, яку також називають функцією втрат {{нп|нижня межа свідчення|нижньої межі свідчення||Evidence lower bound}} ({{lang-en|evidence lower bound}}), скорочено НМЕС ({{lang-en|ELBO}}), можливо записати як

<math>L_{\theta,\Phi} = -\log (p_\theta(\mathbf{x})) + D_{KL}(q_\Phi(\mathbf{z|x})||p_\theta(\mathbf{z|x})) = -E_{\mathbf{z} \sim q_\Phi(\mathbf{z|x})}(\log(p_\theta(\mathbf{x|z}))) + D_{KL}(q_\Phi(\mathbf{z|x}) || p_\theta(\mathbf{z})) </math>

Враховуючи властивість невід'ємності розходження Кульбака&nbsp;— Лейблера, буде правильним стверджувати, що

<math>-L_{\theta,\Phi} = \log (p_\theta(\mathbf{x})) - D_{KL}(q_\Phi(\mathbf{z|x})||p_\theta(\mathbf{z|x})) \leq \log (p_\theta(\mathbf{x}))   </math>

Оптимальними параметрами є ті, які мінімізують цю функцію втрат. Цю задачу можливо узагальнити як

<math>\theta^*,\Phi^* = \underset{\theta,\Phi}{arg min} L_{\theta,\Phi} </math>

Основна перевага цього формулювання полягає в можливості спільного оптимізування за параметрами <math>\theta </math> та <math>\Phi </math>.

Перш ніж застосовувати функцію втрат НМЕС до задачі оптимізування для зворотного поширення градієнта, необхідно зробити її диференційовною, застосувавши так званий '''трюк перепараметрування''' ({{lang-en|reparameterization trick}})''',''' щоб усунути стохастичне вибирання з цього формування, й таким чином зробити її диференційовною.

== Трюк перепараметрування ==
[[Файл:Reparameterization Trick uk.jpg|міні|300x300пкс| Схема трюку перепараметрування. Змінну випадковості <math>\mathbf{\varepsilon}</math> вводять до латентного простору <math>\mathbf{z}</math> як зовнішній вхід. Таким чином можливо зворотно поширювати градієнт без залучення стохастичної змінної під час уточнення.]]
Щоб зробити формулювання НМЕС придатним для цілей тренування, необхідно ввести подальшу незначну зміну до формулювання задачі, а також до структури варіаційного автокодувальника.<ref name=":0" /><ref>{{Cite journal|last1=Bengio|first1=Yoshua|last2=Courville|first2=Aaron|last3=Vincent|first3=Pascal|title=Representation Learning: A Review and New Perspectives|url=https://ieeexplore.ieee.org/abstract/document/6472238?casa_token=wQPK9gUGfCsAAAAA:FS5uNYCQVJGH-bq-kVvZeTdnQ8a33C6qQ4VUyDyGLMO13QewH3wcry9_Jh-5FATvspBj8YOXfw|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence|year=2013|volume=35|issue=8|pages=1798–1828|doi=10.1109/TPAMI.2013.50|pmid=23787338|issn=1939-3539|arxiv=1206.5538|s2cid=393948|accessdate=3 липня 2021|archive-date=27 червня 2021|archive-url=https://web.archive.org/web/20210627195543/https://ieeexplore.ieee.org/abstract/document/6472238?casa_token=wQPK9gUGfCsAAAAA:FS5uNYCQVJGH-bq-kVvZeTdnQ8a33C6qQ4VUyDyGLMO13QewH3wcry9_Jh-5FATvspBj8YOXfw}} {{ref-en}}</ref><ref>{{Cite arxiv|last1=Kingma|first1=Diederik P.|last2=Rezende|first2=Danilo J.|last3=Mohamed|first3=Shakir|last4=Welling|first4=Max|date=2014-10-31|title=Semi-Supervised Learning with Deep Generative Models|class=cs.LG|eprint=1406.5298}} {{ref-en}}</ref>

Стохастичне вибирання є недиференційовною операцією, через яку можливо вибирати з латентного простору й подавати на ймовірнісний декодувальник.

Щоб уможливити застосування процесів зворотного поширення, таких як [[стохастичний градієнтний спуск]], запроваджують трюк перепараметрування.

Основним припущенням про латентний простір є те, що його можливо розглядати як сукупність багатовимірних гауссових розподілів і, отже, можливо описати як

<math>\mathbf{z} \sim q_\phi(\mathbf{z}\vert\mathbf{x}) = \mathcal{N}(\boldsymbol{\mu}, \boldsymbol{\sigma}^2)</math>
[[Файл:Reparameterized Variational Autoencoder uk.jpg|міні|300x300пкс| Схема варіаційного автокодувальника після трюку перепараметрування.]]
Якщо <math>\boldsymbol{\epsilon} \sim \mathcal{N}(0, \boldsymbol{I})</math>, а <math>\odot</math> визначено як поелементний добуток, то трюк перепараметрування змінює наведене вище рівняння до

<math>\mathbf{z} = \boldsymbol{\mu} + \boldsymbol{\sigma} \odot \boldsymbol{\epsilon} </math> .

Завдяки цьому перетворенню, яке можливо поширити й на інші розподіли, відмінні від гауссового, варіаційний автокодувальник піддається тренуванню, а ймовірнісний кодувальник має навчатися відображувати стиснене подання вхідних даних у два латентні вектори <math>\boldsymbol{\mu} </math> та <math>\boldsymbol{\sigma} </math>, тоді як стохастичність залишається виключеною з процесу уточнювання, й вводиться до латентного простору як зовнішній вхід через випадковий вектор <math>\boldsymbol{\epsilon} </math>.

== Різновиди ==
Існує багато застосувань і розширень варіаційних автокодувальників для пристосовування цієї архітектури до різних областей та поліпшення її продуктивності.

''β''-ВАК ({{lang-en|β-VAE}}) є втіленням зі зваженим членом розходження Кульбака&nbsp;— Лейблера для автоматичного виявляння та інтерпретування розкладених латентних подань. За допомогою цього втілення можливо нав'язувати розплутування многовиду для значень <math>\beta</math>, більших за одиницю. Автори показали здатність цієї архітектури породжувати високоякісні синтетичні зразки.<ref>>{{Cite journal|last1=Higgins|first1=Irina|last2=Matthey|first2=Loic|last3=Pal|first3=Arka|last4=Burgess|first4=Christopher|last5=Glorot|first5=Xavier|last6=Botvinick|first6=Matthew|last7=Mohamed|first7=Shakir|last8=Lerchner|first8=Alexander|date=2016-11-04|title=beta-VAE: Learning Basic Visual Concepts with a Constrained Variational Framework|url=https://openreview.net/forum?id=Sy2fzU9gl|language=en|journal=|accessdate=3 липня 2021|archive-date=20 липня 2021|archive-url=https://web.archive.org/web/20210720082052/https://openreview.net/forum?id=Sy2fzU9gl}} {{ref-en}}</ref><ref>>{{Cite arxiv|last1=Burgess|first1=Christopher P.|last2=Higgins|first2=Irina|last3=Pal|first3=Arka|last4=Matthey|first4=Loic|last5=Watters|first5=Nick|last6=Desjardins|first6=Guillaume|last7=Lerchner|first7=Alexander|date=2018-04-10|title=Understanding disentangling in &beta;-VAE|class=stat.ML|eprint=1804.03599}} {{ref-en}}</ref>

Ще одне втілення, назване умовним варіаційним автокодувальником ({{lang-en|conditional variational autoencoder}}), скорочено УВАК ({{lang-en|CVAE}}), як вважають, вставляє міткову інформацію до латентного простору, нав'язуючи детерміноване обмежене подання навчених даних.<ref>{{Cite journal|last1=Sohn|first1=Kihyuk|last2=Lee|first2=Honglak|last3=Yan|first3=Xinchen|date=2015-01-01|title=Learning Structured Output Representation using Deep Conditional Generative Models|url=https://proceedings.neurips.cc/paper/2015/file/8d55a249e6baa5c06772297520da2051-Paper.pdf|language=en|journal=|accessdate=3 липня 2021|archive-date=9 липня 2021|archive-url=https://web.archive.org/web/20210709183454/https://proceedings.neurips.cc/paper/2015/file/8d55a249e6baa5c06772297520da2051-Paper.pdf}} {{ref-en}}</ref>

Деякі структури безпосередньо займаються якістю породжуваних зразків<ref>{{Cite arxiv|last1=Dai|first1=Bin|last2=Wipf|first2=David|date=2019-10-30|title=Diagnosing and Enhancing VAE Models|class=cs.LG|eprint=1903.05789}} {{ref-en}}</ref><ref>{{Cite arxiv|last1=Dorta|first1=Garoe|last2=Vicente|first2=Sara|last3=Agapito|first3=Lourdes|last4=Campbell|first4=Neill D. F.|last5=Simpson|first5=Ivor|date=2018-07-31|title=Training VAEs Under Structured Residuals|class=stat.ML|eprint=1804.01050}} {{ref-en}}</ref> або втілюють понад одного латентного простору для подальшого поліпшення навчання подань.<ref>{{Cite journal|last1=Tomczak|first1=Jakub|last2=Welling|first2=Max|date=2018-03-31|title=VAE with a VampPrior|url=http://proceedings.mlr.press/v84/tomczak18a.html|journal=International Conference on Artificial Intelligence and Statistics|language=en|publisher=PMLR|pages=1214–1223|arxiv=1705.07120|accessdate=3 липня 2021|archive-date=24 червня 2021|archive-url=https://web.archive.org/web/20210624200636/http://proceedings.mlr.press/v84/tomczak18a.html}} {{ref-en}}</ref><ref>{{Cite arxiv|last1=Razavi|first1=Ali|last2=Oord|first2=Aaron van den|last3=Vinyals|first3=Oriol|date=2019-06-02|title=Generating Diverse High-Fidelity Images with VQ-VAE-2|class=cs.LG|eprint=1906.00446}} {{ref-en}}</ref>

Деякі архітектури поєднують структури варіаційних автокодувальників та [[Породжувальна змагальна мережа|породжувальних змагальних мереж]], щоб отримувати гібридні моделі з високими породжувальними спроможностями.<ref>{{Cite journal|last1=Larsen|first1=Anders Boesen Lindbo|last2=Sønderby|first2=Søren Kaae|last3=Larochelle|first3=Hugo|last4=Winther|first4=Ole|date=2016-06-11|title=Autoencoding beyond pixels using a learned similarity metric|url=http://proceedings.mlr.press/v48/larsen16.html|journal=International Conference on Machine Learning|language=en|publisher=PMLR|pages=1558–1566|arxiv=1512.09300|accessdate=3 липня 2021|archive-date=17 травня 2021|archive-url=https://web.archive.org/web/20210517131233/https://proceedings.mlr.press/v48/larsen16.html}} {{ref-en}}</ref><ref>{{cite arxiv|last1=Bao|first1=Jianmin|last2=Chen|first2=Dong|last3=Wen|first3=Fang|last4=Li|first4=Houqiang|last5=Hua|first5=Gang|date=2017|title=CVAE-GAN: Fine-Grained Image Generation Through Asymmetric Training|pages=2745–2754|class=cs.CV|eprint=1703.10155}} {{ref-en}}</ref><ref>>{{Cite journal|last1=Gao|first1=Rui|last2=Hou|first2=Xingsong|last3=Qin|first3=Jie|last4=Chen|first4=Jiaxin|last5=Liu|first5=Li|last6=Zhu|first6=Fan|last7=Zhang|first7=Zhao|last8=Shao|first8=Ling|date=2020|title=Zero-VAE-GAN: Generating Unseen Features for Generalized and Transductive Zero-Shot Learning|url=https://ieeexplore.ieee.org/abstract/document/8957359?casa_token=d6k1X5ClbTsAAAAA:AiOSfZQ7S3EsfIaecikiuLX8Y9-Lf5FHqTFRjL-FMQQ8bNjdW2rD0UZxA0BC4gVMO0QjF_YXkw|journal=IEEE Transactions on Image Processing|volume=29|pages=3665–3680|doi=10.1109/TIP.2020.2964429|pmid=31940538|bibcode=2020ITIP...29.3665G|s2cid=210334032|issn=1941-0042|accessdate=3 липня 2021|archive-date=28 червня 2021|archive-url=https://web.archive.org/web/20210628151541/https://ieeexplore.ieee.org/abstract/document/8957359?casa_token=d6k1X5ClbTsAAAAA:AiOSfZQ7S3EsfIaecikiuLX8Y9-Lf5FHqTFRjL-FMQQ8bNjdW2rD0UZxA0BC4gVMO0QjF_YXkw}} {{ref-en}}</ref>

== Див. також ==
{{div col|colwidth=22em}}
* [[Автокодувальник]]
* [[Глибоке навчання]]
* {{нп|Збільшування даних|||Data augmentation}}
* [[Зворотне поширення]]
* [[Навчання подань]]
* {{нп|Навчання розріджених словників|||Sparse dictionary learning}}
* [[Породжувальна змагальна мережа]]
* [[Штучна нейронна мережа]]
{{div col end}}

== Примітки ==
{{примітки}}

[[Категорія:Зниження розмірності]]
[[Категорія:Баєсова статистика]]
[[Категорія:Графові моделі]]
[[Категорія:Кероване навчання]]
[[Категорія:Некероване навчання]]
[[Категорія:Архітектури нейронних мереж]]