Перегляд вихідного коду сторінки Машина Больцмана

{{short description|Один із типів стохастичних рекурентних нейронних мереж}}
[[Файл:Boltzmannexamplev1.png|альт=Графове подання прикладу машини Больцмана.|міні|Графове подання прикладу машини Больцмана. Кожне неорієнтоване ребро подає залежність. У цьому прикладі є 3 приховані вузли та 4 видимі. Це не обмежена машина Больцмана.]]

'''Маши́на [[Людвіг Больцман|Бо́льцмана]]''' (також звана '''моде́ллю Ше́ррінгтона&nbsp;— Кіркпа́тріка із зо́внішнім по́лем''' та '''стохасти́чною моде́ллю І́зінга&nbsp;— Ле́нца&nbsp;— Лі́ттла''', {{lang-en|Boltzmann machine, Sherrington–Kirkpatrick model with external field, stochastic Ising–Lenz–Little model}})&nbsp;— це стохастична модель спінового скла із зовнішнім полем, тобто {{нп|модель Шеррінгтона — Кіркпатріка|||Sherrington-Kirkpatrick model}}<!-- Проблема вікіфікації: Сторінка [[:en:Sherrington-Kirkpatrick model]] (→ [[:en:Spin glass#Sherrington–Kirkpatrick model]]) перекладена як [[Спінове скло]], хоча хотіли [[модель Шеррінгтона — Кіркпатріка]] (SashkoR0B0T)-->,<ref>{{citation|title=Solvable Model of a Spin-Glass|number=35|year=1975|author1= Sherrington, David|author2=Kirkpatrick, Scott|journal=Physical Review Letters|volume=35|pages=1792–1796|doi=10.1103/PhysRevLett.35.1792|bibcode=1975PhRvL..35.1792S|language=en}}</ref> що є стохастичною [[Модель Ізінга|моделлю Ізінга]]. Це методика [[Статистична механіка|статистичної фізики]], яку застосовують у контексті [[Когнітивна наука|когнітивної науки]].<ref name=":0">{{citation|title=A learning algorithm for Boltzmann machines|number=1|year=1985|author1=Ackley, David H|author2=Hinton Geoffrey E|author3=Sejnowski, Terrence J|journal=Cognitive Science|volume=9|pages=147–169|doi=10.1207/s15516709cog0901_7|url=http://www.cs.toronto.edu/~hinton/absps/cogscibm.pdf|doi-access=free|language=en}}</ref> Її також класифікують як [[марковське випадкове поле]].<ref>{{Cite journal|last=Hinton|first=Geoffrey E.|date=2007-05-24|title=Boltzmann machine|journal=Scholarpedia|language=en|volume=2|issue=5|pages=1668|doi=10.4249/scholarpedia.1668|bibcode=2007SchpJ...2.1668H|issn=1941-6016|doi-access=free}}</ref>

Машини Больцмана теоретично захопливі через локальність і [[Геббове навчання|геббову]] природу їхнього алгоритму тренування (тренуються за геббовим правилом), а також через їхню [[Паралельні обчислення|паралельність]] і подібність їхньої динаміки до простих [[Фізичний процес|фізичних процесів]]. Машини Больцмана з необмеженою зв'язністю не виявилися корисними для практичних задач у [[Машинне навчання|машинному навчанні]] та [[Висновування|висновуванні]], але якщо зв'язність належним чином обмежено, то навчання можливо зробити достатньо ефективним, щоби воно було корисним для практичних задач.<ref>{{cite book|title=International Neural Network Conference|first=Thomas R.|last=Osborn|date=1 січня 1990|publisher=Springer Netherlands|pages=[https://archive.org/details/innc90parisinter0001inte/page/785 785]|doi=10.1007/978-94-009-0643-3_76|chapter=Fast Teaching of Boltzmann Machines with Local Inhibition|isbn=978-0-7923-0831-7|chapter-url=https://archive.org/details/innc90parisinter0001inte/page/785|language=en}}</ref>

Їх назвали на честь [[Больцманів розподіл|больцманового розподілу]] у [[Статистична механіка|статистичній механіці]], який використовують у їхній [[Функція відліків|функції відліків]]. Їх активно популяризували та пропагували [[Джефрі Гінтон]], {{нп|Террі Сейновський|||Terry Sejnowski}} та [[Ян ЛеКун]] у спільнотах когнітивних наук та [[Машинне навчання|машинного навчання]].<ref name=":0"/> Як загальніший клас у [[Машинне навчання|машинному навчанні]] ці моделі називають «{{нп|Модель на основі енергії|моделями на основі енергії||Energy-based model}}» ({{lang-en|"energy based models", EBM}}), оскільки як відправну точку для визначення навчального завдання використовують [[Гамільтонова функція|гамільтонові функції]] [[Спінове скло|спінового скла]].<ref>{{citation|title =On the Anatomy of MCMC-Based Maximum Likelihood Learning of Energy-Based Models|number=34|year=2020|author1=Nijkamp, E. |author2=Hill, M. E|author3= Han, T. |journal=Proceedings of the AAAI Conference on Artificial Intelligence|volume=4|pages=5272–5280|doi=10.1609/aaai.v34i04.5973|url=https://ojs.aaai.org/index.php/AAAI/article/view/5973|doi-access=free|language=en}}</ref>

== Структура ==
[[Файл:Boltzmannexamplev2.png|альт=Графове подання прикладу машини Больцмана з мітками ваг.|праворуч|міні|Графове подання машини Больцмана з кількома позначеними вагами. Кожне неорієнтоване ребро подає залежність і має вагу <math>w_{ij}</math>. У цьому прикладі є 3 приховані вузли (сині) та 4 видимі (білі). Це не обмежена машина Больцмана.]]

Машина Больцмана, як і {{нп|модель Шеррінгтона — Кіркпатріка|||Sherrington-Kirkpatrick model}}<!-- Проблема вікіфікації: Сторінка [[:en:Sherrington-Kirkpatrick model]] (→ [[:en:Spin glass#Sherrington–Kirkpatrick model]]) перекладена як [[Спінове скло]], хоча хотіли [[модель Шеррінгтона — Кіркпатріка]] (SashkoR0B0T)-->, це мережа вузлів із загальною «енергією» ([[Гамільтонова функція|гамільтоновою функцією]]), визначеною для загальної мережі. Її вузли видають [[Бінарне число|бінарні]] результати. Ваги машини Больцмана [[Стохастичність|стохастичні]] . Глобальна енергія <math>E</math> у машині Больцмана ідентична за виглядом глобальній енергії [[Мережа Гопфілда|мереж Гопфілда]] та [[Модель Ізінга|моделей Ізінга]]:

: <math>E = -\left(\sum_{i<j} w_{ij} \, s_i \, s_j + \sum_i \theta_i \, s_i \right)</math>

Де:

* <math>w_{ij}</math>&nbsp;— сила зв'язку між вузлом <math>j</math> та вузлом <math>i</math>.
* <math>s_i</math>&nbsp;— стан, <math>s_i \in \{0,1\}</math>, вузла <math>i</math>.
* <math>\theta_i</math>&nbsp;— зміщення вузла <math>i</math> у функції глобальної енергії. (<math>-\theta_i</math> це поріг збудження для цього вузла.)

Часто ваги <math>w_{ij}</math> подають як симетричну матрицю <math>W=[w_{ij}]</math> з нулями по діагоналі.

== Імовірність стану вузла ==

Різницю в глобальній енергії, що є результатом дорівнювання одного вузла <math>i</math> 0 (''off'') чи 1 (''on''), позначувану через <math>\Delta E_i</math>, виходячи з симетричної матриці ваг, задають як

: <math>\Delta E_i = \sum_{j>i} w_{ij} \, s_j + \sum_{j<i} w_{ji} \, s_j + \theta_i</math>

Це можливо виразити як різницю енергій двох станів:

: <math>\Delta E_i = E_\text{i=off} - E_\text{i=on}</math>

Заміна енергії кожного стану його відносною ймовірністю відповідно до {{нп|Больцманів множник|больцманового множника||Boltzmann factor}}<!-- Проблема вікіфікації: Сторінка [[:en:Boltzmann factor]] (→ [[:en:Boltzmann distribution]]) перекладена як [[Розподіл Больцмана]], хоча хотіли [[Больцманів множник]] (SashkoR0B0T)--> (властивості [[Больцманів розподіл|больцманового розподілу]], що енергія стану пропорційна від'ємній логарифмічній ймовірності цього стану), дає:

: <math>\Delta E_i = -k_B\,T\ln(p_\text{i=off}) - (-k_B\,T\ln(p_\text{i=on}))</math>

де <math>k_B</math>&nbsp;— [[больцманова стала]], що вбирається штучним поняттям температури <math>T</math>. Потім ми змінюємо порядок членів і вважаємо, що ймовірності увімкненості та вимкненості вузла повинні давати в сумі одиницю:

: <math>\frac{\Delta E_i}{T} = \ln(p_\text{i=on}) - \ln(p_\text{i=off})</math>
: <math>\frac{\Delta E_i}{T} = \ln(p_\text{i=on}) - \ln(1 - p_\text{i=on})</math>
: <math>\frac{\Delta E_i}{T} = \ln\left(\frac{p_\text{i=on}}{1 - p_\text{i=on}}\right)</math>
: <math>-\frac{\Delta E_i}{T} = \ln\left(\frac{1 - p_\text{i=on}}{p_\text{i=on}}\right)</math>
: <math>-\frac{\Delta E_i}{T} = \ln\left(\frac{1}{p_\text{i=on}} - 1\right)</math>
: <math>\exp\left(-\frac{\Delta E_i}{T}\right) = \frac{1}{p_\text{i=on}} - 1</math>

У розв'язку для <math>p_\text{i=on}</math> ймовірність того, що <math>i</math>-й вузол увімкнено, дає

: <math>p_\text{i=on} = \frac{1}{1+\exp(-\frac{\Delta E_i}{T})}</math>

де [[Скаляр (фізика)|скаляр]] <math>T</math> називають [[Температура|температурою]] системи. Це відношення є джерелом [[Логістична функція|логістичної функції]], яку можна знайти у ймовірнісних виразах варіантів машини Больцмана.

== Стан рівноваги ==

Ця мережа працює шляхом циклічного обирання вузла та скидання його стану. Після достатньо тривалої роботи за певної температури, відповідно до [[Больцманів розподіл|больцманового розподілу]], ймовірність глобального стану мережі залежить лише від енергії цього глобального стану, а не від початкового стану, з якого почався процес. Це означає, що логарифмічні ймовірності глобальних станів стають лінійними за своїми енергіями. Цей зв'язок справедливий, коли машина перебуває «у стані [[Теплова рівновага|теплової рівноваги]]<nowiki/>», тобто розподіл імовірностей глобальних станів збігся. При запуску мережі починаючи з високої температури її температура поступово знижується до досягнення [[Теплова рівновага|теплової рівноваги]] за нижчої температури. Вона тоді може збігтися до розподілу, де рівень енергії коливається навколо глобального мінімуму. Цей процес називають [[Імітування відпалювання|імітуванням відпалювання]].

Щоби натренувати мережу таким чином, щоби був шанс її збігання до глобального стану відповідно до зовнішнього розподілу над цими станами, ваги мусить бути встановлено так, щоби глобальні стани з найвищою ймовірністю отримували найменшу енергію. Це робиться тренуванням.

== Тренування ==

Вузли в машині Больцмана поділяють на «видимі» ({{lang-en|'visible'}}) вузли, ''V'', та «приховані» ({{lang-en|'hidden'}}) вузли, ''H''. Видимі вузли&nbsp;— це ті, які отримують інформацію з «середовища», тобто [[тренувальний набір]]&nbsp;— це набір двійкових векторів над множиною ''V''. Розподіл над тренувальним набором позначують через <math>P^{+}(V)</math>.

Розподіл над глобальними станами збігається, коли машина Больцмана досягає [[Теплова рівновага|теплової рівноваги]]. Ми позначуємо цей розподіл, після [[Відособлений розподіл|відособлення]] його над прихованими вузлами, через <math>P^{-}(V)</math>.

Наша мета&nbsp;— наблизити «справжній» розподіл <math>P^{+}(V)</math>, використовуючи <math>P^{-}(V)</math>, вироблений машиною. Подібність цих двох розподілів вимірюють [[Розходження Кульбака — Лейблера|розходженням Кульбака&nbsp;— Лейблера]], <math>G</math>:

: <math>G = \sum_{v}{P^{+}(v)\ln\left({\frac{P^{+}(v)}{P^{-}(v)}}\right)}</math>

де підсумовування йде за всіма можливими станами <math>V</math>. <math>G</math> є функцією ваг, оскільки вони визначають енергію стану, а енергія, як обіцяє больцманів розподіл, визначає <math>P^{-}(v)</math>. Алгоритм [[Градієнтний спуск|градієнтного спуску]] над <math>G</math> змінює задану вагу <math>w_{ij}</math> відніманням [[Часткова похідна|часткової похідної]] <math>G</math> за цією вагою.

Тренування машини Больцмана включає дві почергові фази. Одна&nbsp;— це «позитивна» фаза, коли стани видимих вузлів прив'язуються до конкретного бінарного [[Вектор стану|вектора стану]], вибраного з тренувального набору (відповідно до <math>P^{+}</math>). Інша&nbsp;— «негативна» фаза, коли мережі дозволяють вільно працювати, тобто лише стан вузлів входу визначається зовнішніми даними, але вузлам виходу дозволено плавати. Градієнт відносно заданої ваги, <math>w_{ij}</math>, задається рівнянням<ref>{{cite journal|last=Ackley|first=David H.|author2=Hinton, Geoffrey E. |author3=Sejnowski, Terrence J. |title=A Learning Algorithm for Boltzmann Machines|journal={{нп|Cognitive Science|||Cognitive Science (journal)}}|year=1985|volume=9|issue=1|pages=147–169|doi=10.1207/s15516709cog0901_7|url=http://learning.cs.toronto.edu/~hinton/absps/cogscibm.pdf|archive-url=https://web.archive.org/web/20110718022336/http://learning.cs.toronto.edu/~hinton/absps/cogscibm.pdf|archive-date=18 липня 2011|doi-access=free|language=en}}</ref>

: <math>\frac{\partial{G}}{\partial{w_{ij}}} = -\frac{1}{R}[p_{ij}^{+}-p_{ij}^{-}]</math>

де

* <math>p_{ij}^{+}</math>&nbsp;— ймовірність того, що вузли ''i'' та ''j'' обидва увімкнено, коли машина знаходиться в рівновазі у позитивній фазі.
* <math>p_{ij}^{-}</math>&nbsp;— ймовірність того, що вузли ''i'' та ''j'' обидва увімкнено, коли машина знаходиться в рівновазі у негативній фазі.
* <math>R</math> позначує [[темп навчання]]

Цей результат випливає з того, що за [[Теплова рівновага|теплової рівноваги]] ймовірність <math>P^{-}(s)</math> будь-якого глобального стану <math>s</math>, коли мережа працює вільно, задається больцмановим розподілом.

Це правило навчання біологічно вірогідне, оскільки єдина інформація, необхідна для зміни ваг, надається «локальною» інформацією. Тобто, з'єднання ([[синапс]], із біологічного погляду) не потребує інформації ні про що, крім двох нейронів, які воно з'єднує. Це біологічно реалістичніше, ніж інформація, необхідна з'єднанню в багатьох інших алгоритмах тренування нейронних мереж, таких як [[зворотне поширення]].

Навчання машини Больцмана не використовує [[алгоритм очікування-максимізації]], широко вживаний у [[Машинне навчання|машинному навчанні]]. З мінімізуванням [[Розходження Кульбака — Лейблера|КЛ-розходження]], воно рівнозначне максимізуванню логарифмічної ймовірності даних. Таким чином, процедура тренування виконує градієнтне сходження за логарифмом правдоподібності спостережуваних даних. Це відрізняється від алгоритму очікування-максимізації, де апостеріорний розподіл прихованих вузлів мусить бути обчислено до максимізування очікуваного значення повної правдоподібності даних під час кроку максимізування.

Тренування зміщень відбувається подібно, але використовує активність лише одного вузла:

: <math>\frac{\partial{G}}{\partial{\theta_{i}}} = -\frac{1}{R}[p_{i}^{+}-p_{i}^{-}]</math>

== Проблеми ==

Теоретично, машина Больцмана це досить загальне обчислювальне середовище. Наприклад, тренована на фотографіях, машина теоретично змоделювала би розподіл фотографій, і цю модель можливо було би використовувати, щоби, наприклад, {{нп|Заповнювання прогалин|доповнювати||Inpainting}} часткову фотографію.

На жаль, машини Больцмана зазнають серйозної практичної проблеми, а саме того, що вони, як видається, перестають правильно навчатися, коли машина масштабується до чогось більшого за тривіальний розмір.{{Джерело|дата=червень 2023}} Це пов'язано з важливими ефектами, зокрема:

* час, необхідний для збору статистики рівноваги, зростає експоненційно з розміром машини та величиною сил з'єднань{{Джерело|дата=червень 2023}}
* сили з'єднань пластичніші тоді, коли з'єднані вузли мають проміжні ймовірності збудження між нулем та одиницею, що призводить до так званої пастки дисперсії ({{lang-en|variance trap}}). Чистий ефект полягає в тому, що шум змушує сили з'єднань слідувати [[Випадкове блукання|випадковим блуканням]], доки збудження не наситяться.

== Типи ==

=== Обмежена машина Больцмана ===
[[Файл:Restricted Boltzmann machine-uk.svg|альт=Графове подання обмеженої машини Больцмана|міні|Графове подання обмеженої машини Больцмана. Чотири блакитні вузли подають приховані вузли, а три червоні&nbsp;— видимі стани. В обмежених машинах Больцмана існують лише з'єднання (залежності) між прихованими та видимими вузлами, й жодних між вузлами одного типу (ані з'єднань прихований-прихований, ані видимий-видимий).]]
{{Main|Обмежена машина Больцмана}}

Хоч навчання у звичайних машинах Больцмана і непрактичне, воно може бути досить дієвим в обмеженій машині Больцмана (ОМБ, {{lang-en|restricted Boltzmann machine, RBM}}), яка не допускає внутрішньошарових з'єднань з-поміж прихованих та видимих вузлів, тобто немає з'єднань між видимими й видимими та прихованими й прихованими вузлами. Після тренування однієї ОМБ збудження її прихованих вузлів можливо розглядати як дані для тренування ОМБ вищого рівня. Цей метод складання ({{lang-en|stacking}}) ОМБ уможливлює ефективне тренування багатьох шарів прихованих вузлів і є однією з найпоширеніших стратегій [[Глибоке навчання|глибокого навчання]]. [[Породжувальна модель]] покращується з додаванням кожного нового шару.

Розширення обмеженої машини Больцмана дозволяє використовувати дійснозначні дані замість двійкових.<ref>{{Citation|title=Recent Developments in Deep Learning|url=https://www.youtube.com/watch?v=VdIURAu1-aU |archive-url=https://ghostarchive.org/varchive/youtube/20211222/VdIURAu1-aU |archive-date=2021-12-22 |url-status=live|language=en|access-date=2020-02-17}}{{cbignore}}</ref>

Один із прикладів практичного застосування ОМБ&nbsp;— розпізнавання мовлення.<ref>{{cite journal |url=http://research.microsoft.com/pubs/144412/DBN4LVCSR-TransASLP.pdf |title=Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition |journal=Microsoft Research |volume=20 |year=2011|last1=Yu |first1=Dong |last2=Dahl |first2=George |last3=Acero |first3=Alex |last4=Deng |first4=Li |language=en }}</ref>

=== Глибока машина Больцмана ===

Глибока машина Больцмана (ГМБ, {{lang-en|deep Boltzmann machine, DBM}})&nbsp;— це один з типів двійкового парного [[Марковське випадкове поле|марковського випадкового поля]] ([[Неорієнтований граф|неорієнтованої]] ймовірнісної [[Графова модель|графової моделі]]) з кількома шарами [[Прихована змінна|прихованих]] [[Випадкова змінна|випадкових змінних]]. Це мережа симетрично спарованих стохастичних {{нп|Двійкова змінна|двійкових вузлів||Binary variable}}. Вона складається з набору видимих вузлів <math>\boldsymbol{\nu} \in \{0,1\}^D</math> та шарів прихованих вузлів <math>\boldsymbol{h}^{(1)} \in \{0,1\}^{F_1}, \boldsymbol{h}^{(2)} \in \{0,1\}^{F_2}, \ldots, \boldsymbol{h}^{(L)} \in \{0,1\}^{F_L}</math>. Жодне з'єднання не з'єднує вузли одного й того ж шару (як і в [[Обмежена машина Больцмана|ОМБ]]). Для {{H:title|глибока машина Больцмана|ГМБ}} ймовірністю, приписуваною векторові {{mvar|'''&nu;'''}}, є

: <math>p(\boldsymbol{\nu}) = \frac{1}{Z}\sum_h e^{\sum_{ij}W_{ij}^{(1)}\nu_i h_j^{(1)} + \sum_{jl}W_{jl}^{(2)}h_j^{(1)}h_l^{(2)}+\sum_{lm}W_{lm}^{(3)}h_l^{(2)}h_m^{(3)}},</math>

де <math>\boldsymbol{h} = \{\boldsymbol{h}^{(1)}, \boldsymbol{h}^{(2)}, \boldsymbol{h}^{(3)} \}</math>&nbsp;— набір прихованих вузлів, а <math>\theta = \{\boldsymbol{W}^{(1)}, \boldsymbol{W}^{(2)}, \boldsymbol{W}^{(3)} \} </math>&nbsp;— параметри моделі, що подають взаємодії видимі-приховані та приховані-приховані.<ref name="ref12">{{cite journal|last1=Hinton|first1=Geoffrey|last2=Salakhutdinov|first2=Ruslan|date=2012|title=A better way to pretrain deep Boltzmann machines|url=http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2012_1178.pdf|journal=Advances in Neural|volume=3|pages=1–9|access-date=2017-08-18|archive-url=https://web.archive.org/web/20170813152400/http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2012_1178.pdf|archive-date=2017-08-13|url-status=dead|language=en}}</ref> У [[Глибока мережа переконань|ГМП]] лише два верхні шари утворюють обмежену машину Больцмана (що є неорієнтованою [[Графова модель|графовою моделлю]]), тоді як нижні шари утворюють орієнтовану породжувальну модель. У ГМБ всі шари симетричні та неорієнтовані.

Як і [[Глибока мережа переконань|ГМП]], ГМБ можуть навчатися складних та абстрактних внутрішніх подань входу в таких завданнях як {{нп|розпізнавання об'єктів|||Object recognition}} та [[Розпізнавання мовлення|мовлення]], використовуючи обмежені мічені дані для тонкого налаштовування подань, побудованих із використанням великого набору немічених сенсо́рних вхідних даних. Проте, на відміну від ГМП та глибоких [[Згорткова нейронна мережа|згорткових нейронних мереж]], вони здійснюють процедуру висновування та тренування в обох напрямках, висхідному та низхідному, що дозволяє ГМБ краще розкривати подання вхідних структур.<ref name="ref32">{{cite journal|last1=Hinton|first1=Geoffrey|last2=Salakhutdinov|first2=Ruslan|date=2009|title=Efficient Learning of Deep Boltzmann Machines|url=http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS09_SalakhutdinovH.pdf|volume=3|pages=448–455|access-date=2017-08-18|archive-url=https://web.archive.org/web/20151106235714/http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS09_SalakhutdinovH.pdf|archive-date=2015-11-06|url-status=dead|language=en}}</ref><ref name="ref42">{{cite journal|last1=Bengio|first1=Yoshua|last2=LeCun|first2=Yann|date=2007|title=Scaling Learning Algorithms towards AI|url=http://www.iro.umontreal.ca/~lisa/bib/pub_subject/language/pointeurs/bengio+lecun-chapter2007.pdf|volume=1|pages=1–41|language=en}}</ref><ref name="ref22">{{cite journal|last1=Larochelle|first1=Hugo|last2=Salakhutdinov|first2=Ruslan|date=2010|title=Efficient Learning of Deep Boltzmann Machines|url=http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2010_SalakhutdinovL10.pdf|pages=693–700|access-date=2017-08-18|archive-url=https://web.archive.org/web/20170814001329/http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2010_SalakhutdinovL10.pdf|archive-date=2017-08-14|url-status=dead|language=en}}</ref>

Проте низька швидкість ГМБ обмежує їхню продуктивність та функціональність. Через те, що навчання точної максимальної правдоподібності для ГМБ непіддатливе, можливе лише навчання приблизної максимальної правдоподібності. Іншим варіантом є використання висновування осередненого поля ({{lang-en|mean-field inference}}) для оцінювання залежних від даних очікувань та наближення очікуваної [[Достатня статистика|достатньої статистики]] застосуванням [[Методи Монте-Карло марковських ланцюгів|методів Монте-Карло марковських ланцюгів]] (МКМЛ).<ref name="ref12" /> Це наближене висновування, що мусить бути здійснено для кожного перевірного входу, приблизно в 25—50 разів повільніше за єдиний висхідний прохід у ГМБ. Це робить спільну оптимізацію непрактичною для великих наборів даних і обмежує використання ГМБ для таких завдань як подання ознак.

=== Піково-пластинні ОМБ ===

Потреба в глибокому навчанні з [[Дійсне число|дійснозначними]] входами, як у [[Список об'єктів, названих на честь Карла Гаусса|гауссових]] ОМБ, привела до піково-пластинної [[Обмежена машина Больцмана|ОМБ]] (пп[[Обмежена машина Больцмана|ОМБ]], {{lang-en|spike-and-slab RBM, ssRBM}}), яка моделює неперервнозначні входи {{нп|Двійкова змінна|двійковими||Binary variable}} [[Латентна змінна|латентними змінними]].<ref name="ref30">{{cite journal|last1=Courville|first1=Aaron|last2=Bergstra|first2=James|last3=Bengio|first3=Yoshua|date=2011|title=A Spike and Slab Restricted Boltzmann Machine|url=http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2011_CourvilleBB11.pdf|journal=JMLR: Workshop and Conference Proceeding|volume=15|pages=233–241|access-date=2019-08-25|archive-url=https://web.archive.org/web/20160304112418/http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2011_CourvilleBB11.pdf|archive-date=2016-03-04|url-status=dead|language=en}}</ref> Подібно до базових [[Обмежена машина Больцмана|ОМБ]] та їхніх варіантів, піково-пластинна ОМБ це [[двочастковий граф]], але, як і в Г[[Обмежена машина Больцмана|ОМБ]], видимі вузли (входи) дійснозначні. Різниця полягає у прихованому шарі, де кожен прихований вузол має змінну бінарного піку ({{lang-en|spike}}) та змінну дійснозначної пластини ({{lang-en|slab}}). Пік&nbsp;— це дискретна [[Функція маси імовірності|маса ймовірності]] в нульовій точці, тоді як пластина&nbsp;— це [[Густина ймовірності|густина]] в неперервній області;<ref name="ref322">{{cite conference|last1=Courville|first1=Aaron|last2=Bergstra|first2=James|last3=Bengio|first3=Yoshua|date=2011|title=Proceedings of the 28th International Conference on Machine Learning|volume=10|pages=1–8|chapter=Unsupervised Models of Images by Spike-and-Slab RBMs|chapter-url=http://machinelearning.wustl.edu/mlpapers/paper_files/ICML2011Courville_591.pdf|conference=|access-date=2019-08-25|archive-date=2016-03-04|archive-url=https://web.archive.org/web/20160304054551/http://machinelearning.wustl.edu/mlpapers/paper_files/ICML2011Courville_591.pdf|url-status=dead|language=en}}</ref> їхня суміш утворює [[Апріорна ймовірність|апріорне]].<ref name="ref31">{{cite journal|last1=Mitchell|first1=T|last2=Beauchamp|first2=J|date=1988|title=Bayesian Variable Selection in Linear Regression|url=https://archive.org/details/sim_journal-of-the-american-statistical-association_1988-12_83_404/page/1023|journal=Journal of the American Statistical Association|volume=83|issue=404|pages=1023–1032|doi=10.1080/01621459.1988.10478694|language=en}}</ref>

Розширення пп[[Обмежена машина Больцмана|ОМБ]] під назвою ''µ''-пп[[Обмежена машина Больцмана|ОМБ]] забезпечує додаткові моделювальні потужності за допомогою додаткових членів у [[Функція енергії|функції енергії]] . Один із цих членів дає змогу моделі формувати [[умовний розподіл]] пікових змінних [[Відособлений розподіл|знеособленням]] пластинних змінних за заданого спостереження.

=== У математиці ===
{{main|{{нп|міра Ґіббза|||Gibbs measure}}<!-- Проблема вікіфікації: Сторінка [[:en:Gibbs measure]] перекладена як [[Розподіл Ґіббса]], хоча хотіли [[міра Ґіббза]] (SashkoR0B0T)-->|{{нп|логарифмічно-лінійна модель|||Log-linear model}}}}

У загальнішій математичній постановці розподіл Больцмана також відомий як {{нп|міра Ґіббза|||Gibbs measure}}<!-- Проблема вікіфікації: Сторінка [[:en:Gibbs measure]] перекладена як [[Розподіл Ґіббса]], хоча хотіли [[міра Ґіббза]] (SashkoR0B0T)-->. У [[Статистика|статистиці]] й [[Машинне навчання|машинному навчанні]] це називають {{нп|Логарифмічно-лінійна модель|логарифмічно-лінійною моделлю||Log-linear model}}. У [[Глибоке навчання|глибокому навчанні]] розподіл Больцмана використовують у вибірковому розподілі [[Стохастична нейронна мережа|стохастичних нейронних мереж,]] таких як машина Больцмана.

== Історія ==

Машина Больцмана ґрунтується на моделі [[Спінове скло|спіновго скла]] стохастичної [[Модель Ізінга|моделі Ізінга]] Шеррінгтона&nbsp;— Кіркпатріка.<ref>{{Cite journal|last1=Sherrington|first1=David|last2=Kirkpatrick|first2=Scott|date=1975-12-29|title=Solvable Model of a Spin-Glass|journal=Physical Review Letters|volume=35|issue=26|pages=1792–1796|doi=10.1103/physrevlett.35.1792|bibcode=1975PhRvL..35.1792S|issn=0031-9007|language=en}}</ref>

Первинний внесок у застосування таких моделей на основі енергії у когнітивній науці з'явився у статтях Гінтона та Сейновського.<ref>{{Cite conference|url=http://digitalcollections.library.cmu.edu/awweb/awarchive?type=file&item=360445|title=Analyzing Cooperative Computation|last1=Hinton|first1=Geoffery|date=May 1983|access-date=17 лютого 2020|first2=Terrence J.|last2=Sejnowski|conference=5th Annual Congress of the Cognitive Science Society|location=Rochester, New York|language=en|url-status=dead}}</ref><ref>{{cite conference|first1= Geoffrey E. |last1=Hinton |first2= Terrence J. |last2=Sejnowski|title=Optimal Perceptual Inference |conference=IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|pages= 448–453|publisher= IEEE Computer Society|location= Washington, D.C.|date=June 1983|language=en}}</ref>

Засаднича публікація Джона Гопфілда поєднала фізику та статистичну механіку, згадавши спінове скло.<ref>{{Cite journal|last=Hopfield, J. J.|title=Neural networks and physical systems with emergent collective computational abilities|journal=Proceedings of the National Academy of Sciences of the United States of America|volume=79|issue=8|pages=2554–8|publisher=[s.n.]|oclc=848771572|pmid=6953413|pmc=346238|year=1982|doi=10.1073/pnas.79.8.2554|bibcode=1982PNAS...79.2554H|doi-access=free|language=en}}</ref>

Ідея застосування моделі Ізінга з {{нп|Ґіббзове вибирання|ґіббзовим вибиранням||Gibbs sampling}} з відпалюванням присутня в проєкті ''{{нп|Copycat (програма)|Copycat||Copycat (software)}}'' [[Дуглас Гофстедтер|Дугласа Гофстедтера]].<ref>{{Cite book|last=Hofstadter, D. R.|title=The Copycat Project: An Experiment in Nondeterminism and Creative Analogies.|date=January 1984|publisher=Defense Technical Information Center|oclc=227617764|language=en}}</ref><ref>{{Cite book|editor-last=Caianiello|editor-first=Eduardo R.|title=Physics of cognitive processes|date=1988|publisher=World Scientific|isbn=9971-5-0255-0|oclc=750950619|last=Hofstadter |first=Douglas R. |chapter=A Non-Deterministic Approach to Analogy, Involving the Ising Model of Ferromagnetism|location=Teaneck, New Jersey|language=en}}</ref>

Подібні ідеї (зі зміною знаку функції енергії) зустрічаються в «Теорії гармонії» {{нп|Пол Смоленський|Пола Смоленського||Paul Smolensky}}.

Явна аналогія, проведена зі статистичною механікою у формулюванні машини Больцмана, привела до використання термінології, запозиченої з фізики (наприклад, «енергія», а не «гармонія»), що стала стандартом у цій галузі. Широке застосування цієї термінології, можливо, було заохочено тим фактом, що її використання призвело до прийняття різноманітних понять та методів зі статистичної механіки. Різноманітні пропозиції щодо використання імітування відпалювання для висновування були очевидно незалежними.

Моделі Ізінга стали вважати окремим випадком [[Марковська мережа|марковських випадкових полів]], які знаходять широке застосування в [[Лінгвістика|лінгвістиці]], [[Робототехніка|робототехніці]], [[Комп'ютерне бачення|комп'ютернім баченні]] та [[Штучний інтелект|штучному інтелекті]].

== Див. також ==

* [[Обмежена машина Больцмана]]
* {{нп|Машина Гельмгольца|||Helmholtz machine}}
* [[Марковське випадкове поле]]
* [[Модель Ізінга]]
* [[Мережа Гопфілда]]
* Правило навчання,<ref>{{cite conference
 | first = C.-Y.
 | last = Liou
 |author2=Lin, S.-L.
 | title = The other variant Boltzmann machine
 | book-title = International Joint Conference on Neural Networks
 | pages = 449–454
 | publisher = IEEE
 | year = 1989
 | location = Washington, D.C., USA
 | doi = 10.1109/IJCNN.1989.118618
 | language = en}}</ref> яке використовує умовну «локальну» інформацію, може бути отримано з оберненого вигляду <math>G</math>,

: <math>G' = \sum_{v}{P^{-}(v)\ln\left({\frac{P^{-}(v)}{P^{+}(v)}}\right)}</math> .

== Примітки ==
{{Reflist}}

== Література ==

* {{cite journal
 |last1=Hinton
 |first1=G. E.
 |author-link1=Джефрі Гінтон
 |last2=Sejnowski
 |first2=T. J.
 |author-link2=Террі Сейновський
 |year=1986
 |title=Learning and Relearning in Boltzmann Machines
 |editor=D. E. Rumelhart |editor2=J. L. McClelland
 |journal=Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1: Foundations
 |pages=282–317
 |url=http://www.cs.toronto.edu/~hinton/absps/pdp7.pdf
 |url-status=dead
 |archive-url=https://web.archive.org/web/20100705230134/http://learning.cs.toronto.edu/~hinton/absps/pdp7.pdf
 |archive-date=2010-07-05
 |language=en
 }}
* {{cite journal 
 |doi=10.1162/089976602760128018 
 |last1=Hinton |first1=G. E. |author-link1=Джефрі Гінтон
 |year=2002
 |title=Training Products of Experts by Minimizing Contrastive Divergence
 |journal={{нп|Neural Computation|||Neural Computation (journal)}}
 |volume=14 
 |issue=8 |pages=1771–1800
 |url=http://www.cs.toronto.edu/~hinton/absps/nccd.pdf 
 |pmid=12180402
|citeseerx=10.1.1.35.8613 |s2cid=207596505 |language=en }}
* {{cite journal 
 |doi=10.1162/neco.2006.18.7.1527 
 |last1=Hinton |first1=G. E. |author-link1=Джефрі Гінтон
 |last2=Osindero |first2=S.
 |last3=Teh |first3=Y. 
 |year=2006
 |title=A fast learning algorithm for deep belief nets
 |journal={{нп|Neural Computation|||Neural Computation (journal)}}
 |volume=18 
 |issue=7 |pages=1527–1554 
 |url=http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf 
 |pmid=16764513
|citeseerx=10.1.1.76.1541 |s2cid=2309950 |language=en }}
* [https://www.forbes.com/sites/tomtaulli/2020/02/02/coronavirus-can-ai-artificial-intelligence-make-a-difference/?sh=1eca51e55817 Kothari P (2020): https://www.forbes.com/sites/tomtaulli/2020/02/02/coronavirus-can-ai-artificial-intelligence-make-a-difference/?sh=1eca51e55817] {{ref-en}}
* {{Cite paper|last=Montufar|first=Guido|year=2018|title=Restricted Boltzmann Machines: Introduction and Review|url=https://www.mis.mpg.de/preprints/2018/preprint2018_87.pdf|language=en|publisher={{нп|Інститут математики в природничих науках ім. Макса Планка|MPI MiS||Max Planck Institute for Mathematics in the Sciences}}|location=Leipzig|access-date=1 серпня 2023}}

== Посилання ==

* [http://www.scholarpedia.org/article/Boltzmann_Machine Стаття Гінтона в Сколарпедії про машини Больцмана] {{ref-en}}
* [https://www.youtube.com/watch?v=AyzOUbkUf3M Промова Джефрі Гінтона в ''Google''] {{ref-en}}

{{Бібліоінформація}}

[[Категорія:Архітектури нейронних мереж]]
[[Категорія:Людвіг Больцман]]