Перегляд вихідного коду сторінки Прихована марковська модель

{{Машинне навчання|Структурове передбачування}}
'''Прихо́вана ма́рковська моде́ль''', '''ПММ''' ({{lang-en|hidden Markov model, HMM}})&nbsp;— це [[Статистична модель|статистична]] [[марковська модель]], у якій система, що моделюється, розглядається як [[марковський процес]] із неспостережуваними (''прихованими'') станами. ПММ може бути представлено як найпростішу [[Динамічна баєсова мережа|динамічну баєсову мережу]]. Математичний апарат для ПММ було розроблено {{Не перекладено|Леонард Баум|Леонардом Баумом||Leonard E. Baum}} зі співробітниками.<ref>

{{cite journal
 |last=Baum
 |first=L. E.
 |coauthors=Petrie T.
 |title=Statistical Inference for Probabilistic Functions of Finite State Markov Chains
 |journal=The Annals of Mathematical Statistics
 |year=1966
 |volume=37
 |issue=6
 |pages=1554–1563
 |url=http://projecteuclid.org/DPubS/Repository/1.0/Disseminate?handle=euclid.aoms/1177699147&view=body&content-type=pdf_1
 |accessdate=28 листопада 2011
 |doi=10.1214/aoms/1177699147
}} {{ref-en}}

</ref><ref>

{{cite journal
 |last=Baum
 |first=L. E.
 |coauthors=Eagon J. A.
 |title=An inequality with applications to statistical estimation for probabilistic functions of Markov processes and to a model for ecology
 |journal=[[Bulletin of the American Mathematical Society]]
 |year=1967
 |volume=73
 |issue=3
 |pages=360
 |doi=10.1090/S0002-9904-1967-11751-8
 |zbl=0157.11101
 |url=http://projecteuclid.org/euclid.bams/1183528841
}} {{ref-en}}

</ref><ref>

{{cite journal
 |last=Baum
 |first=L. E.
 |coauthors=Sell G. R.
 |title=Growth transformations for functions on manifolds
 |journal=Pacific Journal of Mathematics
 |year=1968
 |volume=27
 |issue=2
 |pages=211–227
 |url=http://www.scribd.com/doc/6369908/Growth-Functions-for-Transformations-on-Manifolds
 |accessdate=28 листопада 2011
 |doi=10.2140/pjm.1968.27.211
}} {{ref-en}}

</ref><ref>

{{cite journal
 |last=Baum
 |first=L. E.
 |authorlink1=Леонард Баум
 |last2=Petrie
 |first2=T.
 |last3=Soules
 |first3=G.
 |last4=Weiss
 |first4=N.
 |title=A Maximization Technique Occurring in the Statistical Analysis of Probabilistic Functions of Markov Chains
 |journal={{нп|The Annals of Mathematical Statistics}}
 |year=1970
 |volume=41
 |pages=164
 |doi=10.1214/aoms/1177697196
 |jstor=2239727
 |zbl=0188.49603
 |mr=MR287613
 |url=http://projecteuclid.org/euclid.aoms/1177697196
}} {{ref-en}}

</ref><ref>

{{cite journal
 |last=Baum
 |first=L.E.
 |title=An Inequality and Associated Maximization Technique in Statistical Estimation of Probabilistic Functions of a Markov Process
 |journal=Inequalities
 |year=1972
 |volume=3
 |pages=1–8}} {{ref-en}}

</ref> Він тісно пов'язаний з більш ранньою працею про оптимальну нелінійну {{Не перекладено|Проблема фільтрування (стохастичні процеси)|проблему фільтрування||Filtering problem (stochastic processes)}} [[Руслан Стратонович|Руслана Стратоновича]],<ref name=Stratonovich1960>

{{cite journal
 |author=Stratonovich, R.L.
 |year=1960
 |title=Conditional Markov Processes
 |journal=Theory of Probability and its Applications
 |volume=5
 |issue=2
 |pages=156–178
 |doi=10.1137/1105015
}} {{ref-en}}

</ref> який першим описав {{Не перекладено|Послідовно-зворотній алгоритм|послідовно-зворотній алгоритм||Forward–backward algorithm}}.

У простіших [[Марковська модель|марковських моделях]] (таких як [[ланцюги Маркова]]) стан є безпосередньо видимим спостерігачеві, і тому ймовірності переходу станів є єдиними параметрами. У ''прихованій'' марковській моделі стан не є видимим безпосередньо, але вихід, залежний від стану, видимим є. Кожен стан має ймовірнісний розподіл усіх можливих вихідних значень. Отже, послідовність символів, згенерована ПММ, дає якусь інформацію про послідовність станів. Прикметник «прихований» стосується послідовності станів, якою проходить модель, а не параметрів моделі; модель все одно називають «прихованою» марковською моделлю, навіть якщо ці параметри відомі точно.

Приховані марковські моделі відомі в першу чергу завдяки їхньому застосуванню в розпізнаванні [[час]]ових шаблонів, таких як [[розпізнавання мовлення]], [[Розпізнавання рукописного введення|рукописного введення]], {{Не перекладено|Розпізнавання жестів|жестів||Gesture recognition}},<ref>

Thad Starner, Alex Pentland. [http://www.cc.gatech.edu/~thad/p/031_10_SL/real-time-asl-recognition-from%20video-using-hmm-ISCV95.pdf Real-Time American Sign Language Visual Recognition From Video Using Hidden Markov Models]. Master's Thesis, MIT, Feb 1995, Program in Media Arts {{ref-en}}

</ref> [[Розмічування частин мови|морфологічної розмітки]], [[Партитура|мелодій]] для акомпонуваня,<ref>B. Pardo and W. Birmingham. [http://www.cs.northwestern.edu/~pardo/publications/pardo-birmingham-aaai-05.pdf Modeling Form for On-line Following of Musical Performances] {{Webarchive|url=https://web.archive.org/web/20120206123155/http://www.cs.northwestern.edu/~pardo/publications/pardo-birmingham-aaai-05.pdf |date=2012-02-06 }}. AAAI-05 Proc., July 2005. {{ref-en}}</ref> {{Не перекладено|Часткові розряди|часткових розрядів||Partial discharge}}<ref>

Satish L, Gururaj BI (April 2003). «[http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=212242 Use of hidden Markov models for partial discharge pattern classification]». ''IEEE Transactions on Dielectrics and Electrical Insulation''. {{ref-en}}

</ref> та в [[Біоінформатика|біоінформатиці]].

Приховані марковські моделі можуть розглядатися як узагальнення {{Не перекладено|Сумішева модель|сумішевої моделі||Mixture model}}, де приховані (або [[Латентна змінна|латентні]]) змінні, що контролюють, яка складова суміші обиратиметься для кожного спостереження, пов'язані марковським процесом, а не є незалежними одна від одної. Нещодавно приховані марковські моделі було узагальнено до подвійних марковських моделей ({{lang-en|pairwise Markov models}}) та триплетних марковських моделей ({{lang-en|triplet Markov models}}), що дозволяє розглядати складніші структури даних<ref name="TMMEV">

[http://www.sciencedirect.com/science/article/pii/S0888613X06000375 Pr. Pieczynski], W. Pieczynski, Multisensor triplet Markov chains and theory of evidence, International Journal of Approximate Reasoning, Vol. 45, No. 1, pp. 1-16, 2007. {{ref-en}}

</ref><ref name="JASP">[http://asp.eurasipjournals.com/content/pdf/1687-6180-2012-134.pdf Boudaren et al.] {{Webarchive|url=https://web.archive.org/web/20140311164443/http://asp.eurasipjournals.com/content/pdf/1687-6180-2012-134.pdf |date=2014-03-11 }}, M. Y. Boudaren, E. Monfrini, W. Pieczynski, and A. Aissani, Dempster-Shafer fusion of multisensor signals in nonstationary Markovian context, EURASIP Journal on Advances in Signal Processing, No. 134, 2012. {{ref-en}}</ref> та моделювати нестаціонарні дані.<ref name="TSP">

[http://ieeexplore.ieee.org/xpl/articleDetails.jsp?tp=&arnumber=1468502&contentType=Journals+%26+Magazines&searchField%3DSearch_All%26queryText%3Dlanchantin+pieczynski Lanchantin et al.], P. Lanchantin and W. Pieczynski, Unsupervised restoration of hidden non stationary Markov chain using evidential priors, IEEE Trans. on Signal Processing, Vol. 53, No. 8, pp. 3091-3098, 2005. {{ref-en}}

</ref><ref name="SPL">

[http://ieeexplore.ieee.org/xpl/articleDetails.jsp?tp=&arnumber=6244854&contentType=Journals+%26+Magazines&searchField%3DSearch_All%26queryText%3Dboudaren Boudaren et al.], M. Y. Boudaren, E. Monfrini, and W. Pieczynski, Unsupervised segmentation of random discrete data hidden with switching noise distributions, IEEE Signal Processing Letters, Vol. 19, No. 10, pp. 619-622, October 2012. {{ref-en}}

</ref>

== Опис у термінах урн ==
[[Файл:HiddenMarkovModel.svg|right|thumb|300px|
Малюнок 1. Ймовірнісні параметри прихованої марковської моделі (приклад)<br/>
''X''&nbsp;— стани<br/>
''y''&nbsp;— можливі спостереження<br/>
''a''&nbsp;— ймовірності переходів станів<br/>
''b''&nbsp;— ймовірності виходів]]
У своїй дискретній формі прихований марковський процес може бути представлено як узагальнення {{Не перекладено|Задача про урни|задачі про урни||Urn problem}} із поверненням (де кожен елемент з урни перед наступним кроком повертається до своєї урни).<ref>

{{cite journal
 |author={{Не перекладено|Лоренс Рабінер|Lawrence Rabiner||Lawrence R. Rabiner}}
 |title=A tutorial on Hidden Markov Models and selected applications in speech recognition
 |journal=Proceedings of the [[IEEE]]
 |volume=77
 |issue=2
 |pages=257-286
 |date=лютий 1989
 |url=http://www.ece.ucsb.edu/Faculty/Rabiner/ece259/Reprints/tutorial%20on%20hmm%20and%20applications.pdf
 |doi=10.1109/5.18626
}} [http://www.cs.cornell.edu/courses/cs481/2004fa/rabiner.pdf] {{ref-en}}

</ref> Розгляньмо цей приклад. У невидимій для спостерігача кімнаті знаходиться джин. Кімната містить урни X1, X2, X3, … кожна з яких містить відому суміш куль, кожну кулю позначено як y1, y2, y3, … . Джин обирає урну в цій кімнаті, та витягує випадкову кулю з цієї урни. Потім він кладе цю кулю на конвеєрну стрічку, на якій спостерігач може бачити послідовність куль, але не послідовність урн, з яких їх було витягнуто. Джин має певну процедуру для обирання урн; вибір урни для ''n''-тої кулі залежить лише від випадкового числа та вибору урни для (''n''&nbsp;−&nbsp;1)-ї кулі. Вибір урни не залежить безпосередньо від урн, обраних перед цією однією попередньою урною; отже, це називається [[Марковський процес|марковським процесом]]. Його може бути зображено верхньою частиною малюнку 1.

Самого марковського процесу не видно, лише послідовність позначених куль, тому цей механізм називатися «прихованим марковським процесом». Це проілюстровано нижньою частиною діаграми, зображеної на малюнку 1, де можна бачити, що кулі y1, y2, y3, y4 може бути витягнуто у кожному стані. Навіть якщо спостерігач знає вміст урн, і щойно побачив на конвеєрній стрічці послідовність трьох куль, ''наприклад'', y1, y2 та y3, він все ще не може бути ''впевненим'' з якої урни (''тобто'', в якому стані) джин витягнув третю кулю. Однак, спостерігач може опрацювати іншу інформацію, таку як ймовірність того, що третю кулю було витягнуто з кожної з урн.

== Архітектура ==
Діаграма нижче показує загальну архітектуру прикладу ПММ. Кожен овал представляє випадкову змінну, що може приймати будь-яке число значень. Випадкова змінна ''x''(''t'') є прихованим станом у момент часу {{mvar|t}} (у моделі з діаграми вище ''x''(''t'')&nbsp;∈&nbsp;{&nbsp;''x''<sub>1</sub>,&nbsp;''x''<sub>2</sub>,&nbsp;''x''<sub>3</sub>&nbsp;}). Випадкова змінна ''y''(''t'') є спостереженням у момент часу {{mvar|t}} (де ''y''(''t'')&nbsp;∈&nbsp;{&nbsp;''y''<sub>1</sub>,&nbsp;''y''<sub>2</sub>,&nbsp;''y''<sub>3</sub>,&nbsp;''y''<sub>4</sub>&nbsp;}). Стрілки у цій діаграмі (що часто називають {{Не перекладено|Ґратка (граф)|ґратковою діаграмою||Trellis (graph)}}) позначають ймовірнісні залежності.

З цієї діаграми видно, що [[умовний розподіл]] прихованої змінної ''x''(''t'') у момент часу {{mvar|t}}, якщо дано значення прихованої змінної ''x'' в усі моменти часу, залежить ''лише'' від значення прихованої змінної {{mvar|x}}(''t''&nbsp;−&nbsp;1): значення у момент часу ''t''&nbsp;−&nbsp;2 та раніші не мають впливу. Це називається [[Марковська властивість|марковською властивістю]]. Так само, значення спостережуваної змінної ''y''(''t'') залежить лише від значення прихованої змінної ''x''(''t'') (у той же момент часу {{mvar|t}}).

У стандартному типі прихованої марковської моделі, що тут розглядається, [[Простір станів (теорія керування)|простір станів]] прихованих змінних є дискретним, тоді як самі спостереження можуть бути або дискретними (що зазвичай генеруються з [[Категорійний розподіл|категорійного розподілу]]) або неперервними (зазвичай з [[Нормальний розподіл|нормального розподілу]]). Параметри прихованої марковської моделі належать до двох типів, ''ймовірності переходів'' та ''ймовірності виходів''. Ймовірності переходів керують тим, яким чином прихований стан у момент часу {{mvar|t}} обирається на підставі прихованого стану в момент часу <math>t-1</math>.

Вважається, що простір прихованих станів складається з одного з {{mvar|N}} можливих значень, змодельований як категорійний розподіл. (Див. розділ нижче про розширення для інших можливостей.) Це означає, що для кожного з {{mvar|N}} можливих станів, у якому прихована змінна може бути в момент часу {{mvar|t}}, є ймовірність переходу з цього стану до кожного з {{mvar|N}} можливих станів прихованої змінної в момент часу <math>t+1</math>, загалом <math>N^2</math> ймовірностей переходів. Зауважте, що набір ймовірностей переходів для переходів з будь-якого заданого стану мусить в сумі дорівнювати 1. Отже, матриця <math>N \times N</math> ймовірностей переходів є [[Стохастична матриця|марковською матрицею]]. Оскільки будь-яку одну ймовірність переходу може бути визначено, коли відомо решту, загальна кількість параметрів переходу складає <math>N(N-1)</math>.

До того ж, для кожного з {{mvar|N}} можливих станів є набір ймовірностей виходів, що керує розподілом спостережуваної змінної у певний момент часу для заданого стану прихованої змінної в цей момент часу. Розмір цього набору залежить від природи спостережуваної змінної. Наприклад, якщо спостережувана змінна є дискретною з {{mvar|M}} можливих значень, що регулюються [[Категорійний розподіл|категорійним розподілом]], то буде <math>M-1</math> окремих параметрів, загальним числом <math>N(M-1)</math> параметрів виходу для всіх прихованих станів. З іншого боку, якщо спостережувана змінна є {{mvar|M}}-мірним вектором з розподілом відповідно до довільного [[Багатовимірний нормальний розподіл|багатовимірного нормального розподілу]], то буде {{mvar|M}} параметрів, що контролюють [[Середнє значення|середні]], та <math>\frac {M(M+1)} 2</math> параметрів, що контролюють [[Коваріаційна матриця|коваріаційну матрицю]], загальним числом <math>N \left(M + \frac{M(M+1)}{2}\right) = \frac {NM(M+3)} 2 = O(NM^2)</math> параметрів виходу. (В такому випадку, якщо значення {{mvar|M}} не є малим, може бути зручніше обмежити природу коваріацій між індивідуальними елементами вектора спостережень, наприклад, припустивши, що елементи не залежать один від одного, або, менш обмежуюче, не залежать від всіх, крім фіксованого числа сусідніх елементів.)

[[Файл:hmm temporal bayesian net.svg|500px|center|Часова еволюція прихованої марковської моделі]]

== Висновування ==
[[Файл:HMMsequence.svg|thumb|400px|Ймовірності переходів станів та виходів ПММ на верхній частині діаграми позначено непрозорістю ліній. Маючи це, ми проспостерігали вихідну послідовність у нижній частині діаграми, нас може цікавити найбільш правдоподібна послідовність станів, що могла це виробити. На підстави представлених на діаграмі стрілок, кандидатами є наступні послідовності станів:<br/>
5 3 2 5 3 2<br/>
4 3 2 5 3 2<br/>
3 1 2 5 3 2<br/>
Ми можемо знайти найбільш правдоподібну послідовність, обчисливши спільну ймовірність послідовностей станів та спостережень для кожного випадку (просто перемноживши значення ймовірностей, що відповідають непрозорості задіяних стрілок). Загалом, цей тип задач (тобто, знаходження найбільш правдоподібного пояснення спостережуваної послідовності) може ефективно розв'язуватися [[Алгоритм Вітербі|алгоритмом Вітербі]].]]

З прихованими марковськими моделями пов'язані деякі задачі [[висновування]], як окреслено нижче.

=== Ймовірність спостережуваної послідовності ===

Задача полягає в обчисленні найкращим чином, при заданих параметрах моделі, ймовірності певної вихідної послідовності. Це вимагає сумування за всіма можливими послідовностями станів:

Ймовірність спостереження послідовності
: <math>Y=y(0), y(1),\dots,y(L-1)\,</math>
довжиною ''L'' задається формулою
: <math>P(Y)=\sum_{X}P(Y\mid X)P(X),\,</math>
де сума пробігає усіма можливими послідовностями прихованих вузлів
: <math>X=x(0), x(1), \dots, x(L-1).\,</math>

При застосуванні принципу [[Динамічне програмування|динамічного програмування]] ця задача також може розв'язуватися ефективно з використанням {{Не перекладено|Послідовний алгоритм|послідовного алгоритму||Forward algorithm}}.

=== Імовірність латентних змінних ===
Ряд пов'язаних задач про ймовірність однієї або більше латентних змінних при заданих параметрах моделі та послідовності спостережень <math>y(1),\dots,y(t).</math>

==== Фільтрування ====
Задача полягає в обчисленні, при заданих параметрах моделі та послідовності спостережень, розподілу над прихованими станами останньої латентної змінної в кінці послідовності, тобто в обчисленні <math>P(x(t)\ |\ y(1),\dots,y(t))</math>. Ця задача зазвичай застосовується, коли послідовність латентних змінних розглядається як базові стані, якими проходить процес у послідовності моментів часу, із відповідними спостереженнями у кожен момент часу. Тоді природно спитати про стан процесу в кінці.

Ця задача може ефективно розв'язуватися із застосуванням {{Не перекладено|Послідовний алгоритм|послідовного алгоритму||Forward algorithm}}.

==== Згладжування ====
Ця задача схожа на фільтрування, але в ній питається про розподіл латентної змінної десь у середині послідовності, тобто, потрібно обчислити <math>P(x(k)\ |\ y(1), \dots, y(t))</math> для деякого <math>k < t</math>. З огляду на описане вище, це може розглядатися як розподіл ймовірностей над прихованими станами для моменту часу ''k'' у минулому, по відношенню до часу ''t''.

Ефективним методом обчислення згладжених значень для всіх змінних прихованого стану є {{Не перекладено|послідовно-зворотній алгоритм|||Forward–backward algorithm}}.

==== Найбільш правдоподібне пояснення ====
У цій задачі, на відміну від двох попередніх, питається про [[Спільна ймовірність|спільну ймовірність]] ''всієї'' послідовності прихованих станів, що згенерувала певну послідовність спостережень (див. ілюстрацію праворуч). Ця задача, як правило, можна застосовувати тоді, коли ПММ застосовується до різних типів проблем з тих, для яких застосовуються задачі фільтрування та згладжування. Прикладом є [[Розмічування частин мови|морфологічна розмітка]], де приховані стани представляють гадані [[Частина мови|частини мови]], що відповідають спостережуваній послідовності слів. У цьому випадку інтерес становить повна послідовність частин мови, а не просто частина мови для одного слова, що її обчислювали би фільтрування чи згладжування.

Задача вимагає знаходження максимуму над усіма можливими послідовностями станів, і може ефективно розв'язуватися [[Алгоритм Вітербі|алгоритмом Вітербі]].

=== Статистична значущість ===
Для деяких із наведених вище задач може бути цікаво спитати про [[Статистична значущість|статистичну значущість]]. Якою є ймовірність того, що послідовність, витягнута з якогось {{Не перекладено|Нульовий розподіл|нульового розподілу||Null distribution}}, матиме ПММ-ймовірність (у випадку послідовного алгоритму) або максимальну ймовірність послідовності станів (у випадку алгоритму Вітербі), не меншу за таку ймовірність певної послідовності?<ref>

{{Cite journal 
| last = Newberg | first = L. 
| doi = 10.1186/1471-2105-10-212 
| title = Error statistics of hidden Markov model and hidden Boltzmann model results 
| journal = BMC Bioinformatics 
| volume = 10 
| pages = 212 
| year = 2009 
| pmid = 19589158 
| pmc =2722652 
}} {{ref-en}}

</ref> Коли ПММ використовується для оцінювання доречності гіпотези для певної послідовності виходу, статистична значимість показує рівень [[Похибки першого і другого роду|похибки першого роду]], пов'язаною зі слабкістю можливості спростування цієї гіпотези для цієї послідовності виходу.

== Конкретний приклад ==
Розгляньмо двох приятелів, [[Аліса і Боб|Алісу та Боба]], які живуть далеко один від одного, і які щодня спілкуються телефоном про те, що вони робили цього дня. Боб цікавиться лише трьома заняттями: гулянням в парку, купівлями та прибиранням своєї квартири. Вибір, чим зайнятися, визначається виключно погодою цього дня. Аліса не має чіткої інформації про погоду в місці проживання Боба, але вона знає загальні тенденції. На підставі того, що Боб каже їй про те, що він робив кожного дня, Аліса намагається вгадати, якою, швидше за все, була погода.

Аліса вважає, що погода діє, як дискретний [[Ланцюги Маркова|марковський ланцюг]]. Є два стани, «Сонячно» та «Дощ», але вона не може спостерігати їх безпосередньо, тобто, вони ''приховані'' від неї. Кожного дня є певний шанс, що Боб займатиметься одним із наступних занять, в залежності від погоди: «гуляння», «купівлі» та «прибирання». Оскільки Боб каже Алісі про свої заняття, вони є ''спостереженнями''. Вся система в цілому є тим же, що й прихована марковська модель (ПММ).

Аліса знає загальні тенденції погоди в тій місцевості, і що Боб любить робити в середньому. Іншими словами, параметри ПММ відомі. Їх можна представити мовою програмування [[Python]] наступним чином:
<syntaxhighlight lang="python">
# стани
states = ('Дощ', 'Сонячно')
 
# спостереження
observations = ('гуляння', 'купівлі', 'прибирання')
 
# початкова ймовірність
start_probability = {'Дощ': 0.6, 'Сонячно': 0.4}
 
# ймовірність переходу
transition_probability = {
   'Дощ' : {'Дощ': 0.7, 'Сонячно': 0.3},
   'Сонячно' : {'Дощ': 0.4, 'Сонячно': 0.6},
   }
 
# ймовірність виходу
emission_probability = {
   'Дощ' : {'гуляння': 0.1, 'купівлі': 0.4, 'прибирання': 0.5},
   'Сонячно' : {'гуляння': 0.6, 'купівлі': 0.3, 'прибирання': 0.1},
   }
</syntaxhighlight>
У цьому фрагменті коду <code>start_probability</code> представляє думку Аліси про те, в якому стані знаходиться ПММ, коли Боб телефонує їй вперше (все, що вона знає, це те, що там зазвичай дощить). Конкретний розподіл ймовірності, що тут використовується, не є рівноважним, що є (при заданих ймовірностях переходів) приблизно <code>{'Дощ': 0.57, 'Сонячно': 0.43}</code>. <code>transition_probability</code> представляє зміну погоди в основному марковському ланцюгові. У цьому прикладі є лише 30% шансів, що завтра буде сонячно, якщо сьогодні дощить. <code>emission_probability</code> представляє, наскільки ймовірно Боб займатиметься певною справою за кожної погоди. Якщо дощить, є ймовірність 50%, що він прибиратиме у квартирі; якщо сонячно, є ймовірність 60%, що він гуляє надворі.

[[Файл:HMMGraph_uk.svg|border|center|400px|Графічне представлення даної ПММ]]

''Подібний приклад розбирається далі на сторінці [[:en:Viterbi algorithm#Example|Viterbi algorithm]].''

== Навчання ==

Задача навчання параметрів у ПММ полягає в знаходженні для заданої послідовності виходів або набору таких послідовностей найкращого набору ймовірностей переходів станів та виходів. Ця задача зазвичай полягає у виведенні оцінки [[Метод максимальної правдоподібності|максимальної правдоподібності]] цих параметрів ПММ для заданого набору послідовностей виходів. Не відомо жодного легкорозв'язного алгоритму для точного розв'язання цієї задачі, але локальну максимальну правдоподібність може бути дієво виведено із застосуванням [[Алгоритм Баума — Велша|Алгоритма Баума — Велша]] або {{H:title|Baldi–Chauvin algorithm|алгоритму Бальді — Шовена}}. [[Алгоритм Баума — Велша]] є окремим випадком [[Алгоритм очікування-максимізації|алгоритму очікування-максимізації]].

== Математичний опис ==
=== Загальний опис ===
Базову (не баєсову) приховану марковську модель може бути описано таким чином:

{|
|&nbsp;||&nbsp;|| <math>N</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| кількість станів
|-
|&nbsp;||&nbsp;|| <math>T</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| кількість спостережень
|-
|&nbsp;||&nbsp;|| <math>\theta_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| параметр виходу для спостереження, пов'язаного зі станом <math>i</math>
|-
|&nbsp;||&nbsp;|| <math>\phi_{i=1 \dots N, j=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| ймовірність переходу зі стану <math>i</math> до стану <math>j</math>
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\phi_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| <math>N</math>-мірний вектор, що складається з <math>\phi_{i,1 \dots N}</math>; в сумі має дорівнювати <math>1</math>, рядок матриці <math>\phi_{i=1 \dots N, j=1 \dots N}</math>
|-
|&nbsp;||&nbsp;|| <math>x_{t=1 \dots T}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| (прихований) стан у момент часу <math>t</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1 \dots T}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| спостереження в момент часу <math>t</math>
|-
|&nbsp;||&nbsp;|| <math>F(y|\theta)</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| розподіл ймовірностей спостережень, параметризований за <math>\theta</math>
|-
|&nbsp;||&nbsp;|| <math>x_{t=2 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Categorical}(\boldsymbol\phi_{x_{t-1}})</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>F(\theta_{x_t})</math>
|}

Зауважте що в наведеній вище моделі (а також і в наведеній нижче), апріорний розподіл початкового стану <math>x_1</math> не вказано. Типові моделі навчання відповідають припусканню [[Дискретний рівномірний розподіл|дискретного рівномірного розподілу]] можливих станів (тобто, припускається відсутність певного апріорного розподілу).

У баєсовому варіанті всі параметри пов'язано з випадковими змінними, а саме:

{|
|&nbsp;||&nbsp;|| <math>N,T</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| як вище
|-
|&nbsp;||&nbsp;|| <math>\theta_{i=1 \dots N}, \phi_{i=1 \dots N, j=1 \dots N}, \boldsymbol\phi_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| як вище
|-
|&nbsp;||&nbsp;|| <math>x_{t=1 \dots T}, y_{t=1 \dots T}, F(y|\theta)</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| як вище
|-
|&nbsp;||&nbsp;|| <math>\alpha</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| спільний гіперпараметр для параметрів виходу
|-
|&nbsp;||&nbsp;|| <math>\beta</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| спільний гіперпараметр для параметрів переходу
|-
|&nbsp;||&nbsp;|| <math>H(\theta|\alpha)</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| апріорний розподіл ймовірності параметрів виходу, параметризований за <math>\alpha</math>
|-
|&nbsp;||&nbsp;|| <math>\theta_{i=1 \dots N}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>H(\alpha)</math>
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\phi_{i=1 \dots N}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Symmetric-Dirichlet}_N(\beta)</math>
|-
|&nbsp;||&nbsp;|| <math>x_{t=2 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Categorical}(\boldsymbol\phi_{x_{t-1}})</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>F(\theta_{x_t})</math>
|}

Ці описи використовують <math>F</math> та <math>H</math> для опису довільних розподілів над спостереженнями та параметрами відповідно. Зазвичай <math>H</math> буде [[Спряжений апріорний розподіл|спряженим апріорним розподілом]] <math>F</math>. Двома найпоширенішими варіантами <math>F</math> є [[Нормальний розподіл|нормальний]] та [[Категорійний розподіл|категорійний]] розподіли; див. нижче.

=== У порівнянні з простою сумішевою моделлю ===
Як зазначено вище, розподіл кожного спостереження у прихованій марковській моделі є [[Сумішева щільнсть|сумішевою щільністю]], де стани відповідають складовим суміші. Корисно порівняти наведені вище описи ПММ з відповідними характеристиками {{Не перекладено|Сумішева модель|сумішевої моделі||Mixture model}}, використовуючи той самий запис.

Небаєсова сумішева модель:

{|
|&nbsp;||&nbsp;|| <math>N</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| кількість складових суміші
|-
|&nbsp;||&nbsp;|| <math>T</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| кількість спостережень
|-
|&nbsp;||&nbsp;|| <math>\theta_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| параметр розподілу спостереження, пов'язаний зі складовою <math>i</math>
|-
|&nbsp;||&nbsp;|| <math>\phi_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| сумішева вага, тобто, апріорна ймовірність складової <math>i</math>
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\phi</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| <math>N</math>-мірний вектор, що складається з <math>\phi_{1 \dots N}</math>; в сумі має дорівнювати 1
|-
|&nbsp;||&nbsp;|| <math>x_{t=1 \dots T}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| складова спостереження <math>t</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1 \dots T}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| спостереження <math>t</math>
|-
|&nbsp;||&nbsp;|| <math>F(y|\theta)</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| розподіл ймовірності спостереження, параметризований за <math>\theta</math>
|-
|&nbsp;||&nbsp;|| <math>x_{t=1 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Categorical}(\boldsymbol\phi)</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>F(\theta_{x_t})</math>
|}

Баєсова сумішева модель:

{|
|&nbsp;||&nbsp;|| <math>N,T</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| як вище
|-
|&nbsp;||&nbsp;|| <math>\theta_{i=1 \dots N}, \phi_{i=1 \dots N}, \boldsymbol\phi</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| як вище
|-
|&nbsp;||&nbsp;|| <math>x_{t=1 \dots T}, y_{t=1 \dots T}, F(y|\theta)</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| як вище
|-
|&nbsp;||&nbsp;|| <math>\alpha</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| спільний гіперпараметр для параметрів складових
|-
|&nbsp;||&nbsp;|| <math>\beta</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| спільний гіперпараметр для сумішевих ваг
|-
|&nbsp;||&nbsp;|| <math>H(\theta|\alpha)</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| апріорний розподіл ймовірності параметрів складових, параметризований за <math>\alpha</math>
|-
|&nbsp;||&nbsp;|| <math>\theta_{i=1 \dots N}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>H(\alpha)</math>
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\phi</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Symmetric-Dirichlet}_N(\beta)</math>
|-
|&nbsp;||&nbsp;|| <math>x_{t=1 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Categorical}(\boldsymbol\phi)</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>F(\theta_{x_t})</math>
|}

=== Приклади ===
Наступні математичні описи повністю розписано та пояснено для полегшення втілення.

Типова небаєсова ПММ з нормальним розподілом спостережень виглядає так:

{|
|&nbsp;||&nbsp;|| <math>N</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| кількість станів
|-
|&nbsp;||&nbsp;|| <math>T</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| кількість спостережень
|-
|&nbsp;||&nbsp;|| <math>\phi_{i=1 \dots N, j=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| ймовірність переходу зі стану <math>i</math> до стану <math>j</math>
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\phi_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| <math>N</math>-мірний вектор, що складається з <math>\phi_{i,1 \dots N}</math>; в сумі має дорівнювати 1
|-
|&nbsp;||&nbsp;|| <math>\mu_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| середнє спостережень, пов'язане<!-- пов'язаних? --> зі станом <math>i</math>
|-
|&nbsp;||&nbsp;|| <math>\sigma^2_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| дисперсія спостережень, пов'язана<!-- пов'язаних? --> зі станом <math>i</math>
|-
|&nbsp;||&nbsp;|| <math>x_{t=1 \dots T}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| стан спостереження у момент часу <math>t</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1 \dots T}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| спостереження у момент часу <math>t</math>
|-
|&nbsp;||&nbsp;|| <math>x_{t=2 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Categorical}(\boldsymbol\phi_{x_{t-1}})</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\mathcal{N}(\mu_{x_t}, \sigma_{x_t}^2)</math>
|}

Типова баєсова ПММ з нормальним розподілом спостережень виглядає так:

{|
|&nbsp;||&nbsp;|| <math>N</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| кількість станів
|-
|&nbsp;||&nbsp;|| <math>T</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| кількість спостережень
|-
|&nbsp;||&nbsp;|| <math>\phi_{i=1 \dots N, j=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| ймовірність переходу зі стану <math>i</math> до стану <math>j</math>
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\phi_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| <math>N</math>-мірний вектор, що складається з <math>\phi_{i,1 \dots N}</math>; в сумі має дорівнювати 1
|-
|&nbsp;||&nbsp;|| <math>\mu_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| середнє спостережень, пов'язане<!-- пов'язаних? --> зі станом <math>i</math>
|-
|&nbsp;||&nbsp;|| <math>\sigma^2_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| дисперсія спостережень, пов'язана<!-- пов'язаних? --> зі станом <math>i</math>
|-
|&nbsp;||&nbsp;|| <math>x_{t=1 \dots T}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| стан спостереження у момент часу <math>t</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1 \dots T}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| спостереження у момент часу <math>t</math>
|-
|&nbsp;||&nbsp;|| <math>\beta</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| гіперпараметр концентрації, що контролює щільність матриці переходу
|-
|&nbsp;||&nbsp;|| <math>\mu_0, \lambda</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| спільні гіперпараметри для середніх для кожного стану
|-
|&nbsp;||&nbsp;|| <math>\nu, \sigma_0^2</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| спільні гіперпараметри для дисперсій для кожного стану
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\phi_{i=1 \dots N}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Symmetric-Dirichlet}_N(\beta)</math>
|-
|&nbsp;||&nbsp;|| <math>x_{t=2 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Categorical}(\boldsymbol\phi_{x_{t-1}})</math>
|-
|&nbsp;||&nbsp;|| <math>\mu_{i=1 \dots N}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\mathcal{N}(\mu_0, \lambda\sigma_i^2)</math>
|-
|&nbsp;||&nbsp;|| <math>\sigma_{i=1 \dots N}^2</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Inverse-Gamma}(\nu, \sigma_0^2)</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1  \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\mathcal{N}(\mu_{x_t}, \sigma_{x_t}^2)</math>
|}

Типова небаєсова ПММ з категорійними спостереженнями виглядає так:

{|
|&nbsp;||&nbsp;|| <math>N</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| кількість станів
|-
|&nbsp;||&nbsp;|| <math>T</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| кількість спостережень
|-
|&nbsp;||&nbsp;|| <math>\phi_{i=1 \dots N, j=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| ймовірність переходу зі стану <math>i</math> до стану <math>j</math>
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\phi_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| <math>N</math>-мірний вектор, що складається з <math>\phi_{i,1 \dots N}</math>; в сумі має дорівнювати 1
|-
|&nbsp;||&nbsp;|| <math>V</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| розмірність категорійних спостережень, наприклад, розмір словника
|-
|&nbsp;||&nbsp;|| <math>\theta_{i=1 \dots N, j=1 \dots V}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| ймовірність спостереження <math>j</math>-того елементу в стані <math>i</math>
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\theta_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| <math>V</math>-мірний вектор, що складається з <math>\theta_{i,1 \dots V}</math>; в сумі має дорівнювати 1
|-
|&nbsp;||&nbsp;|| <math>x_{t=1 \dots T}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| стан спостереження у момент часу <math>t</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1 \dots T}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| спостереження у момент часу <math>t</math>
|-
|&nbsp;||&nbsp;|| <math>x_{t=2 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Categorical}(\boldsymbol\phi_{x_{t-1}})</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\text{Categorical}(\boldsymbol\theta_{x_t})</math>
|}

Типова баєсова ПММ з категорійними спостереженнями виглядає так:

{|
|&nbsp;||&nbsp;|| <math>N</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| кількість станів
|-
|&nbsp;||&nbsp;|| <math>T</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| кількість спостережень
|-
|&nbsp;||&nbsp;|| <math>\phi_{i=1 \dots N, j=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| ймовірність переходу зі стану <math>i</math> до стану <math>j</math>
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\phi_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| <math>N</math>-мірний вектор, що складається з <math>\phi_{i,1 \dots N}</math>; в сумі має дорівнювати 1
|-
|&nbsp;||&nbsp;|| <math>V</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| розмірність категорійних спостережень, наприклад, розмір словника
|-
|&nbsp;||&nbsp;|| <math>\theta_{i=1 \dots N, j=1 \dots V}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| ймовірність спостереження <math>j</math>-того елементу в стані <math>i</math>
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\theta_{i=1 \dots N}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| <math>V</math>-мірний вектор, що складається з <math>\theta_{i,1 \dots V}</math>; в сумі має дорівнювати 1
|-
|&nbsp;||&nbsp;|| <math>x_{t=1 \dots T}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| стан спостереження у момент часу <math>t</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1 \dots T}</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| спостереження у момент часу <math>t</math>
|-
|&nbsp;||&nbsp;|| <math>\alpha</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| спільний гіперпараметр концентрації <math>\boldsymbol\theta</math> для кожного стану
|-
|&nbsp;||&nbsp;|| <math>\beta</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| гіперпараметр концентрації, що контролює щільність матриці переходу
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\phi_{i=1 \dots N}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Symmetric-Dirichlet}_N(\beta)</math>
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\theta_{1 \dots V}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\text{Symmetric-Dirichlet}_V(\alpha)</math>
|-
|&nbsp;||&nbsp;|| <math>x_{t=2 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Categorical}(\boldsymbol\phi_{x_{t-1}})</math>
|-
|&nbsp;||&nbsp;|| <math>y_{t=1 \dots T}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Categorical}(\boldsymbol\theta_{x_t})</math>
|}

Зауважте, що в наведених вище баєсових описах <math>\beta</math> ({{Не перекладено|Параметр концентрації|параметр концентрації||Concentration parameter}}) контролює щільність матриці переходу. Тобто, при високому значенні <math>\beta</math> (значно більше&nbsp;1) ймовірності, що контролюють перехід з певного конкретного стану, будуть схожими між собою, що означає, що буде суттєва ймовірність переходу до будь-якого іншого стану. Іншими словами, шлях, пройдений ланцюгом Маркова прихованими станами, буде сильно випадковим. При низькому значенні <math>\beta</math> (значно менше&nbsp;1) лише мала кількість можливих переходів з певного заданого стану матиме значну ймовірність, що означає, що шлях, пройдений прихованими станами, буде до деякої міри передбачуваним.

=== Дворівнева баєсова ПММ ===
Альтернативою двох до наведених вище баєсових прикладів буде додавання до матриці переходу додаткового рівня апріорних параметрів. Тобто, замінити рядки

{|
|&nbsp;||&nbsp;|| <math>\beta</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| гіперпараметр концентрації, що контролює щільність матриці переходу
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\phi_{i=1 \dots N}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Symmetric-Dirichlet}_N(\beta)</math>
|}

наступними:

{|
|&nbsp;||&nbsp;|| <math>\gamma</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| гіперпараметр концентрації, що контролює, як багато станів є притаманно ймовірними
|-
|&nbsp;||&nbsp;|| <math>\beta</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| гіперпараметр концентрації, що контролює щільність матриці переходу
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\eta</math> ||&nbsp;|| <math>=</math> ||&nbsp;|| <math>N</math>-мірний вектор ймовірностей, що визначає притаманну ймовірність заданого стану
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\eta</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Symmetric-Dirichlet}_N(\gamma)</math>
|-
|&nbsp;||&nbsp;|| <math>\boldsymbol\phi_{i=1 \dots N}</math> ||&nbsp;|| <math>\sim</math> ||&nbsp;|| <math>\operatorname{Dirichlet}_N(\beta N \boldsymbol\eta)</math>
|}

Це означає наступне:
# <math>\boldsymbol\eta</math> є [[Розподіл ймовірностей|розподілом ймовірностей]] станів, що визначає, які стани є притаманно ймовірними. Що більшою є ймовірність заданого стану в цьому векторі, то більшою є ймовірність переходу до цього стану (незалежно від початкового стану).
# <math>\gamma</math> контролює щільність <math>\boldsymbol\eta</math>. Значення, значно більші за 1, призводять до такого вектора щільності, в якому всі стани мають схожі [[Апріорна ймовірність|апріорні ймовірності]]. Значення, значно менші за 1, призводять до розрідженого вектора, де лише деякі стани притаманно ймовірні (мають апріорні ймовірності значно більше&nbsp;0).
# <math>\beta</math> контролює щільність матриці переходу, або, конкретніше, щільність <math>N</math> різних векторів ймовірності <math>\boldsymbol\phi_{i=1 \dots N}</math>, що визначають ймовірність переходів зі стану <math>i</math> до будь-якого іншого стану.

Уявіть, що значення <math>\beta</math> є значно більшим за&nbsp;1. Тоді різні вектори <math>\boldsymbol\phi</math> будуть щільними, тобто, масу ймовірності буде розкидано досить порівну між всіма станами. Однак, в тій мірі, в якій цю масу розкидано нерівномірно, <math>\boldsymbol\eta</math> контролює, які стани ймовірніше отримають більше маси за інші.

Тепер замість цього уявіть, що <math>\beta</math> є значно меншим за&nbsp;1. Це зробить вектори <math>\boldsymbol\phi</math> розрідженими, тобто, майже всю масу ймовірності розподілено між невеликою кількістю станів, а щодо решти, то перехід до таких станів буде вельми малоймовірним. Зверніть увагу, що є різні вектори <math>\boldsymbol\phi</math> для кожного з початкових станів, і отже, навіть якщо всі вектори є розрідженими, різні вектори можуть перерозподіляти масу до різних кінцевих станів. Однак, для всіх векторів <math>\boldsymbol\eta</math> контролює, які кінцеві стани ймовірніше отримають призначення маси собі. Наприклад, якщо <math>\beta</math> дорівнює 0.1, то кожен <math>\boldsymbol\phi</math> буде розрідженим, і, для будь-якого заданого початкового стану <math>i</math> множина станів <math>\mathbf{J}_i</math>, переходи до яких будуть ймовірними, буде дуже маленькою, зазвичай з одним або двома елементами. Тепер, якщо ймовірності в <math>\boldsymbol\eta</math> є всі однаковими (або, рівноцінно, використовується одна з наведених вище моделей без <math>\boldsymbol\eta</math>), то для різних <math>i</math> будуть різні стани у відповідних <math>\mathbf{J}_i</math>, так що всі стани матимуть однакову ймовірність опинитися у довільно взятому <math>\mathbf{J}_i</math>. З іншого боку, якщо значення у <math>\boldsymbol\eta</math> є незбалансованими, так що один стан має значно більшу ймовірність за інші, то майже всі <math>\mathbf{J}_i</math> міститимуть цей стан; отже, незалежно від початкового стану, переходи майже завжди вестимуть до цього заданого стану.

Отже, така дворівнева модель, якщо щойно описано, дає можливість незалежного контролю над (1)&nbsp;загальною щільністю матриці переходів та (2)&nbsp;щільністю станів, переходи до яких є ймовірними (тобто, щільністю апріорного розподілу станів у будь-якій окремій прихованій змінній <math>x_i</math>). В обох випадках це робиться із збереженням припущення про невідомість того, які конкретні стани є ймовірнішими за інші. Якщо є бажання ввести цю інформацію до моделі, то можна безпосередньо задати вектор ймовірності <math>\boldsymbol\eta</math>; або, якщо немає такої впевненості про ці відносні ймовірності, як апріорний розподіл над <math>\boldsymbol\eta</math> може бути використано несиметричний [[розподіл Діріхле]]. Тобто, замість використання симетричного розподілу Діріхле з єдиним параметром <math>\gamma</math> (або, рівноцінно, звичайного Діріхле з вектором, чиї значення всі дорівнюють <math>\gamma</math>), використовувати звичайний Діріхле зі значеннями, що є по-різному більшими або меншими за <math>\gamma</math>, відповідно до того, якому станові віддається більше або менше переваги.

=== Пуассонівська прихована марковська модель ===

''Пуассонівські приховані марковські моделі'' (ППММ, {{lang-en|Poisson hidden Markov models, PHMM}})&nbsp;— це особливі випадки прихованих марковських моделей, в яких [[пуассонівський процес]] має темп, що варіюється у зв'язку зі змінами станів марковської моделі.<ref>R. Paroli. et al., [http://actuaries.org/ASTIN/Colloquia/Porto_Cervo/Paroli_Redaelli_Spezia.pdf ''Poisson hidden Markov models for time series of overdispersed insurance counts''] {{ref-en}}</ref> ППММ самі по собі не обов'язково є [[Марковський процес|марковськими процесами]], оскільки [[марковський ланцюг]] або [[марковський процес]], що лежить в основі, спостерігати неможливо, а можливо спостерігати лише пуассонівський сигнал.

== Застосування ==

ПММ можуть застосовуватися у багатьох сферах, де метою є виявлення послідовності даних, що не є безпосередньо спостережуваною (але інші дані, що залежать від цієї послідовності, є). До застосування входять:

* [[Детектування одиничних молекул|Кінетичний аналіз однієї молекули]]<ref>

{{cite journal
 | doi = 10.1142/S1793048013300053
 | title=SOLVING ION CHANNEL KINETICS WITH THE QuB SOFTWARE
 | journal=Biophysical Reviews and Letters
 | date=2013
 | volume=8
 | issue=3n04
 | pages=191–211
 | first=CHRISTOPHER
 | last=NICOLAI
}} {{ref-en}}

</ref>
* [[Криптоаналіз]]
* [[Розпізнавання мовлення]]
* [[Синтез мовлення]]
* [[Розмічування частин мови]]
* Розділення документів у рішеннях для сканування
* [[Машинний переклад]]
* {{Не перекладено|Часткові розряди|||Partial discharge}}
* {{Не перекладено|Передбачення генів|||Gene prediction}}
* [[Вирівнювання послідовностей|Вирівнювання біопослідовностей]]
* [[Часовий ряд|Аналіз часових рядів]]
* {{Не перекладено|Розпізнавання діяльності|||Activity recognition}}
* [[Згортання білків]]<ref>

{{Cite journal 
| last1 = Stigler | first1 = J. 
| last2 = Ziegler | first2 = F.
| last3 = Gieseke | first3 = A.
| last4 = Gebhardt | first4 = J. C. M.
| last5 = Rief | first5 = M.
| title = The Complex Folding Network of Single Calmodulin Molecules 
| doi = 10.1126/science.1207598 
| journal = [[Science]]
| volume = 334 
| issue = 6055 
| pages = 512–516 
| year = 2011 
| pmid =  22034433
| pmc = 
}} {{ref-en}}

</ref>
* Виявлення метаморфних [[Комп'ютерний вірус|вірусів]]<ref>

{{Cite journal 
| last1 = Wong | first1 = W. 
| last2 = Stamp | first2 = M.
| doi = 10.1007/s11416-006-0028-7 
| title = Hunting for metamorphic engines 
| journal = Journal in Computer Virology 
| volume = 2 
| issue = 3 
| pages = 211-229 
| year = 2006 
| pmid =  
| pmc = 
}} {{ref-en}}

</ref>
* Виявлення {{Не перекладено|Консервативні мотиви|консервативних мотивів||Sequence motif}} ДНК<ref>

{{Cite journal 
| last1 = Wong | first1 = K. -C.
| last2 = Chan | first2 = T. -M.
| last3 = Peng | first3 = C.
| last4 = Li | first4 = Y.
| last5 = Zhang | first5 = Z.
| title = DNA motif elucidation using belief propagation 
| doi = 10.1093/nar/gkt574 
| journal = Nucleic Acids Research 
| volume = 41 
| issue = 16 
| pages = e153 
| year = 2013 
| pmid =  23814189
| pmc =3763557 
}} {{ref-en}}

</ref>

== Історія ==

Послідовну та зворотню рекурсії, що використовуються у ПММ, так само як і розрахунки відособлених згладжувальних ймовірностей, було описано вперше [[Руслан Стратонович|Русланом Стратоновичем]] у 1960 році<ref name="Stratonovich1960"/> (сторінки 160–162) та у пізніх 1950-х у його працях російською.
Приховані марковські моделі було пізніше описано в низці статистичних робіт {{Не перекладено|Леонард Баум|Леонарда Баума||Leonard E. Baum}} та інших авторів у другій половині 1960-х. Одним з перших застосувань ПММ було [[розпізнавання мовлення]], починаючи з середини 1970-х.<ref>

{{Cite journal 
| last1 = Baker | first1 = J. | authorlink1 = Джеймс К. Бейкер
| doi = 10.1109/TASSP.1975.1162650 
| title = The DRAGON system--An overview 
| journal = IEEE Transactions on Acoustics, Speech, and Signal Processing 
| volume = 23 
| pages = 24–29 
| year = 1975 
| pmid =  
| pmc = 
}} {{ref-en}}

</ref><ref>

{{Cite journal 
| last1 = Jelinek | first1 = F.
| last2 = Bahl | first2 = L.
| last3 = Mercer | first3 = R.
| doi = 10.1109/TIT.1975.1055384 
| title = Design of a linguistic statistical decoder for the recognition of continuous speech 
| journal = {{нп|IEEE Transactions on Information Theory}}
| volume = 21 
| issue = 3 
| pages = 250 
| year = 1975 
| pmid =  
| pmc = 
}} {{ref-en}}

</ref><ref>

{{cite book
 |author={{Не перекладено|Сюедун Хуан|Xuedong Huang||Xuedong Huang}}, M. Jack, and Y. Ariki
 |title=Hidden Markov Models for Speech Recognition
 |publisher=Edinburgh University Press
 |year=1990
 |isbn=0-7486-0162-7
}} {{ref-en}}

</ref><ref>

{{cite book
 |author={{Не перекладено|Сюедун Хуан|Xuedong Huang||Xuedong Huang}}, Alex Acero, and Hsiao-Wuen Hon
 |title=Spoken Language Processing
 |url=https://archive.org/details/spokenlanguagepr0000huan
 |publisher=Prentice Hall
 |year=2001
 |isbn=0-13-022616-5
}} {{ref-en}}

</ref>

У другій половині 1980-х ПММ почали застосовуватися до аналізу біологічних послідовностей,<ref>

{{cite journal
 |doi=10.1016/0022-2836(86)90289-5
 |author=M. Bishop and E. Thompson
 |title=Maximum Likelihood Alignment of DNA Sequences
 |journal=Journal of Molecular Biology
 |volume=190
 |issue=2
 |pages=159–165
 |year=1986
 |pmid=3641921
}} {{ref-en}}

</ref> зокрема, [[ДНК]]. Відтоді у сфері [[Біоінформатика|біоінформатики]] вони стали всюдисущими.<ref>

{{cite book
 | author = Richard Durbin, Sean R. Eddy, {{Не перекладено|Андерс Крог|Anders Krogh||Anders Krogh}}, Graeme Mitchison
 | title = Biological Sequence Analysis: Probabilistic Models of Proteins and Nucleic Acids
 | publisher = [[Cambridge University Press]]
 | year = 1999
 | isbn = 0-521-62971-3
}} {{ref-en}}

</ref>

== Типи ==
Приховані марковські моделі можуть моделювати складні [[Марковський процес|марковські процеси]], де стани видають спостереження відповідно до якогось розподілу ймовірностей. Одним з таких прикладів є [[нормальний розподіл]], у такій прихованій марковській моделі вихід станів представлено нормальним розподілом.

Крім того, вони можуть представляти ще складнішу поведінку, коли вихід станів представлено сумішшю двох або більше нормальних розподілів, у такому випадку [[ймовірність]] генерації спостереження є добутком ймовірності спочатку вибору одного з нормальних розподілів, і ймовірності генерації цього спостереження з цього нормального розподілу.

== Розширення ==
У розглянутих вище прихованих марковських моделях простір станів прихованих змінних є дискретним, тоді як самі спостереження можуть бути або дискретними (зазвичай згенерованими з [[Категорійний розподіл|категорійного розподілу]]), або неперервним (зазвичай з [[Нормальний розподіл|нормального розподілу]]). Приховані марковські моделі також може бути узагальнено, щоби дозволяти неперервні простори станів. Прикладами таких моделей є ті, де марковський процес над прихованими змінними є [[Лінійна динамічна система|лінійною динамічною системою]] з лінійним зв'язком між пов'язаними змінними, і де всі приховані й спостережувані змінні слідують [[Нормальний розподіл|нормальному розподілові]]. В простих випадках, таких як щойно зазначені лінійні динамічні системи, точне висновування є легкорозв'язним (у цьому випадку з використанням [[Фільтр Калмана|фільтру Калмана]]); однак у загальному випадку точне висновування в ПММ з неперервними латентними змінними є нездійсненним, і можуть застосовуватися наближені методи, такі як [[розширений фільтр Калмана]] або {{Не перекладено|Частинковий фільтр|частинковий фільтр||Particle filter}}.

Приховані марковські моделі є [[Породжувальна модель|породжувальними моделями]], в яких моделюється [[спільний розподіл]] спостережень та прихованих станів, або, еквівалентно, як [[апріорний розподіл]] прихованих станів (''ймовірності переходу''), так і [[умовний розподіл]] спостережень для заданих станів (''ймовірності виходу''). Наведені вище алгоритми неявно припускають [[неперервний рівномірний розподіл|рівномірний]] апріорний розподіл ймовірностей переходу. Однак, також можливо створити приховані марковські моделі з іншими типами апріорних розподілів. Очевидним кандидатом, при категорійному розподілі ймовірностей переходу, є [[розподіл Діріхле]], що є [[Спряжений апріорний розподіл|спряженим апріорним]] розподілом категорійного розподілу. Зазвичай обирається симетричний розподіл Діріхле, що відображає незнання того, які стани є притаманно ймовірнішими за інші. Єдиний параметр цього розподілу (що називається ''параметром концентрації'') контролює відносну щільність або розрідженість отримуваної матриці переходу. Вибір 1 породжує рівномірний розподіл. Значення, більші за 1, породжують [[Щільна матриця|щільну матрицю]], в якій імовірності переходів між парами станів, ймовірно, будуть майже рівними. Значення, менші за 1, породжують розріджену матрицю, в якій для кожного заданого початкового стану лише невелика кількість кінцевих станів має не незначні ймовірності переходу. Також можливе використання дворівневого апріорного розподілу Діріхле, в якому один розподіл Діріхле (верхній розподіл) керує параметрами іншого розподілу Діріхле (нижнього розподілу), який, у свою чергу, керує ймовірностями переходу. Верхній розподіл керує загальним розподілом станів, визначаючи, наскільки ймовірно для кожного стану, що він трапиться; його концентраційний параметр визначає щільність або розрідженість станів. Такий дворівневий апріорний розподіл, де обидва концентраційні параметри встановлено на породження розріджених розподілів, можуть бути корисними, наприклад, у [[Некероване навчання|некерованій]] [[Розмічування частин мови|морфологічній розмітці]], де деякі частини мови трапляються значно частіше за інші; алгоритми навчання, що припускають рівномірний апріорний розподіл, загалом погано працюють з цією задачею. Параметри моделей такого роду, з нерівномірними апріорними розподілами, можуть отримуватися {{Не перекладено|Вибірка за Ґіббсом|вибіркою за Ґіббсом||Gibbs sampling}} або розширеними версіями [[Алгоритм очікування-максимізації|алгоритму очікування-максимізації]].

Розширення описаних вище прихованих марковських моделей з апріорними [[Розподіл Діріхле|Діріхле]] використовує {{Не перекладено|Процес Діріхле|процес Діріхле||Dirichlet process}} замість розподілу Діріхле. Цей тип моделей дозволяє невідому, і потенційно нескінченну кількість станів. Загальноприйнято використовувати дворівневий процес Діріхле, подібно до описаної вище моделі з двома рівнями розподілів Діріхле. Така модель називається ''прихованою марковською моделлю з ієрархічним процесом Діріхле'' (ПММ-ІПД, {{lang-en|hierarchical Dirichlet process hidden Markov model, HDP-HMM}}). Початково її було описано під назвою «Нескінченна прихована марковська модель»<ref>

Beal, Matthew J., Zoubin Ghahramani, and Carl Edward Rasmussen. «The infinite hidden Markov model.» Advances in neural information processing systems 14 (2002): 577–584. {{ref-en}}

</ref> і було формалізовано далі у&nbsp;<ref>

Teh, Yee Whye, et al. «Hierarchical dirichlet processes.» Journal of the American Statistical Association 101.476 (2006). {{ref-en}}

</ref>.

Інший тип розширень використовує [[Розрізнювальна модель|розрізнювальну модель]] замість [[Породжувальна модель|породжувальної моделі]] стандартної ПММ. Цей тип моделі моделює безпосередньо умовний розподіл прихованих станів при заданих спостереженнях, замість моделювання спільного розподілу. Прикладом цієї моделі є так звана ''{{Не перекладено|Марковська модель максимальної ентропії|марковська модель максимальної ентропії||Maximum-entropy Markov model}}'' (МММЕ, {{lang-en|maximum entropy Markov model, MEMM}}), що моделює умовний розподіл станів за допомогою [[Логістична регресія|логістичної регресії]] (відома також як «модель {{Не перекладено|Розподіл ймовірностей максимальної ентропії|максимальної ентропії||Maximum entropy probability distribution}}»). Перевагою цього типу моделі є те, що вона дозволяє моделювати довільні властивості (тобто, функції) спостережень, що дозволяє введення до моделі предметно-орієнтованого знання задачі, яке є під руками. Моделі цього роду не обмежені моделюванням прямих залежностей між прихованими станами та пов'язаними з ними спостереженнями; швидше, для визначення значення прихованого стану до процесу можуть включатися властивості близьких спостережень, комбінацій пов'язаного спостереження і близьких спостережень, або факти довільних спостережень на будь-якій відстані від заданого прихованого стану. До того ж, не потрібно, щоби ці властивості були [[Незалежність (імовірність)|статистично незалежними]] одна від одної, як було би у випадку, якби такі властивості використовувалися у породжувальній моделі. Насамкінець, можуть використовуватися довільні властивості над парами суміжних прихованих станів, а не лише ймовірності переходів. Недоліками таких моделей є: (1) Типи апріорних розподілів, що може бути встановлено над прихованими станами, суворо обмежено; (2) Неможливо передрікти ймовірність побачити певне спостереження. Це друге обмеження часто не є проблемою на практиці, оскільки багато звичайних застосувань ПММ не вимагають таких передбачувальних можливостей.

Варіантом описаної вище розрізнювальної моделі є нерозгалужена [[умовна мережа]] ({{lang-en|linear-chain conditional random field}}). Вона використовує неспрямовану графічну модель (відому як [[марковська мережа]]) замість спрямованих графічних моделей марковської моделі максимальної ентропії, та подібних моделей. Перевагою цього типу моделей є те, що він не страждає від так званої проблеми ''міткової схильності'' ({{lang-en|label bias}}) марковських моделей максимальної ентропії, і тому може робити точніші передбачення. Недоліком є те, що навчання може бути повільнішим, ніж в марковських моделях максимальної ентропії.

Ще одним варіантом є ''факторіальна прихована марковська модель'' ({{lang-en|factorial hidden Markov model}}), що дозволяє єдиному спостереженню бути обумовленим відповідними прихованими змінними набору <math>K</math> незалежних марковських ланцюгів, а не єдиного марковського ланцюга. Це еквівалентно єдиній ПММ з <math>N^K</math> станів (за припущення, що кожен ланцюг має <math>N</math> станів), і тому навчання такої моделі є складним: для послідовності довжиною <math>T</math> прямолінійний алгоритм Вітербі має складність <math>O(N^{2K} \, T)</math>. Для знаходження точного розв'язку може використовуватися алгоритм дерева з'єднань ({{lang-en|junction tree algorithm}}), але це призводить до складності <math>O(N^{K+1} \, K \, T)</math>. На практиці можуть застосовуватися приблизні методи, такі як варіаційні підходи.<ref>

{{cite journal
 |last=Ghahramani
 |first=Zoubin
 |coauthors=Jordan, Michael I.
 |title=Factorial Hidden Markov Models
 |journal=Machine Learning
 |year=1997
 |volume=29
 |issue=2/3
 |pages=245–273
 |doi=10.1023/A:1007425814087
}} {{ref-en}}

</ref>

Всі наведені вище моделі може бути розширено, щоби дозволити віддаленіші залежності серед прихованих станів, наприклад, дозволяючи заданому станові бути залежним від двох або трьох станів, а не від єдиного попереднього стану; тобто, ймовірності переходу розширюються для охоплення наборів трьох або чотирьох суміжних станів (або, в загальному випадку, <math>K</math> суміжних станів). Недоліком таких моделей є те, що алгоритми динамічного програмування для їх навчання мають час виконання <math>O(N^K \, T)</math> для <math>K</math> суміжних станів та <math>T</math> спостережень (тобто, маркового ланцюга довжиною <math>T</math>).

Іншим недавнім розширенням є ''трійкова марковська модель'' ({{lang-en|triplet Markov model}}),<ref name="TMM">

[http://www.sciencedirect.com/science/article/pii/S1631073X02024627 Triplet Markov Chain], W. Pieczynski,Chaînes de Markov Triplet, Triplet Markov Chains, Comptes Rendus de l'Académie des Sciences&nbsp;— Mathématique, Série I, Vol. 335, No. 3, pp. 275–278, 2002. {{ref-en}}

</ref> у якій для моделювання деяких специфічностей даних додається допоміжний базовий процес. Було запропоновано багато варіантів цієї моделі. Варто також мати на увазі цікавий зв'язок, що встановився між ''теорією очевидності'' ({{lang-en|theory of evidence}}) та ''трійковими марковськими моделями'',<ref name="TMMEV"/> який дозволяє вплавляти дані до марковського контексту<ref name="JASP"/> та моделювати нестаціонарні дані.<ref name="TSP"/><ref name="SPL"/>

== Див. також ==

{{Div col|cols=3}}
* [[Алгоритм Баума — Велша]]
* [[Алгоритм Вітербі]]
* Аналіз [[Часовий ряд|часових рядів]]
* [[Марков Андрій Андрійович|Андрій Марков]]
* {{Не перекладено|Багаторівнева прихована марковська модель|||Layered hidden Markov model}}
* [[Баєсове висновування]]
* Безкоштовна ПММ-програма {{Не перекладено|HMMER|||HMMER}} для аналізу послідовностей білків
* Безкоштовний сервер та програмне забезпечення {{Не перекладено|HHpred / HHsearch|||HHpred / HHsearch}} для пошуку послідовностей білків
* {{Не перекладено|Ієрархічна прихована марковська модель|||Hierarchical hidden Markov model}}
* {{Не перекладено|Марковська модель змінного порядку|||Variable-order Markov model}}
* {{Не перекладено|Прихована модель Бернуллі|||Hidden Bernoulli model}}
* {{Не перекладено|Прихована напівмарковська модель|||Hidden semi-Markov model}}
* {{Не перекладено|Секвенційна динамічна система|||Sequential dynamical system}}
* {{Не перекладено|Стохастична контекстно-вільна граматика||ru|Стохастическая контекстно-свободная грамматика}}
* [[Теорія оцінювання]]
* [[Умовне випадкове поле]]
{{Div col end}}

== Примітки ==

{{примітки}}

== Посилання ==
{{Commons category inline|Hidden Markov Model}}

=== Концепції ===

* [[b:ru:Скрытые_марковские_модели#Три основных задачи СММ|Три основні задачі ПММ]] {{ref-ru}}
* Сергій Ніколенко. Лекції [http://logic.pdmi.ras.ru/~sergey/teaching/mlbayes/06-hmm.pdf №&nbsp;6] і [http://logic.pdmi.ras.ru/~sergey/teaching/mlbayes/07-hmm2.pdf №&nbsp;7] (слайди), присвячені прихованим марковським моделям, із курсу [https://web.archive.org/web/20120102190500/http://www.csin.ru/courses/probabilistic-learning «Теорія ймовірності»] {{ref-ru}}
* Teif V. B. and K. Rippe (2010) Statistical-mechanical lattice models for protein-DNA binding in chromatin. ''J. Phys.: Condens. Matter'', '''22''', 414105, [[doi:10.1088/0953-8984/22/41/414105|http://iopscience.iop.org/0953-8984/22/41/414105]] {{ref-en}}
* [http://www.cs.sjsu.edu/~stamp/RUA/HMM.pdf A Revealing Introduction to Hidden Markov Models] by Mark Stamp, San Jose State University. {{ref-en}}
* [https://web.archive.org/web/20120415032315/http://www.ee.washington.edu/research/guptalab/publications/EMbookChenGupta2010.pdf Fitting HMM's with expectation-maximization&nbsp;— complete derivation] {{ref-en}}
* [https://web.archive.org/web/20111005202130/http://www.tristanfletcher.co.uk/SAR%20HMM.pdf Switching Autoregressive Hidden Markov Model (SAR HMM)] {{ref-en}}
* [http://www.comp.leeds.ac.uk/roger/HiddenMarkovModels/html_dev/main.html A step-by-step tutorial on HMMs] ''(University of Leeds)'' {{ref-en}}
* [http://www.cs.brown.edu/research/ai/dynamics/tutorial/Documents/HiddenMarkovModels.html Hidden Markov Models] ''(an exposition using basic mathematics)'' {{ref-en}}
* [http://jedlik.phy.bme.hu/~gerjanos/HMM/node2.html Hidden Markov Models] ''(by Narada Warakagoda)'' {{ref-en}}
* Hidden Markov Models: Fundamentals and Applications [http://www.eecis.udel.edu/~lliao/cis841s06/hmmtutorialpart1.pdf Part 1], [http://www.eecis.udel.edu/~lliao/cis841s06/hmmtutorialpart2.pdf Part 2] ''(by V. Petrushin)'' {{ref-en}}
* Lecture on a Spreadsheet by Jason Eisner, [http://videolectures.net/hltss2010_eisner_plm/video/2/ Video] and [http://www.cs.jhu.edu/~jason/papers/eisner.hmm.xls interactive spreadsheet] {{ref-en}}

=== Програмне забезпечення ===

* [https://web.archive.org/web/20131017131255/http://karamanov.com/HMMdotEM/ HMMdotEM] ''(інструментарій для звичайних ПММ з дискретними станами, випущений під [[Ліцензія BSD#Пункт про рекламу UC Berkeley|3-пунктовою ліцензією BSD]], наразі лише для [[Matlab]])''
* [http://www.cs.ubc.ca/~murphyk/Software/HMM/hmm.html Hidden Markov Model (HMM) Toolbox for Matlab] ''(інструментарій для [[Matlab]] від Кевіна Мерфі)''
* [http://htk.eng.cam.ac.uk/ Hidden Markov Model Toolkit (HTK)] ''(переносний інструментарій для побудови й маніпулювання прихованими марковськими моделями)''
* [https://cran.r-project.org/web/packages/HMM/index.html Hidden Markov Models] ''(пакет для [[R (мова програмування)|R]] для налаштування, застосування та отримання висновків за допомогою прихованих марковських моделей з дискретним часом і дискретним простором)''
* [https://archive.today/20130927080907/http://birc.au.dk/~asand/hmmlib HMMlib] ''(оптимізована бібліотека для роботи зі звичайними (дискретними) прихованими марковськими моделями)''
* [https://archive.today/20130927080908/http://birc.au.dk/~asand/parredhmmlib parredHMMlib] ''(паралельна реалізація послідовного алгоритму та алгоритму Вітербі. Надзвичайно швидка для ПММ з малими просторами станів)''
* [http://birc.au.dk/software/zipHMM zipHMMlib] ''(бібліотека для звичайних (дискретних) прихованих марковських моделей, що використовує повторення у вхідній послідовності для значного прискорення послідовного алгоритму. Також реалізовано алгоритм апостеріорного декодування та алгоритм Вітербі.)''
* [http://www.ghmm.org/ GHMM Library] ''(домашня сторінка проекту GHMM Library)''
* [http://jahmm.googlecode.com/ Jahmm Java Library]{{Недоступне посилання|date=липень 2019 |bot=InternetArchiveBot }} ''([[Java]]-бібліотека загального призначення)''
* [http://www.kanungo.com/software/software.html ПММ та інші статистичні програми] ''(Реалізація Тапаса Канунго для [[C (мова програмування)|C]])''
* [http://hackage.haskell.org/cgi-bin/hackage-scripts/package/hmm The hmm package] ''(бібліотека для [[Haskell]] для роботи з прихованими марковськими моделями)''
* [http://gt2k.cc.gatech.edu/ GT2K] ''(Georgia Tech Gesture Toolkit&nbsp;— пакет для розпізнавання жестів)''
* [http://www.lwebzem.com/cgi-bin/courses/hidden_markov_model_online.cgi Hidden Markov Models&nbsp;— Online Calculations] (''інтерактивний калькулятор для ПММ&nbsp;— шлях Вітербі та ймовірності. Приклади із сирцевим кодом на [[perl]]'')
* [http://sourceforge.net/projects/cvhmm/ CvHMM] (''клас дискретних прихованих марковських моделей, на базі [[OpenCV]]'')
* [https://cran.r-project.org/web/packages/depmixS4/index.html depmixS4: Dependent Mixture Models&nbsp;— Hidden Markov Models of GLMs and Other Distributions in S4] ''(пакет для [[R (мова програмування)|R]])''
* {{Не перекладено|MLPACK|||MLPACK (C++ library)}} ''(містить реалізацію ПММ для [[C++]])''
* [http://adrianulbona.github.io/hmm Hidden Markov Models Java Library] містить основні абстракції ПММ в Java 8
* [http://tuvalu.santafe.edu/~simon/styled-8/ SFIHMM] швидкісний код C для оцінки прихованих марковських моделей, відтворення шляху Вітербі, та породження модельованих даних з ПММ.

{{Authority control}}

[[Категорія:Біоінформатика]]
[[Категорія:Приховані марковські моделі| ]]
[[Категорія:Марковські моделі]]
[[Категорія:Статті з прикладами коду мовою Python]]