Перегляд вихідного коду сторінки Умовне випадкове поле

{{multiple issues|
{{context|date=листопад 2019}}
{{technical|date=листопад 2019}}
}}

{{Машинне навчання|Структурове передбачування}}

'''Умо́вні випадко́ві поля́''' ('''УВП''', {{lang-en|conditional random fields, CRFs}})&nbsp;— це клас [[Статистична модель|методів статистичного моделювання]], які часто застосовують в [[Розпізнавання образів|розпізнаванні образів]] та [[Машинне навчання|машинному навчанні]], й використовують для [[Структурове передбачування|структурового передбачування]]. УВП належать до родини моделювання послідовностей. На відміну від дискретного [[Статистична класифікація|класифікатора]], який передбачує мітку для окремого зразка без врахування «сусідніх» зразків, УВП може брати до уваги контекст; наприклад, лінійно-ланцюгове УВП (що є популярним в [[Обробка природної мови|обробці природної мови]]) передбачує послідовності міток для послідовностей входових зразків.

УВП є одним з типів [[Розрізнювальна модель|розрізнювальних]] [[Марковське випадкове поле|неспрямованих]] [[Статистична модель|імовірнісних]] [[Графова модель|графових моделей]]. Їх використовують для кодування відомих взаємозв'язків між спостереженнями та побудови узгоджених представлень, і часто використовують для {{нп|Розмічування послідовностей|розмічування||Sequence labeling}} або [[Синтаксичний аналіз|розбирання]] послідовних даних, таких як обробка природних мов та [[Біоінформатика|біологічні послідовності]],<ref name="Laf:McC:Per01">{{cite conference | authors = Lafferty, J., McCallum, A., Pereira, F. |
title=Conditional random fields: Probabilistic models for segmenting and labeling sequence data|
booktitle =Proc. 18th International Conf. on Machine Learning |
publisher= Morgan Kaufmann|
date = 2001| pages= 282–289|url= http://repository.upenn.edu/cgi/viewcontent.cgi?article=1162&context=cis_papers }}
 {{ref-en}}</ref> та в [[Комп'ютерне бачення|комп'ютерному баченні]].<ref>{{cite news
 | title = Multiscale conditional random fields for image labeling
 | last1 = He | first1 = X. | authorlink = Сюмін Хе | last2 = Zemel | first2 = R.S. | last3 = Carreira-Perpinñán | first3 = M.A.
 | date = 2004
 | publisher = IEEE Computer Society
 | citeseerx = 10.1.1.3.7826
 }} {{ref-en}}</ref> Зокрема, УВП, серед інших задач, знаходять застосування в [[Розмічування частин мови|розмічуванні частин мови]], [[Поверхнево-синтаксичний аналіз|поверхнево-синтаксичному аналізі]],<ref>{{cite conference| title=shallow parsing with conditional random fields|author1=Sha, F. |author2=Pereira, F. | date=2003 |  url= http://portal.acm.org/ft_gateway.cfm?id=1073473&type=pdf&CFID=4684435&CFTOKEN=39459323}} {{ref-en}}</ref> [[Розпізнавання іменованих сутностей|розпізнаванні іменованих сутностей]],<ref>{{cite conference|
url=http://www.aclweb.org/anthology/W04-1221.pdf |
title=Biomedical named entity recognition using conditional random fields and rich feature sets |
author= Settles, B.|date=2004|
booktitle=Proceedings of the International Joint Workshop on Natural Language Processing in Biomedicine and its Applications |
pages= 104–107}} {{ref-en}}</ref> {{нп|Передбачування генів|пошуку генів||Gene prediction}} та пошуку пептидних критичних функційних областей,<ref>{{cite conference | title = Analysis and Prediction of the Critical Regions of Antimicrobial Peptides Based on Conditional Random Fields. | 
publisher = PLoS ONE |author1=Chang KY |author2=Lin T-p |author3=Shih L-Y |author4=Wang C-K | 
date = 2015 | 
doi = 10.1371/journal.pone.0119490 |pmc=4372350 }} {{ref-en}}</ref> будучи альтернативою спорідненим [[Прихована марковська модель|прихованим марковським моделям]] (ПММ). У [[Комп'ютерний зір|комп'ютерному зорі]] УВП часто використовують для розпізнавання об'єктів<ref name="Rui:Gal:Gon15">{{cite conference | title = UPGMpp: a Software Library for Contextual Object Recognition. | 
author1=J.R. Ruiz-Sarmiento |author2=C. Galindo |author3=J. Gonzalez-Jimenez | 
date = 2015 |  
url= https://www.researchgate.net/publication/281620302_UPGMpp_a_Software_Library_for_Contextual_Object_Recognition |
booktitle= 3rd. Workshop on Recognition and Action for Scene Understanding (REACTS)}} {{ref-en}}</ref> та [[сегментування зображень]].

== Опис ==

{{нп|Джон Д. Лафферті|Лафферті||John D. Lafferty}}, {{нп|Ендрю Маккалум|Маккалум||Andrew McCallum}} та Перейра<ref name="Laf:McC:Per01"/> визначили УВП на спостереженнях <math>\boldsymbol{X}</math> та [[Випадкова змінна|випадкових змінних]] <math>\boldsymbol{Y}</math> наступним чином:

<blockquote>Нехай <math>G = (V , E)</math> є таким графом, що
<math>\boldsymbol{Y} = (\boldsymbol{Y}_v)_{v\in V}</math>,
 так що <math>\boldsymbol{Y}</math> індексовано вершинами <math>G</math>. 
Тоді <math>(\boldsymbol{X}, \boldsymbol{Y})</math> є умовним випадковим полем, коли випадкові змінні <math>\boldsymbol{Y}_v</math>, обумовлені <math>\boldsymbol{X}</math>, володіють [[Марковська властивість|марковською властивістю]] по
відношенню до цього графу: <math>p(\boldsymbol{Y}_v |\boldsymbol{X}, \boldsymbol{Y}_w, w \neq v) = p(\boldsymbol{Y}_v |\boldsymbol{X}, \boldsymbol{Y}_w, w \sim v)</math>, де <math>\mathit{w} \sim v</math> означає, що <math>w</math> та <math>v</math> є [[Окіл (теорія графів)|сусідами]] в <math>G</math>.
</blockquote>

Це означає, що УВП є [[Графова модель|неспрямованою графовою моделлю]], чиї вершини може бути поділено на рівно дві неперетинні множини <math>\boldsymbol{X}</math> та <math>\boldsymbol{Y}</math>, спостережувані та виходові змінні, відповідно; тоді моделюють умовний розподіл <math>p(\boldsymbol{Y}|\boldsymbol{X})</math>.

=== Висновування ===

Для графів загального вигляду задача точного висновування в УВП є нерозв'язною. Задача висновування для УВП є по суті такою ж, як і для {{нп|Висновування в марковських випадкових полях|МВП||Markov random field inference}}<!-- Проблема вікіфікації: Сторінка [[:en:Markov random field inference]] (→ [[:en:Markov random field#Inference]]) перекладена як [[Марковська мережа]], хоча хотіли [[Висновування в марковських випадкових полях]] (SashkoR0B0T)-->, і мають місце ті самі аргументи.<ref name=SuttonIntroduction>{{cite arXiv |last1=Sutton |first1=Charles |last2=McCallum |first2=Andrew |class=stat.ML |year=2010 |eprint=1011.4088v1 |title=An Introduction to Conditional Random Fields}} {{ref-en}}</ref> Проте, існують особливі випадки, для яких висновування є здійсненним:

* Якщо граф є ланцюгом або деревом, то точні розв'язки дають алгоритми передавання повідомлень. Алгоритми, що застосовують в цих випадках, є аналогічними до {{нп|Послідовно-зворотній алгоритм|послідовно-зворотного алгоритму||Forward–backward algorithm}} та [[Алгоритм Вітербі|алгоритму Вітербі]] для випадку ПММ.
* Якщо УВП містить лише попарні потенціали, й ця енергія є {{нп|Субмодулярна функція|субмодулярною||Submodular function}}, то точні розв'язки дають комбінаторні алгоритми [[Мінімальний розріз, максимальний потік|мінімального розрізу/максимального потоку]].

Якщо точне висновування є неможливим, то можливо застосовувати декілька алгоритмів для отримування наближених розв'язків. До них належать:

* {{нп|Поширення переконання#Наближений алгоритм для графів загального вигляду|Петлясте поширення переконання||Belief propagation#Approximate algorithm for general graphs}}
* Альфа-розширення ({{lang-en|alpha expansion}})
* Висновування середнього поля ({{lang-en|mean field inference}})
* {{нп|Лінійне програмування з послабленням|||Linear programming relaxation}}

=== Навчання параметрів ===

Навчання параметрів <math>\theta</math> зазвичай виконують навчанням [[Максимальна правдоподібність|максимальної правдоподібності]] для <math>p(Y_i|X_i; \theta)</math>. Якщо всі вузли мають розподіли експоненційного сімейства, та є спостережуваними під час тренування, то ця [[Оптимізація (математика)|оптимізація]] є опуклою.<ref name="SuttonIntroduction" /> Її можливо розв'язувати, наприклад, застосуванням алгоритмів [[Градієнтний спуск|градієнтного спуску]], або [[Квазі-ньютонів метод|квазі-ньютоновими методами]], такими як алгоритм {{нп|L-BFGS|''L-BFGS''}}. З іншого боку, якщо деякі змінні є неспостережуваними, то для цих змінних має бути розв'язано задачу висновування. Для графів загального вигляду точне висновування є непіддатливим, тож мають застосовуватися наближення.

=== Приклади ===

У послідовнісному моделюванні, граф, який становить інтерес, зазвичай є ланцюговим. Входова послідовність спостережуваних змінних <math>X</math> представляє послідовність спостережень, а <math>Y</math> представляє приховану (або невідому) змінну стану, висновки про яку потрібно отримувати зі спостережень. <math>Y_{i}</math> структурують так, щоби утворити ланцюг, з ребрами між кожними <math>Y_{i-1}</math> та <math>Y_{i}</math>. Маючи просте представлення <math>Y_{i}</math> як «міток» для кожного з елементів послідовності входу, це компонування також уможливлює дієві алгоритми для:

* ''тренування'' моделі, навчання умовних розподілів між <math>Y_{i}</math> та функціями ознак для деякого корпусу тренувальних даних.
* ''декодування'', визначення ймовірності заданої послідовності міток <math>Y</math> за заданої <math>X</math>.
* ''висновування'', визначення ''найправдоподібнішої'' послідовності міток <math>Y</math> за заданої <math>X</math>.

Умовну залежність кожної з <math>Y_{i}</math> від <math>X</math> визначають через фіксований набір ''функцій ознак'' вигляду <math>f(i, Y_{i-1}, Y_{i}, X)</math>, які можливо розглядати як вимірювання на послідовності входу, що частково визначають [[Функція правдоподібності|правдоподібність]] кожного з можливих значень <math>Y_{i}</math>. Ця модель призначує кожній ознаці числову вагу, й поєднує їх для визначення ймовірності певного значення <math>Y_{i}</math>.

Лінійно-ланцюгові УВП мають багато таких же застосувань, як і концептуально простіші приховані марковські моделі (ПММ), але послаблюють деякі вихідні положення щодо розподілів послідовностей входу та виходу. ПММ можливо грубо розуміти як УВП з дуже особливими функціями ознак, які використовують сталі ймовірності для моделюванні переходів станів та виходів. І навпаки, УВП можливо грубо розуміти як узагальнення ПММ, яке робить сталі ймовірності переходів довільними функціями, що міняться над позиціями в послідовності прихованих станів, залежно від послідовності входу.

Примітно, що, на противагу до ПММ, УВП можуть містити будь-яке число функцій ознак, ці функції ознак можуть оглядати всю послідовність входу <math>X</math> в будь-який момент висновування, і спектрові функцій ознак не потрібно мати ймовірнісної інтерпретації.

== Варіанти ==

=== УВП вищих порядків, та напівмарковські УВП ===

УВП можливо розширити до моделей вищих порядків, зробивши кожну з <math>Y_{i}</math> залежною від фіксованого числа <math>k</math> попередніх змінних <math>Y_{i-k}, ..., Y_{i-1}</math>. У звичайних формулюваннях УВП вищих порядків тренування та висновування є дієвими лише для маленьких значень <math>k</math> (таких як ''k'' ≤ 5),<ref>{{cite conference 
| url = http://aclweb.org/anthology/D17-1044
| title = Learning the Structure of Variable-Order CRFs: a Finite-State Perspective
| last1 = Lavergne
| first1 = Thomas
| author-link1 = 
| last2 = Yvon
| first2 = François
| author-link2 = 
| date = September 7, 2017
| publisher = Association for Computational Linguistics
| booktitle = Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing
| pages = 433
| location = Copenhagen, Denmark
}} {{ref-en}}</ref> оскільки їхня обчислювальна витратність зростає з <math>k</math> експоненційно.

Проте, іншому нещодавньому просуванню вдалося поліпшити ці нюанси шляхом задіювання понять та інструментів з області баєсової непараметрії. Конкретніше, УВП-нескінченний ({{lang-en|CRF-infinity}}) підхід<ref>{{cite journal 
| title = The Infinite-Order Conditional Random Field Model for Sequential Data Modeling
| last1 = Chatzis
| first1 = Sotirios
| author-link1 = 
| last2 = Demiris
| first2 = Yiannis
| author-link2 = 
| year = 2013
| journal = IEEE Transactions on Pattern Analysis and Machine Intelligence
| pages = 1523–1534
| volume = 35 | issue = 6
 | doi=10.1109/tpami.2012.208
| pmid = 23599063
}} {{ref-en}}</ref> становить УВП-модель, здатну навчатися нескінченно тривалої часової динаміки масштабованою манерою. Це здійснюється введенням новітньої функції потенціалу для УВП, яка ґрунтується на «запам'ятовувачі послідовностей» (ЗП, {{lang-en|Sequence Memoizer, SM}}), непараметричній баєсовій моделі для навчання нескінченно тривалих динамік у послідовних спостереженнях.<ref>{{cite conference 
| title = Improvements to the Sequence Memoizer
| last1 = Gasthaus
| first1 = Jan
| author-link1 = 
| last2 = Teh
| first2 = Yee Whye
| author-link2 = 
| year = 2010
| booktitle = Proc. NIPS
| url = https://papers.nips.cc/paper/3938-improvements-to-the-sequence-memoizer.pdf
}} {{ref-en}}</ref> Щоби зробити таку модель обчислювально піддатливою, УВП-нескінченність застосовує [[наближення середнього поля]]<ref>{{cite journal 
| title = EM Procedures Using Mean Field-Like Approximations for Markov Model-Based Image Segmentation
| last1 = Celeux
| first1 = G.
| author-link1 = 
| last2 = Forbes
| first2 = F.
| author-link2 = 
| last3 = Peyrard
| first3 = N.
| author-link3 = 
| year = 2003
| journal = Pattern Recognition
| pages = 131–144
| volume = 36 | issue = 1
 | doi=10.1016/s0031-3203(02)00027-4
| citeseerx = 10.1.1.6.9064
}} {{ref-en}}</ref> запостульованих новітніх функцій потенціалу (які веде ЗП). Це дозволяє винаходити дієві алгоритми наближеного тренування та висновування для цієї моделі, не підриваючи її здатності схоплювати та моделювати часові залежності довільної тривалості.

Існує ще одне узагальнення УВП, '''напівма́рковське умо́вне випадко́ве по́ле''' ('''напів-УВП''', {{lang-en|semi-Markov conditional random field, semi-CRF}}), яке моделює ''сегментування'' довільної довжини послідовності міток <math>Y</math>.<ref>{{Cite book
| publisher = MIT Press
| pages = 1185–1192
| editors = Lawrence K. Saul, Yair Weiss, Léon Bottou (eds.)
| last = Sarawagi
| first = Sunita
| last2 = Cohen
| first2 = William W.
| chapter = Semi-Markov conditional random fields for information extraction
| chapter-url = http://papers.nips.cc/paper/2648-semi-markov-conditional-random-fields-for-information-extraction.pdf
| title = Advances in Neural Information Processing Systems 17
| url = http://papers.nips.cc/book/advances-in-neural-information-processing-systems-17-2004
| location = Cambridge, MA
| year = 2005
| accessdate = 2019-11-30
| archive-date = 2019-11-30
| archive-url = https://web.archive.org/web/20191130080920/http://papers.nips.cc/book/advances-in-neural-information-processing-systems-17-2004
}} {{Webarchive|url=https://web.archive.org/web/20191130080920/http://papers.nips.cc/book/advances-in-neural-information-processing-systems-17-2004 |date=2019-11-30 }} {{ref-en}}</ref> Воно забезпечує майже таку ж потужність для моделювання довготривалих залежностей <math>Y_{i}</math>, як і УВП вищих порядків, за помірних обчислювальних витрат.

Нарешті, як альтернативу процедурі тренування УВП можливо розглядати моделі з широким розділенням ({{lang-en|large-margin models}}) для [[Структурове передбачування|структурового передбачування]], такі як {{нп|Структурова ОВМ|структурові опорно-векторні машини||Structured SVM}}.

=== Латентно-динамічне умовне випадкове поле ===

'''Лате́нтно-динамі́чні умо́вні випадко́ві по́ля''' ('''ЛДУВП''', {{lang-en|latent-dynamic conditional random fields, LDCRF}}), або '''розрі́знювальні імові́рнісні моде́лі з лате́нтними змі́нними''' ('''РІМЛЗ''', {{lang-en|discriminative probabilistic latent variable models, DPLVM}})&nbsp;— це один із типів УВП для задач маркування послідовностей. Вони є {{нп|Модель з латентними змінними|моделями з латентними змінними||Latent variable model}}, що тренують розрізнювально.

В ЛДУВП, як і в будь-якій задачі маркування послідовностей, для заданої послідовності спостережень '''x''' = <math>x_1,\dots,x_n</math> головною задачею, яку ця модель мусить розв'язати, є як призначити послідовність міток '''y''' = <math>y_1,\dots,y_n</math> з однієї скінченної множини міток {{mvar|Y}}. Замість моделювати {{mvar|P}}('''y'''|'''x''') безпосередньо, як робило би звичайне лінійно-ланцюгове УВП, між '''x''' та '''y''' «вставляють» множину [[Латентна змінна|латентних змінних]] '''h''', застосовуючи [[Ланцюгове правило (теорія ймовірності)|ланцюгове правило ймовірності]]:<ref name="lvperceptron">{{cite conference |author1=Xu Sun |author2=Takuya Matsuzaki |author3=Daisuke Okanohara |author4=Jun'ichi Tsujii |title=Latent Variable Perceptron Algorithm for Structured Classification |conference=IJCAI |year=2009 |pages=1236–1242 |url=http://www.aaai.org/ocs/index.php/IJCAI/IJCAI-09/paper/download/356/970 |accessdate=2019-11-30 |archive-date=2018-12-06 |archive-url=https://web.archive.org/web/20181206145357/http://www.aaai.org/ocs/index.php/IJCAI/IJCAI-09/paper/download/356/970 }} {{ref-en}}</ref>

: <math>P(\mathbf{y} | \mathbf{x}) = \sum_\mathbf{h} P(\mathbf{y}|\mathbf{h}, \mathbf{x}) P(\mathbf{h} | \mathbf{x})</math>

Це дозволяє схоплювати латентну структуру між спостереженнями та мітками.<ref name="morency">{{Cite book | last1 = Morency | first1 = L. P. | last2 = Quattoni | first2 = A. | last3 = Darrell | first3 = T. | doi = 10.1109/CVPR.2007.383299 | chapter = Latent-Dynamic Discriminative Models for Continuous Gesture Recognition | title = 2007 IEEE Conference on Computer Vision and Pattern Recognition | pages = 1| year = 2007 | isbn = 978-1-4244-1179-5 | pmid =  | pmc = | chapter-url = http://dspace.mit.edu/bitstream/handle/1721.1/35276/MIT-CSAIL-TR-2007-002.pdf| citeseerx = 10.1.1.420.6836 }} {{ref-en}}</ref> В той час як ЛДУВП може бути треновано з використанням квазі-ньютонових методів, для них на основі алгоритму [[Структуровий перцептрон|структурового перцептрону]] Коллінза також було розроблено особливу версію алгоритму [[перцептрон]]у, названу '''перцептро́ном з лате́нтними змі́нними''' ({{lang-en|latent-variable perceptron}}).<ref name="lvperceptron"/> Ці моделі знаходять застосування в [[Комп'ютерне бачення|комп'ютерному баченні]], зокрема в {{нп|Розпізнавання жестів|розпізнаванні жестів||Gesture recognition}} для потоків відео,<ref name="morency"/> та в [[Поверхнево-синтаксичний аналіз|поверхнево-синтаксичному аналізі]].<ref name="lvperceptron"/>

== Програмне забезпечення ==

Це&nbsp;— частковий перелік програмного забезпечення, що втілює загальні інструменти УВП.

* [https://github.com/zhongkaifu/RNNSharp RNNSharp] УВП на основі [[Рекурентна нейронна мережа|рекурентних нейронних мереж]] ([[C Sharp|C#]], [[.NET Framework|.NET]])
* [https://web.archive.org/web/20131224113826/http://klcl.pku.edu.cn/member/sunxu/code.htm CRF-ADF] лінійно-ланцюгові УВП зі швидким інтерактивним ''ADF''-тренуванням ([[C Sharp|C#]], [[.NET Framework|.NET]])
* [https://github.com/zhongkaifu/CRFSharp CRFSharp] лінійно-ланцюгові УВП ([[C Sharp|C#]], [[.NET Framework|.NET]])
* [http://vision.csd.uwo.ca/code/ GCO] УВП з субмодулярними [[Функція енергії|функціями енергії]] ([[C++]], [[Matlab]])
* [http://research.project-10.de/dgm DGM] загальні УВП ([[C++]])
* [http://mallet.cs.umass.edu/grmm/index.php GRMM] загальні УВП ([[Java]])
* [http://factorie.cs.umass.edu/ factorie] загальні УВП ([[Scala]])
* [http://www.cs.ubc.ca/~murphyk/Software/CRFall.zip CRFall] загальні УВП ([[MATLAB|Matlab]])
* [http://crf.sourceforge.net/ Sarawagi's CRF] лінійно-ланцюгові УВП ([[Java]])
* [http://sourceforge.net/projects/hcrf/ HCRF library] приховано-станові УВП ([[C++]], [[MATLAB|Matlab]])
* [http://accord-framework.net Accord.NET] лінійно-ланцюгові УВП, ПУВП та ПММ ([[C Sharp|C#]], [[.NET Framework|.NET]])
* [http://wapiti.limsi.fr/ Wapiti] швидкі лінійно-ланцюгові УВП ([[C (мова програмування)|C]])<ref>T. Lavergne, O. Cappé and F. Yvon (2010). [http://acl.eldoc.ub.rug.nl/mirror/P/P10/P10-1052.pdf Practical very large scale CRFs] {{webarchive|url=https://web.archive.org/web/20130718001211/http://acl.eldoc.ub.rug.nl/mirror/P/P10/P10-1052.pdf |date=2013-07-18 }}. Proc. 48th Annual Meeting of the {{нп|Асоціація з обчислювальної лінгвістики|ACL||Association for Computational Linguistics}}, pp. 504—513. {{ref-en}}</ref>
* [http://www.chokkan.org/software/crfsuite/ CRFSuite] швидкі обмежені лінійно-ланцюгові УВП ([[C (мова програмування)|C]])
* [https://web.archive.org/web/20100421020327/http://crfpp.sourceforge.net/ CRF++] лінійно-ланцюгові УВП ([[C++]])
* [http://flexcrfs.sourceforge.net/ FlexCRFs] марковські УВП першого та другого порядків ([[C++]])
* [http://hackage.haskell.org/package/crf-chain1 crf-chain1] лінійно-ланцюгові УВП першого порядку ([[Haskell]])
* [https://web.archive.org/web/20190524215850/https://www.cs.rochester.edu/~bhole/code/crf/ imageCRF] УВП для сегментування зображень та томів зображень ([[C++]])
* [http://mallet.cs.umass.edu/ MALLET] лінійно-ланцюгові для маркування послідовностей ([[Java (programming language)|Java]])
* [https://pystruct.github.io/ PyStruct] структурове навчання в Python ([[Python]])
* [https://github.com/scrapinghub/python-crfsuite Pycrfsuite] python-обв'язка для crfsuite ([[Python]])
* [https://github.com/p2t2/figaro Figaro] ймовірнісна мова програмування, здатна визначати УВП та інші графові моделі ([[Scala]])
* [https://cran.r-project.org/web/packages/CRF/CRF.pdf CRF] моделювальні та обчислювальні інструменти для УВП та інших неспрямованих графових моделей ([[R (мова програмування)|R]])
* [http://hciweb2.iwr.uni-heidelberg.de/opengm/index.php OpenGM] бібліотека для дискретних {{нп|Граф розкладу|розкладово-графових||Factor graph}} моделей та розподілених операцій на цих моделях ([[C++]])
* [https://github.com/jotaraul/upgmpp UPGMpp]<ref name="Rui:Gal:Gon15"/> бібліотека для побудови, тренування неспрямованих графових моделей, та виконання висновування на них ([[C++]])
* [http://keg.cs.tsinghua.edu.cn/jietang/software/KEG_CRF/ KEG_CRF] швидкі лінійні УВП ([[C++]])

Це&nbsp;— частковий перелік програмного забезпечення, що втілює пов'язані з УВП інструменти.

* [https://github.com/NLPatVCU/medaCy MedaCy] розпізнавач медичних іменованих сутностей ([[Python]])
* [https://web.archive.org/web/20100112222803/http://www.broadinstitute.org/annotation/conrad/ Conrad] передбачувач генів на основі УВП ([[Java]])
* [http://nlp.stanford.edu/software/CRF-NER.shtml Stanford NER] розпізнавач іменованих сутностей ([[Java]])
* [https://web.archive.org/web/20100707042144/http://cbioc.eas.asu.edu/banner/ BANNER] розпізнавач іменованих сутностей ([[Java]])

== Див. також ==
* {{нп|Теорема Гаммерслі — Кліффорда|Теорема Гаммерслі&nbsp;— Кліффорда||Hammersley–Clifford theorem}}
* [[Графова модель]]
* [[Марковське випадкове поле]]
* {{нп|Максимально-ентропійна марковська модель|||Maximum-entropy Markov model}} (МЕММ)

== Примітки ==
{{reflist|30em}}

== Література ==
* McCallum, A.: [https://arxiv.org/pdf/1212.2504 Efficiently inducing features of conditional random fields]. In: ''Proc. 19th Conference on Uncertainty in Artificial Intelligence''. (2003) {{ref-en}}
* Wallach, H.M.: [http://www.cs.umass.edu/~wallach/technical_reports/wallach04conditional.pdf Conditional random fields: An introduction]. Technical report MS-CIS-04-21, University of Pennsylvania (2004) {{ref-en}}
* Sutton, C., McCallum, A.: An Introduction to Conditional Random Fields for Relational Learning. In «Introduction to Statistical Relational Learning». Edited by {{нп|Ліза Ґетур|Lise Getoor||Lise Getoor}} and Ben Taskar. MIT Press. (2006) [http://www.cs.umass.edu/~mccallum/papers/crf-tutorial.pdf Online PDF] {{ref-en}}
* Klinger, R., Tomanek, K.: Classical Probabilistic Models and Conditional Random Fields. Algorithm Engineering Report TR07-2-013, Department of Computer Science, Dortmund University of Technology, December 2007. ISSN 1864-4503. [http://ls11-www.cs.uni-dortmund.de/_media/techreports/tr07-13.pdf Online PDF] {{ref-en}}

[[Категорія:Графові моделі]]
[[Категорія:Машинне навчання]]