Перегляд вихідного коду сторінки Баєсова мережа

{{more footnotes|date=грудень 2016}}
{{Баєсова статистика}}
[[Файл:SimpleBayesNetNodes.svg|thumb|right|Проста баєсова мережа. Дощ ({{lang-en|Rain}}) впливає на те, чи вмикається розбризкувач ({{lang-en|Sprinkler}}), і як дощ, так і розбризкувач, впливають на те, чи є трава мокрою ({{lang-en|Grass wet}}).]]

'''Ба́єсова мере́жа''', '''мере́жа Ба́єса''', '''мере́жа перекона́нь''', '''ба́єсова моде́ль''' або '''ймові́рнісна орієнто́вана ациклі́чна гра́фова моде́ль''' ({{lang-en|Bayesian network, Bayes network, belief network, Bayes(ian) model, probabilistic directed acyclic graphical model}})&nbsp;— це [[ймовірнісна графова модель]] (різновид [[Статистична модель|статистичної моделі]]), яка представляє набір [[Випадкова величина|випадкових змінних]] та їхніх {{нп|Умовна незалежність|умовних залежностей||Conditional independence}} за допомогою [[Орієнтований ациклічний граф|орієнтованого ациклічного графу]] (ОАГ, {{lang-en|directed acyclic graph, DAG}}). Наприклад, баєсова мережа може представляти ймовірнісні зв'язки між захворюваннями та симптомами. Таку мережу можна використовувати для обчислення ймовірностей наявності різних захворювань за наявних симптомів.

Формально баєсові мережі є ОАГ, чиї вершини представляють випадкові змінні у [[Баєсова ймовірність|баєсовому]] сенсі: вони можуть бути спостережуваними величинами, [[Латентна змінна|латентними змінними]], невідомими параметрами або гіпотезами. Ребра представляють умовні залежності; не з'єднані вершини (такі, що в Баєсовій мережі не існує шляху від однієї змінної до іншої) представляють змінні, що є {{Нп|Умовна незалежність|умовно незалежними||Conditional independence}} одна від одної. Кожну вершину пов'язано із [[Функція розподілу ймовірностей|функцією ймовірності]], що бере на вході певний набір значень батьківських вершин, і видає (на виході) ймовірність (або розподіл імовірності, якщо застосовно) змінної, представленої цією вершиною. Наприклад, якщо <math>m</math> батьківських вершин представляють <math>m</math> [[Логічний тип даних|булевих змінних]], то функцію ймовірності може бути представлено таблицею <small><math>2^m</math></small> записів, по одному запису для кожної з <small><math>2^m</math></small> можливих комбінацій істинності або хибності її батьків. Схожі ідеї можуть застосовуватися до неорієнтованих та, можливо, циклічних графів, таких як [[Марковська мережа|марковські мережі]].

Існують ефективні алгоритми, що виконують [[висновування]] та [[Машинне навчання|навчання]] в баєсових мережах. Баєсові мережі, що моделюють послідовності змінних (наприклад, [[Розпізнавання мовлення|сигнали мовлення]], або [[Пептидна послідовність|послідовності білків]]), називають [[Динамічна баєсова мережа|динамічними баєсовими мережами]]. Узагальнення баєсових мереж, що можуть представляти та розв'язувати задачі ухвалення рішень за умов невизначеності, називають {{Нп|Діаграма впливу|діаграмами впливу||Influence diagram}}.

== Приклад ==
[[Файл:SimpleBayesNet.svg|400px|thumb|right|Проста баєсова мережа з {{Нп|Таблиця умовної ймовірності|таблицями умовної ймовірності||Conditional probability table}}]]

Припустімо, що існують дві події, які можуть спричинити мокрість трави: або увімкнено розбризкувач, або йде дощ. Також припустімо, що дощ має прямий вплив на використання розбризкувача (а саме, коли йде дощ, розбризкувач зазвичай не увімкнено). Тоді цю ситуацію може бути змодельовано баєсовою мережею (показаною праворуч). Всі три змінні мають два можливі значення, T (істина, {{lang-en|True}}) та F (хиба, {{lang-en|False}}).

[[Спільний розподіл імовірності|Функцією спільного розподілу ймовірності]] є

: <math>\Pr(G,S,R)=\Pr(G|S,R)\Pr(S|R)\Pr(R)</math>

де назви змінних є скороченнями ''G = трава мокра ({{lang-en|Grass wet}}, так/ні)'', ''S = розбризкувач увімкнено ({{lang-en|Sprinkler}}, так/ні)'' та ''R = іде дощ ({{lang-en|Raining}}, так/ні)''.

Ця модель може відповідати на такі питання, як «Якою є ймовірність того, що йде дощ, якщо трава мокра?» шляхом застосування формули [[Умовна ймовірність|умовної ймовірності]] та підбиття сум за всіма {{Нп|Завадна змінна|завадними змінними||Nuisance variable}}:

: <math>\Pr(R=T|G=T) =\frac{\Pr(G=T,R=T)}{\Pr(G=T)} = \frac{\sum_{S \in \{T, F\}}\Pr(G=T, S,R=T)}{\sum_{S, R \in \{T, F\}} \Pr(G=T,S,R)}</math>

Використовуючи розклад спільної функції ймовірності <math>\Pr(G,S,R)</math>, та умовні ймовірності з {{Нп|Таблиця умовної ймовірності|таблиць умовної ймовірності||Conditional probability table}}, зазначених у діаграмі, можна оцінити кожен член у сумах чисельника та знаменника. Наприклад,

: <math>\begin{align}
\Pr(G=T, S=T,R=T) & = \Pr(G=T|S=T,R=T)\Pr(S=T| R=T)\Pr(R=T) \\
   & = 0.99 \times 0.01 \times 0.2 \\
   & = 0.00198.
\end{align}</math>

Тоді числовими результатами (з пов'язаними значеннями змінних в індексах) є

: <math>\Pr(R=T|G=T) = \frac{ 0.00198_{TTT} + 0.1584_{TFT} }{ 0.00198_{TTT} + 0.288_{TTF} + 0.1584_{TFT} + 0.0_{TFF} } = \frac{891}{2491}\approx 35.77 \%.</math>

З іншого боку, якщо ми хочемо відповісти на втручальницьке питання «Яка ймовірність того, що піде дощ, якщо ми намочимо траву?», то відповідь визначатиметься післявтручальною функцією спільного розподілу <math>\Pr(S,R|\text{do}(G=T)) = \Pr(S|R) P(R)</math>, отриманою усуненням коефіцієнту <math>\Pr(G|S,R)</math> із довтручального розподілу. Як і очікувалося, на ймовірність дощу ця дія не впливає: <math>\Pr(R|\text{do}(G=T)) = \Pr(R)</math>.

Понад те, якщо ми хочемо передбачити вплив умикання розбризкувача, то ми маємо

: <math>\Pr(R,G|\text{do}(S=T)) = \Pr(R)\Pr(G| R,S=T)</math>

з усуненим членом <math>\Pr(S=T|R)</math>, що показує, що ця дія має вплив на траву, але не на дощ.

Ці передбачення не можуть бути здійсненними, якщо якісь змінні є неспостережуваними, як у більшості задач оцінки стратегій. Вплив дії <math>\text{do}(x)</math> все ще можна передбачувати, проте лише якщо задовольняється критерій «чорного ходу».<ref name=pearl2000/><ref>{{cite web |url=http://bayes.cs.ucla.edu/BOOK-2K/ch3-3.pdf |title=The Back-Door Criterion |accessdate=2014-09-18 |archive-date=27 грудня 2013 |archive-url=https://web.archive.org/web/20131227203907/http://bayes.cs.ucla.edu/BOOK-2K/ch3-3.pdf }} {{ref-en}}</ref> Він заявляє, що якщо може спостерігатися множина вузлів ''Z'', яка [[#о-розділеність|''о''-розділює]]<ref>{{cite web |url=http://bayes.cs.ucla.edu/BOOK-09/ch11-1-2-final.pdf |title=d-Separation without Tears |accessdate=2014-09-18 |archive-date=4 березня 2016 |archive-url=https://web.archive.org/web/20160304032607/http://bayes.cs.ucla.edu/BOOK-09/ch11-1-2-final.pdf }} {{ref-en}}</ref> (або блокує) всі чорні ходи ({{lang-en|back-door paths}}) з ''X'' до ''Y'', то <math>\Pr(Y,Z|\text{do}(x)) = \Pr(Y,Z,X=x)/\Pr(X=x|Z)</math>. Чорний хід є таким, що закінчується стрілкою в ''X''. Множини, які задовольняють критерій чорного ходу, називають «достатніми» ({{lang-en|sufficient}}) або «прийнятними» ({{lang-en|admissible}}). Наприклад, множина ''Z''&nbsp;=&nbsp;''R'' є прийнятною для передбачування впливу ''S''&nbsp;=&nbsp;''T'' на ''G'', оскільки ''R'' ''о''-розділює (єдиний) чорний хід ''S''&nbsp;←&nbsp;''R''&nbsp;→&nbsp;''G''. Проте якщо ''S'' не спостерігається, то не існує іншої множини, яка би ''о''-розділювала цей шлях, і вплив умикання розбризкувача (''S''&nbsp;=&nbsp;''T'') на траву (''G'') не може бути передбачено з пасивних спостережень. Тоді ми кажемо, що множина ''P''(''G''&nbsp;|&nbsp;do(''S''&nbsp;=&nbsp;''T'')) є не пізннаною ({{lang-en|not identified}}). Це віддзеркалює той факт, що за умови браку даних втручання ми не можемо визначити, чи завдячує спостережувана залежність між ''S'' та ''G'' випадковому зв'язкові або є фальшивою (видима залежність, що випливає зі спільної причини, ''R''). (див. [[парадокс Сімпсона]])

Для з'ясування того, чи є причинний зв'язок пізнанним із довільної баєсової мережі з неспостережуваними змінними, можна застосовувати три правила ''числення дій'' ({{lang-en|do-calculus}}),<ref name="pearl2000"/><ref name="pearl-r212">{{cite conference |url=http://dl.acm.org/ft_gateway.cfm?id=2074452&ftid=1062250&dwn=1&CFID=161588115&CFTOKEN=10243006 |title=A Probabilistic Calculus of Actions |first=Pearl |last=J. |year=1994 |editor1-first=R. |editor1-last=Lopez de Mantaras |editor2-first=D. |editor2-last=Poole |booktitle=UAI'94 Proceedings of the Tenth international conference on Uncertainty in artificial intelligence |publisher=Morgan Kaufman |location=San Mateo CA |pages=454–462 |isbn=1-55860-332-8 |arxiv=1302.6835 }} {{ref-en}}</ref> і перевіряти, чи всі ''do''-члени може бути усунено з виразу для цього співвідношення, підтверджуючи таким чином, що бажана величина є оцінкою із частотних даних.<ref>I. Shpitser, J. Pearl, «Identification of Conditional Interventional Distributions» In R. Dechter and T.S. Richardson (Eds.), ''Proceedings of the Twenty-Second Conference on Uncertainty in Artificial Intelligence'', 437—444, Corvallis, OR: AUAI Press, 2006. {{ref-en}}</ref>

Застосування баєсової мережі може заощаджувати значні обсяги пам'яті, якщо залежності в спільному розподілі є розрідженими. Наприклад, наївний спосіб зберігання умовних імовірностей для 10 двозначних змінних як таблиці вимагає простору для зберігання <math>2^{10} = 1024</math> значень. Якщо локальні розподіли жодної зі змінних не залежать більше ніж від трьох батьківських змінних, то представлення як баєсової мережі потребує зберігання щонайбільше <math>10\cdot2^3 = 80</math> значень.

Однією з переваг баєсових мереж є те, що людині інтуїтивно простіше розуміти (розріджені набори) прямих залежностей та локальні розподіли, ніж повні спільні розподіли.

== Висновування та навчання ==

Для баєсових мереж існує три основні завдання для висновування.

=== Отримування висновків про неспостережувані змінні ===

Оскільки баєсова мережа є повною моделлю змінних та їхніх взаємозв'язків, її можна використовувати для отримання відповідей на ймовірнісні запити стосовно них. Наприклад, цю мережу можна використовувати для з'ясовування уточненого знання про стан якоїсь підмножини змінних, коли спостерігаються інші змінні (змінні ''свідчення'', {{lang-en|evidence}}). Цей процес обчислення ''апостеріорного'' розподілу змінних для заданого свідчення називається ймовірнісним висновуванням ({{lang-en|probabilistic inference}}). Це апостеріорне дає універсальну [[Достатня статистика|достатню статистику]] для застосувань для виявлення, коли потрібно підбирати значення підмножини змінних, які мінімізують певну функцію очікуваних втрат, наприклад, імовірність помилковості рішення. Баєсову мережу відтак можна розглядати як механізм автоматичного застосування [[Теорема Баєса|теореми Баєса]] до комплексних задач.

Найпоширенішими методами точного висновування є: {{нп|виключення змінних|||Variable elimination}}, яке виключає (інтегруванням або підсумовуванням) неспостережувані не запитові змінні одну по одній шляхом розподілу суми над добутком; {{нп|Алгоритм дерева злук|поширення деревом злук||Junction tree algorithm}}, яке кешує обчислення таким чином, що одночасно можна робити запит до багатьох змінних, а нові свідчення можуть поширюватися швидко; та рекурсивне обумовлювання й пошук ТА/АБО, які передбачають [[просторово-часовий компроміс]] та підбирають ефективність виключення змінних при використанні достатнього простору. Всі ці методи мають експоненційну складність відносно [[Деревна ширина (теорія графів)|деревної ширини]] мережі. Найпоширенішими алгоритмами {{нп|Наближене висновування|наближеного висновування||Approximate inference}} є [[вибірка за значимістю]], стохастична імітація [[Методи Монте-Карло марковських ланцюгів|МКМЛ]], міні-блокове виключення ({{lang-en|mini-bucket elimination}}), {{нп|петельне поширення переконання|||Loopy belief propagation}}, {{нп|поширення узагальненого переконання|||Generalized belief propagation}} та {{нп|Варіаційні баєсові методи|варіаційні методи||Variational Bayesian methods}}.

=== Навчання параметрів ===

Щоби повністю описати баєсову мережу, і відтак повністю представити [[спільний розподіл імовірності]], необхідно для кожного вузла ''X'' вказати розподіл імовірності ''X'', обумовлений батьками ''X''. Цей розподіл ''X'', обумовлений батьками ''X'', може мати будь-який вигляд. Є звичним працювати з дискретними або [[Нормальний розподіл|ґаусовими розподілами]], оскільки це спрощує обчислення. Іноді відомі лише обмеження на розподіл; тоді можна застосовувати {{нп|принцип максимальної ентропії|||Principle of maximum entropy}} для визначення єдиного розподілу, який має найбільшу [[Інформаційна ентропія|ентропію]] для заданих обмежень. (Аналогічно, в конкретному контексті [[Динамічна баєсова мережа|динамічних баєсових мереж]] зазвичай вказують такий умовний розподіл розвитку в часі прихованих станів, щоби максимізувати [[Ентропійна швидкість|ентропійну швидкість]] цього неявного стохастичного процесу.)

Ці умовні розподіли часто включають параметри, які є невідомими, і мусять бути оцінені з даних, іноді із застосуванням підходу [[Максимальна правдоподібність|максимальної правдоподібності]]. Пряма максимізація правдоподібності (або [[Апостеріорна ймовірність|апостеріорної ймовірності]]) часто є складною, коли є неспостережувані змінні. Класичним підходом до цієї задачі є [[алгоритм очікування-максимізації]], який чередує обчислення очікуваних значень неспостережених змінних за умови спостережуваних даних із максимізацією повної правдоподібності (або апостеріорного), виходячи з припущення про правильність попередньо обчислених очікуваних значень. За м'яких умов закономірності цей процес збігається до значень параметрів, які дають максимальну правдоподібність (або максимальне апостеріорне).

Повнішим баєсовим підходом до параметрів є розгляд параметрів як додаткових неспостережуваних змінних і обчислення повного апостеріорного розподілу над усіма вузлами за умови спостережуваних даних, із наступним відінтегровуванням параметрів. Цей підхід може бути витратним і вести до моделей великої розмірності, тому на практиці поширенішими є класичні підходи встановлення параметрів.

=== Навчання структури ===

У найпростішому випадку баєсова мережа задається фахівцем, і потім застосовується для виконання висновування. В інших застосуваннях задача визначення цієї мережі є занадто складною для людей. В такому випадку структури мережі та параметрів локальних розподілів треба навчатися з даних.

Автоматичне навчання структури баєсової мережі є проблемою, якою займається [[машинне навчання]]. Основна ідея сходить до алгоритму виявлення, розробленого Ребане та Перлом 1987 року,<ref>Rebane, G. and Pearl, J., "The Recovery of Causal Poly-trees from Statistical Data, " ''Proceedings, 3rd Workshop on Uncertainty in AI,'' (Seattle, WA) pages 222—228, 1987 {{ref-en}}</ref> який спирається на розрізнення між трьома можливими типами суміжних трійок, дозволеними в орієнтованому ациклічному графі (ОАГ):

# <math>X \rightarrow Y \rightarrow Z</math>
# <math>X \leftarrow Y \rightarrow Z</math>
# <math>X \rightarrow Y \leftarrow Z</math>

Типи 2 та 3 представляють однакові залежності (<math>X</math> та <math>Z</math> є незалежними за заданого <math>Y</math>), і, відтак, є нерозрізнюваними. Проте тип 3 може бути унікально виявлено, оскільки <math>X</math> та <math>Z</math> є відособлено незалежними, а всі інші пари є залежними. Таким чином, в той час як ''кістяки'' ({{lang-en|skeletons}}, графи із зачищеними стрілками) цих трьох трійок є однаковими, напрямок стрілок частково підлягає виявленню. Таке саме розрізнення застосовується й тоді, коли <math>X</math> та <math>Z</math> мають спільних батьків, тільки спочатку треба зробити обумовлення за цими батьками. Було розроблено алгоритми для систематичного визначення кістяка графу, що лежить в основі, а потім спрямовуванні всіх стрілок, чия спрямованість диктується спостережуваними умовними незалежностями.<ref name=pearl2000>{{Cite book
| first = Judea
| last = Pearl
| authorlink = Йуда Перл
| title = Causality:  Models, Reasoning, and Inference
| publisher = [[Cambridge University Press]]
| year = 2000
| isbn = 0-521-77362-8
| oclc = 42291253
| url-access = registration
| url = https://archive.org/details/causalitymodelsr0000pear
}} {{ref-en}}</ref><ref>{{cite journal |first1=P. |last1=Spirtes |first2=C. |last2=Glymour |title=An algorithm for fast recovery of sparse causal graphs |journal=Social Science Computer Review |volume=9 |issue=1 |pages=62–72 |year=1991 |doi=10.1177/089443939100900106 |url=http://repository.cmu.edu/cgi/viewcontent.cgi?article=1316&context=philosophy |format=PDF |accessdate=9 грудня 2016 |archive-date=16 квітня 2016 |archive-url=https://web.archive.org/web/20160416124632/http://repository.cmu.edu/cgi/viewcontent.cgi?article=1316&context=philosophy }} {{ref-en}}</ref><ref>{{cite book |first1=Peter |last1=Spirtes |first2=Clark N. |last2=Glymour |first3=Richard |last3=Scheines |title=Causation, Prediction, and Search |url=https://books.google.com/books?id=VkawQgAACAAJ |year=1993 |publisher=Springer-Verlag |isbn=978-0-387-97979-3 |edition=1st |accessdate=9 грудня 2016 |archive-date=7 лютого 2017 |archive-url=https://web.archive.org/web/20170207155614/https://books.google.com/books?id=VkawQgAACAAJ }} {{ref-en}}</ref><ref>{{cite conference |title=Equivalence and synthesis of causal models |first1=Thomas |last1=Verma |first2=Judea |last2=Pearl |year=1991 |editor1-first=P. |editor1-last=Bonissone |editor2-first=M. |editor2-last=Henrion |editor3-first=L.N. |editor3-last=Kanal |editor4-first=J.F. |editor4-last=Lemmer |booktitle=UAI '90 Proceedings of the Sixth Annual Conference on Uncertainty in Artificial Intelligence |publisher=Elsevier |pages=255–270 |isbn=0-444-89264-8 }} {{ref-en}}</ref>

Альтернативний метод навчання структури застосовує пошук на основі оптимізації. Він потребує {{нп|Оцінкова функція|оцінкової функції||Scoring function}} та стратегії пошуку. Поширеною оцінковою функцією є [[апостеріорна ймовірність]] структури за заданих тренувальних даних, така як [[Баєсів інформаційний критерій|БІК]] або ''BDeu''. Часові вимоги [[Вичерпний пошук|вичерпного пошуку]], що повертає структуру, яка максимізує оцінку, є [[Тетрація|суперекспоненційними]] відносно числа змінних. Стратегія локального пошуку робить поступові зміни, спрямовані на поліпшення оцінки структури. Алгоритм глобального пошуку, такий як [[метод Монте-Карло марковських ланцюгів]], може уникати потрапляння в пастку [[Локальний мінімум|локального мінімуму]]. Фрідман та ін.<ref>{{cite journal |last1=Friedman |first1=Nir |last2=Geiger |first2=Dan |last3=Goldszmidt |first3=Moises |date=November 1997 |title=Bayesian Network Classifiers |journal=Machine Learning |volume=29 |issue=2-3 |pages=131–163 |url=http://link.springer.com/article/10.1023%2FA%3A1007465528199 |accessdate=24 лютого 2015 |doi=10.1023/A:1007465528199 |archive-date=23 лютого 2015 |archive-url=https://web.archive.org/web/20150223144804/http://link.springer.com/article/10.1023/A:1007465528199 }} {{ref-en}}</ref><ref>{{cite journal |last1=Friedman |first1=Nir |last2=Linial |first2=Michal |last3=Nachman |first3=Iftach |last4=Pe'er |first4=Dana |date=August 2000 |title=Using Bayesian Networks to Analyze Expression Data |journal=Journal of Computational Biology |volume=7 |issue=3-4 |pages=601–620 |url=http://online.liebertpub.com/doi/abs/10.1089/106652700750050961 |accessdate=24 лютого 2015 |doi=10.1089/106652700750050961 |pmid=11108481}} {{ref-en}}</ref> обговорюють застосування [[Взаємна інформація|взаємної інформації]] між змінними, та пошуку структури, яка її максимізує. Вони роблять це шляхом обмеження набору кандидатів у батьки ''k'' вузлами, і вичерпним пошуком серед таких.

Особливо швидким методом точного навчання БМ є розгляд цієї задачі як задачі оптимізації, й розв'язання її із застосуванням [[Цілочисельне програмування|цілочисельного програмування]]. Обмеження ациклічності додаються цілочисельній програмі під час розв'язання у вигляді {{нп|Метод січних площин|січних площин||Cutting-plane method}}.<ref>{{Cite journal|last=Cussens|first=James|year=2011|title=Bayesian network learning with cutting planes|url=https://dslpitt.org/papers/11/p153-cussens.pdf|journal=Proceedings of the 27th Conference Annual Conference on Uncertainty in Artificial Intelligence|volume=|pages=153–160|via=|accessdate=9 грудня 2016|archive-date=27 березня 2022|archive-url=https://web.archive.org/web/20220327163338/https://dslpitt.org/papers/11/p153-cussens.pdf}} {{ref-en}}</ref> Такий метод може впоруватися із задачами, що мають до 100 змінних.

Щоби мати справу із задачами з тисячами змінних, необхідно застосовувати інший підхід. Одним з них є спочатку вибирати одне впорядкування, і потім знаходити оптимальну структуру БМ по відношенню до цього впорядкування. Це означає роботу на просторі пошуку можливих впорядкувань, що є зручним, оскільки він менший за простір мережних структур. Потім вибираються й оцінюються декілька впорядкувань. Було доведено, що цей метод є найкращим із доступних в наукових працях, коли число змінних є величезним.<ref>M. Scanagatta, C. P. de Campos, G. Corani, and M. Zaffalon. [https://papers.nips.cc/paper/5803-learning-bayesian-networks-with-thousands-of-variables Learning Bayesian Networks with Thousands of Variables.] {{Webarchive|url=https://web.archive.org/web/20180502065451/https://papers.nips.cc/paper/5803-learning-bayesian-networks-with-thousands-of-variables |date=2 травня 2018 }} In NIPS-15: Advances in Neural Information Processing Systems 28, pages 1855—1863, 2015. {{ref-en}}</ref>

Інший метод полягає в зосередженні на підкласах розкладаних моделей, для яких [[оцінка максимальної правдоподібності]] має [[Вираз замкненого вигляду|замкнений вигляд]]. Тоді можливо виявляти цілісну структуру для сотень змінних.<ref name="Petitjean">{{cite conference |url=http://www.tiny-clues.eu/Research/Petitjean2013-ICDM.pdf |title=Scaling log-linear analysis to high-dimensional data |last1=Petitjean |first1=F. |last2=Webb |first2=G.I. |last3=Nicholson |first3=A.E. |year=2013 |publisher=IEEE |conference=International Conference on Data Mining |location=Dallas, TX, USA |accessdate=9 грудня 2016 |archive-date=2 червня 2014 |archive-url=https://web.archive.org/web/20140602112454/http://www.tiny-clues.eu/Research/Petitjean2013-ICDM.pdf }} {{ref-en}}</ref>

Баєсова мережа може доповнюватися вузлами та ребрами із застосуванням методик [[Машинне навчання|машинного навчання]] на основі правил. Для добування правил та створення нових вузлів може застосовуватися {{нп|індуктивне логічне програмування|||Inductive logic programming}}.<ref>{{cite journal|last1=Nassif|first1=Houssam|last2=Wu|first2=Yirong|last3=Page|first3=David|last4=Burnside|first4=Elizabeth|title=Logical Differential Prediction Bayes Net, Improving Breast Cancer Diagnosis for Older Women|journal=American Medical Informatics Association Symposium (AMIA'12)|date=2012|pages=1330–1339|url=http://pages.cs.wisc.edu/~hous21/papers/AMIA12.pdf|accessdate=18 липня 2014|location=Chicago|archive-date=6 травня 2015|archive-url=https://web.archive.org/web/20150506221242/http://pages.cs.wisc.edu/~hous21/papers/AMIA12.pdf}} {{ref-en}}</ref> Підходи {{нп|Статистичне навчання відношень|статистичного навчання відношень||Statistical relational learning}} (СНВ, {{lang-en|statistical relational learning, SRL}}) використовують {{нп|Оцінкова функція|оцінкову функцію||Scoring function}}, що ґрунтується на структурі баєсової мережі, для спрямовування структурного пошуку та доповнення мережі.<ref>{{cite journal|last1=Nassif|first1=Houssam|last2=Kuusisto|first2=Finn|last3=Burnside|first3=Elizabeth S|last4=Page|first4=David|last5=Shavlik|first5=Jude|last6=Santos Costa|first6=Vitor|title=Score As You Lift (SAYL): A Statistical Relational Learning Approach to Uplift Modeling|journal=European Conference on Machine Learning (ECML'13)|date=2013|pages=595–611|url=http://pages.cs.wisc.edu/~hous21/papers/ECML13.pdf|location=Prague|accessdate=9 грудня 2016|archive-date=14 квітня 2016|archive-url=https://web.archive.org/web/20160414120726/http://pages.cs.wisc.edu/~hous21/papers/ECML13.pdf}} {{ref-en}}</ref> Поширеною оцінковою функцією СНВ є площа під [[Крива РХП|кривою РХП]].

Як зазначено раніше, навчання баєсових мереж із обмеженою деревною шириною є необхідним для уможливлення точного розв'язного висновування, оскільки складність висновування в найгіршому випадку є експоненційною по відношенню до деревної ширини ''k'' (за гіпотези експоненційного часу). Проте, будучи глобальною властивістю графу, вона значно підвищує складність процесу навчання. В цьому контексті для ефективного навчання можливо застосовувати поняття [[k-дерево|''k''-дерева]].<ref>M. Scanagatta, G. Corani, C. P. de Campos, and M. Zaffalon. [http://papers.nips.cc/paper/6232-learning-treewidth-bounded-bayesian-networks-with-thousands-of-variables Learning Treewidth-Bounded Bayesian Networks with Thousands of Variables.] {{Webarchive|url=https://web.archive.org/web/20161126005250/http://papers.nips.cc/paper/6232-learning-treewidth-bounded-bayesian-networks-with-thousands-of-variables |date=26 листопада 2016 }} In NIPS-16: Advances in Neural Information Processing Systems 29, 2016. {{ref-en}}</ref>

== Статистичне введення ==

Для заданих даних <math>x\,\!</math> та параметру <math>\theta</math> простий [[Баєсова статистика|баєсів аналіз]] починається з [[Апріорна ймовірність|апріорної ймовірності]] (''апріорного'') <math>p(\theta)</math> та [[Функція правдоподібності|правдоподібності]] <math>p(x\mid\theta)</math> для обчислення [[Апостеріорна ймовірність|апостеріорної ймовірності]] <math>p(\theta\mid x) \propto p(x\mid\theta)p(\theta)</math>.

Часто апріорне <math>\theta</math> залежить у свою чергу від інших параметрів <math>\varphi</math>, які не згадуються в правдоподібності. Отже, апріорне <math>p(\theta)</math> мусить бути замінено правдоподібністю <math>p(\theta\mid \varphi)</math>, і потрібним апріорним <math>p(\varphi)</math> нововведених параметрів <math>\varphi</math>, що дає в результаті апостеріорну ймовірність

: <math>p(\theta,\varphi|x) \propto p(x|\theta)p(\theta|\varphi)p(\varphi).</math>

Це є найпростішим прикладом ''ієрархічної баєсової моделі'' ({{lang-en|hierarchical Bayes model}}).{{clarify|date=грудень 2016|reason=Що робить її ієрархічною? Ми говоримо про {{нп|ієрархія (математика)|||Hierarchy (mathematics)}}, чи [[ієрархічна структура]]? Поставте посилання на відповідне.}}
<!--
Я думаю мається на увазі те що "апріорне <math>\theta</math> залежить у свою чергу від інших параметрів, а ті в свою чергу від інших (див нижче). Мається на увазі що мережа&nbsp;— це в даному випадку дерево.
-->

Цей процес може повторюватися; наприклад, параметри <math>\varphi</math> можуть у свою чергу залежати від додаткових параметрів <math>\psi\,\!</math>, які потребуватимуть свого власного апріорного. Зрештою цей процес мусить завершитися апріорними, які не залежать від жодних інших незгаданих параметрів.

=== Ввідні приклади ===
{{Expand section|date=грудень 2016|reason=Треба більше прикладів}}

Припустімо, що ми виміряли величини <math>x_1,\dots,x_n\,\!</math>, кожна із [[Нормальний розподіл|нормально розподіленою]] похибкою відомого [[Стандартне відхилення|стандартного відхилення]] <math>\sigma\,\!</math>,

: <math>
x_i \sim N(\theta_i, \sigma^2)
</math>

Припустімо, що нас цікавить оцінка <math>\theta_i</math>. Підходом буде оцінювати <math>\theta_i</math> із застосуванням [[Метод максимальної правдоподібності|методу максимальної правдоподібності]]; оскільки спостереження є незалежними, правдоподібність розкладається на множники, і оцінкою максимальної правдоподібності є просто

: <math>
\theta_i = x_i
</math>

Проте, якщо ці величини є взаємопов'язаними, так що, наприклад, ми можемо думати, що окремі <math>\theta_i</math> було й самі вибрано з розподілу, що лежав в основі, то цей взаємозв'язок руйнує незалежність, і пропонує складнішу модель, наприклад,

: <math>
x_i \sim N(\theta_i,\sigma^2),
</math>
: <math>
\theta_i\sim N(\varphi, \tau^2)
</math>

з [[Некоректне апріорне|некоректними апріорними]] <math>\varphi\sim</math>flat, <math>\tau\sim</math>flat<math> \in (0,\infty)</math>. При <math>n\ge 3</math> це є ''пізнанною моделлю'' (тобто, існує унікальний розв'язок для параметрів моделі), а апостеріорні розподіли окремих <math>\theta_i</math> будуть схильні рухатися, або {{нп|Стискальна оцінка|''стискатися''||Shrinkage estimator}} ({{lang-en|shrink}}) від оцінок максимальної правдоподібності до свого спільного середнього. Це ''стискання'' ({{lang-en|shrinkage}}) є типовою поведінкою ієрархічних баєсових моделей.

=== Обмеження на апріорні ===

При виборі апріорних в ієрархічній моделі потрібна деяка обережність, зокрема на масштабних змінних на вищих рівнях ієрархії, таких як змінна <math>\tau\,\!</math> у цьому прикладі. Звичайні апріорні, такі як {{нп|апріорне Джеффріса|||Jeffreys prior}}, часто не працюють, оскільки апостеріорний розподіл буде некоректним (його неможливо буде унормувати), а оцінки, зроблені мінімізуванням [[Очікувані втрати|очікуваних втрат]] будуть {{нп|Правило прийнятного рішення|неприйнятними||Admissible decision rule}}.

== Визначення та поняття ==
{{See also|Словник термінів теорії графів}}

Існує декілька рівнозначних визначень баєсової мережі. Для всіх наступних, нехай ''G'' = (''V'',''E'') є [[Орієнтований ациклічний граф|орієнтованим ациклічним графом]] (або ОАГ), і нехай ''X'' = (''X''<sub>''v''</sub>)<sub>''v'' ∈ ''V''</sub> є множиною [[Випадкова змінна|випадкових змінних]], проіндексованою за ''V''.

=== Множникове визначення ===

''X'' є баєсовою мережею по відношенню до ''G'', якщо функцію її спільної [[Функція густини ймовірності|густини ймовірності]] (по відношенню до [[Добуткова міра|добуткової міри]]) може бути записано як добуток окремих функцій густини, обумовлених їхніми батьківськими змінними:{{sfn|Russell|Norvig|2003|p=496}}

: <math> p (x) = \prod_{v \in V} p \left(x_v \,\big|\,  x_{\operatorname{pa}(v)} \right) </math>

де pa(''v'') є множиною батьків ''v'' (тобто, тих вершин, які вказують безпосередньо на ''v'' через єдине ребро).

Для будь-якої множини випадкових змінних імовірність будь-якого члену [[Спільний розподіл|спільного розподілу]] може бути обчислено з умовних імовірностей із застосуванням [[Ланцюгове правило (теорія ймовірності)|ланцюгового правила]] (для заданого [[Топологічне впорядкування|топологічного впорядкування]] ''X'') наступним чином:{{sfn|Russell|Norvig|2003|p=496}}

: <math>\mathrm  P(X_1=x_1, \ldots, X_n=x_n) = \prod_{v=1}^n  \mathrm P \left(X_v=x_v \mid X_{v+1}=x_{v+1}, \ldots, X_n=x_n \right)</math>

Порівняйте це із наведеним вище визначенням, що його може бути записано наступним чином:

: <math>\mathrm  P(X_1=x_1, \ldots, X_n=x_n) = \prod_{v=1}^n  \mathrm P (X_v=x_v \mid X_j=x_j </math> для кожного <math>X_j\,</math> що є батьком <math> X_v\, )</math>

Різницею між цими двома виразами є {{нп|умовна незалежність|||Conditional independence}} змінних від будь-якого з їхніх не-нащадків за заданих значень їхніх батьківських змінних.

=== Локальна марковська властивість ===

''X'' є баєсовою мережею по відношенню до ''G'', якщо вона задовольняє ''локальну марковську властивість'' ({{lang-en|local Markov property}}): кожна змінна є {{нп|Умовна незалежність|умовно незалежною||Conditional independence}} від своїх не-нащадків за заданих її батьківських змінних:{{sfn|Russell|Norvig|2003|p=499}}

: <math> X_v \perp\!\!\!\perp X_{V \setminus \operatorname{de}(v)} \mid X_{\operatorname{pa}(v)} \quad</math> для всіх <math>v \in V</math>

де de(''v'') є множиною нащадків, а ''V''&nbsp;\&nbsp;de(''v'') є множиною не-нащадків ''v''.

Це також може бути виражено в подібних до першого визначення термінах як

: <math>\mathrm  P(X_v=x_v \mid  X_i=x_i </math> для кожного <math>X_i\,</math> що не є нащадком <math> X_v\, ) = P(X_v=x_v \mid X_j=x_j </math> для кожного <math>X_j\,</math> що є батьківським для <math> X_v\, )</math>

Зауважте, що множина батьків є підмножиною множини не-нащадків, оскільки граф є [[Цикл (теорія графів)|ациклічним]].

=== Розробка баєсових мереж ===

Для розробки баєсових мереж ми часто спочатку розробляємо такий ОАГ ''G'', що ми переконані, що ''X'' задовольняє локальну марковську властивість по відношенню до ''G''. Іноді це робиться шляхом створення {{нп|Причинний граф|причинного||Causal graph}} ОАГ. Потім ми з'ясовуємо умовні розподіли ймовірності для кожної змінної за заданих її батьків у ''G''. В багатьох випадках, зокрема, в тому випадку, коли змінні є дискретними, якщо ми визначаємо спільний розподіл ''X'' як добуток цих умовних розподілів, то ''X'' є баєсовою мережею по відношенню до ''G''.<ref>{{cite book |first=Richard E. |last=Neapolitan |title=Learning Bayesian networks |url=https://books.google.com/books?id=OlMZAQAAIAAJ |year=2004 |publisher=Prentice Hall |isbn=978-0-13-012534-7 |accessdate=9 грудня 2016 |archive-date=7 лютого 2017 |archive-url=https://web.archive.org/web/20170207071705/https://books.google.com/books?id=OlMZAQAAIAAJ }} {{ref-en}}</ref>

=== Марковське покриття ===

[[Марковське покриття]] вузла є множиною вузлів, яка складається з його батьківських вузлів, його дочірніх вузлів, та всіх іншиї батьків його дочірніх вузлів. Марковське покриття робить вузол незалежним від решти мережі; спільний розподіл змінних у марковському покритті вузла є достатнім знанням для обчислення розподілу цього вузла. ''X'' є баєсовою мережею по відношенню до ''G'', якщо кожен вузол є умовно незалежним від всіх інших вузлів мережі за заданого його [[Марковське покриття|марковського покриття]].{{sfn|Russell|Norvig|2003|p=499}}

==== {{anchor|о-розділеність}}{{anchor|d-розділеність}}''о''-розділеність ====

Це визначення можна зробити загальнішим через визначення ''о-розділеності'' ({{lang-en|d-separation}}) двох вузлів, де «''о''» значить «орієнтована» ({{lang-en|directional}}).<ref>{{cite journal|last=Geiger |first=Dan |last2=Verma |first2=Thomas |last3=Pearl |first3=Judea |title=Identifying independence in Bayesian Networks |journal=Networks |year=1990 |volume=20 |pages=507–534 |doi=10.1177/089443939100900106 |url=http://ftp.cs.ucla.edu/pub/stat_ser/r116.pdf |format=PDF}} {{ref-en}}</ref><ref>{{citation|author=Richard Scheines|title=D-separation|url=http://www.andrew.cmu.edu/user/scheines/tutor/d-sep.html|accessdate=9 грудня 2016|archive-date=22 листопада 2016|archive-url=https://web.archive.org/web/20161122071126/http://www.andrew.cmu.edu/user/scheines/tutor/d-sep.html}} {{ref-en}}</ref> Нехай ''P'' є [[Ланцюг (теорія графів)|ланцюгом]] від вузла ''u'' до ''v''. Ланцюг&nbsp;— це ациклічний неорієнтований шлях між двома вузлами (тобто, напрям ребер при побудові цього шляху ігнорується), в якому ребра можуть мати будь-який напрям. Тоді про ''P'' кажуть, що він ''о''-розділюється множиною вузлів ''Z'', якщо виконуються будь-які з наступних умов:

# ''P'' містить орієнтований ''[[Шлях (теорія графів)|шлях]]'', <math> u \ldots \leftarrow m \leftarrow \ldots v</math> або <math> 
u \ldots \rightarrow m \rightarrow \ldots v</math>, такий, що середній вузол ''m'' належить ''Z'',
# ''P'' містить ''розгалуження'', <math> u \ldots \leftarrow m \rightarrow \ldots v</math>, таке, що середній вузол ''m'' належить ''Z'', або
# ''P'' містить ''обернене розгалуження'' (або ''колайдер''), <math> u \ldots \rightarrow m \leftarrow \ldots v</math>, таке, що середній вузол ''m'' '''не''' належить ''Z'', і жодні з нащадків ''m'' не належать ''Z''

''X'' є баєсовою мережею по відношенню до ''G'', якщо для будь-яких двох вузлів ''u'' та ''v''

: <math>X_u \perp\!\!\!\perp X_v \mid X_Z</math>

де ''Z'' є множиною, яка ''о''-розділює ''u'' та ''v''. ([[Марковське покриття]] є мінімальним набором вузлів, які ''о''-відділюють вузол ''v'' від решти вузлів.)

=== Ієрархічні моделі ===

Термін ''ієрархічна модель'' ({{lang-en|hierarchical model}}) іноді вважається окремим типом басової мережі, але він не має формального визначення. Іноді цей термін резервують для моделей з трьома або більше шарами випадкових змінних; в інших випадках його резервують для моделей із [[Латентна змінна|латентними змінними]]. Проте в цілому «ієрархічною» зазвичай називають будь-яку помірно складну баєсову мережу.

=== Причинні мережі ===

Хоч баєсові мережі й використовують часто для представлення [[Причинність|причинних]] взаємозв'язків, це не обов'язково повинно бути так: орієнтоване ребро з ''u'' до ''v'' не вимагає, щоби ''X<sub>v</sub>'' причинно залежало від ''X<sub>u</sub>''. Про це свідчить той факт, що баєсові мережі на графах

: <math> a \rightarrow b \rightarrow c \qquad </math> та <math> \qquad a \leftarrow b \leftarrow c </math>

є рівнозначними: тобто, вони накладають точно такі ж вимоги умовної незалежності.

'''Причи́нна мере́жа''' ({{lang-en|causal network}})&nbsp;— це баєсова мережа з явною вимогою того, що взаємозв'язки є причинними. Додаткова семантика причинних мереж вказує, що якщо вузлові ''X'' активно спричинено перебування в заданому стані ''x'' (дія, що записується як do(''X''&nbsp;=&nbsp;''x'')), то функція густини ймовірності змінюється на функцію густини ймовірності мережі, отриманої відсіканням з'єднань від батьків ''X'' до ''X'', і встановленням ''X'' у спричинене значення ''x''.<ref name=pearl2000/> Застосовуючи ці семантики, можна передбачувати вплив зовнішніх втручань на основі даних, отриманих до втручання.

== Складність висновування та алгоритми наближення ==

1990 року під час праці в [[Стенфордський університет|Стенфордському університеті]] над великими застосунками в біоінформатиці Грег Купер довів, що точне висновування в баєсових мережах є [[NP-складна задача|''NP''-складним]].<ref>{{cite journal
|author1=Gregory F. Cooper
|title=The Computational Complexity of Probabilistic Inference Using Bayesian Belief Networks
|url=https://stat.duke.edu/~sayan/npcomplete.pdf
|journal=Artificial Intelligence
|volume=42
|date=1990
|pages=393–405
|doi=10.1016/0004-3702(90)90060-d
|accessdate=9 грудня 2016
|archive-date=29 березня 2017
|archive-url=https://web.archive.org/web/20170329063026/http://www2.stat.duke.edu/~sayan/npcomplete.pdf
}} {{ref-en}}</ref> Цей результат спричинив сплеск досліджень алгоритмів наближення з метою розробки розв'язного наближення ймовірнісного висновування. 1993 року {{нпні|Пол Деґам|||Paul Dagum}} та [[Майкл Любі]] довели два несподівані результати стосовно складності наближення ймовірнісного висновування в баєсових мережах.<ref>{{cite journal
|author1={{нпні|Пол Деґам|Paul Dagum||Paul Dagum}}
|author2=[[Майкл Любі|Michael Luby]]
|title=Approximating probabilistic inference in Bayesian belief networks is NP-hard
|url=http://www.researchgate.net/publication/222479046_Approximating_probabilistic_inference_in_Bayesian_belief_networks_is_NP-hard
|journal=Artificial Intelligence
|volume=60
|issue=1
|date=1993
|pages=141–153
|doi=10.1016/0004-3702(93)90036-b
|accessdate=9 грудня 2016
|archive-date=24 вересня 2015
|archive-url=https://web.archive.org/web/20150924145604/http://www.researchgate.net/publication/222479046_Approximating_probabilistic_inference_in_Bayesian_belief_networks_is_NP-hard
}} {{ref-en}}</ref> По-перше, вони довели, що не існує розв'язного ''[[Детермінований алгоритм|детермінованого алгоритму]]'', який міг би наближувати ймовірнісне висновування в межах [[Абсолютна похибка вимірювання|абсолютної похибки]] ''ɛ< 1/2''. По-друге, вони довели, що не існує розв'язного ''[[Увипадковлений алгоритм|увипадковленого алгоритму]]'', який міг би наближувати ймовірнісне висновування в межах абсолютної похибки ''ɛ < 1/2'' з [[Довірча ймовірність|довірчою ймовірністю]] понад ''1/2''.

Приблизно в той же час {{нп|Ден Рот|||Dan Roth}} довів, що точне висновування в баєсових мережах фактично є {{нп|Sharp-P-повна задача|#P-повним||Sharp-P-complete}} (і відтак настільки ж складним, як і підрахунок числа задовільних присвоєнь [[Кон'юнктивна нормальна форма|КНФ]]-формули), і що наближене висновування, навіть для баєсових мереж із обмеженою архітектурою, є ''NP''-складним.<ref>D. Roth, [http://cogcomp.cs.illinois.edu/page/publication_view/5 On the hardness of approximate reasoning] {{Webarchive|url=https://web.archive.org/web/20160127172714/http://cogcomp.cs.illinois.edu/page/publication_view/5 |date=27 січня 2016 }}, IJCAI (1993) {{ref-en}}</ref><ref>D. Roth, [http://cogcomp.cs.illinois.edu/papers/hardJ.pdf On the hardness of approximate reasoning] {{Webarchive|url=https://web.archive.org/web/20160127135810/http://cogcomp.cs.illinois.edu/papers/hardJ.pdf |date=27 січня 2016 }}, Artificial Intelligence (1996) {{ref-en}}</ref>

З практичної точки зору, ці результати стосовно складності підказали, що хоча баєсові мережі й були цінними представленнями для застосунків [[ШІ]] та машинного навчання, їхнє застосування у великих реальних задачах вимагатиме пом'якшення або топологічними структурними обмеженнями, такими як наївні баєсові мережі, або обмеженнями на умовні ймовірності. ''Алгоритм обмеженої дисперсії'' ({{lang-en|bounded variance algorithm}})<ref>{{cite journal
|author1={{нпні|Пол Деґам|Paul Dagum||Paul Dagum}}
|author2=[[Майкл Любі|Michael Luby]]
|title=An optimal approximation algorithm for Bayesian inference
|url=http://icsi.berkeley.edu/~luby/PAPERS/bayesian.ps
|journal=Artificial Intelligence
|volume=93
|issue=1-2
|date=1997
|pages=1–27
|doi=10.1016/s0004-3702(97)00013-1
|accessdate=9 грудня 2016
|archiveurl=https://web.archive.org/web/20170706064354/http://www1.icsi.berkeley.edu/~luby/PAPERS/bayesian.ps
|archivedate=6 липня 2017
|deadurl=yes
}} {{ref-en}}</ref> був першим алгоритмом довідного швидкого наближення для ефективного наближення ймовірнісного висновування в баєсових мережах з гарантією похибки наближення. Цей потужний алгоритм вимагав другорядних обмежень умовних імовірностей баєсової мережі, щоби отримати відмежування від нуля та одиниці на ''1/p(n)'', де ''p(n)'' є будь-яким поліномом від числа вузлів мережі ''n''.

== Застосування ==

Баєсові мережі застосовують для [[Математична модель|моделювання]] переконань в [[Обчислювальна біологія|обчислювальній біології]] та [[Біоінформатика|біоінформатиці]] (аналізі [[Генна регуляторна мережа|генних регуляторних мереж]], [[Структура білків|структур білків]], [[Експресія генів|експресії генів]],<ref>{{Cite journal | last1 = Friedman | first1 = N. | last2 = Linial | first2 = M. | last3 = Nachman | first3 = I. | last4 = Pe'er | first4 = D. | title = Using Bayesian Networks to Analyze Expression Data | journal = Journal of Computational Biology | volume = 7 | issue = 3–4 | pages = 601–620 | year = 2000 | pmid = 11108481 | doi = 10.1089/106652700750050961}} {{ref-en}}</ref> навчанні [[епістаз]]ів із наборів даних {{нп|GWAS|||Genome-wide association study}}<ref>{{cite journal |author1=Jiang, X. |author2=Neapolitan, R.E. |author3=Barmada, M.M. |author4=Visweswaran, S. |title=Learning Genetic Epistasis using Bayesian Network Scoring Criteria |journal=BMC Bioinformatics |volume=12 |issue= |pages=89 |year=2011 |pmid=21453508 |pmc=3080825 |url=http://www.biomedcentral.com/1471-2105/12/89 |doi=10.1186/1471-2105-12-89 |accessdate=9 грудня 2016 |archive-date=23 вересня 2015 |archive-url=https://web.archive.org/web/20150923190419/http://www.biomedcentral.com/1471-2105/12/89 }} {{ref-en}}</ref>), [[Медицина|медицині]],<ref name="Uebersax2004">{{Cite book|author = J. Uebersax|year = 2004|title = Genetic Counseling and Cancer Risk Modeling:  An Application of Bayes Nets|publisher = Ravenpack International|location = Marbella, Spain|url = http://www.john-uebersax.com/stat/bayes_net_breast_cancer.doc|accessdate = 9 грудня 2016|archive-date = 17 квітня 2016|archive-url = https://web.archive.org/web/20160417082730/http://www.john-uebersax.com/stat/bayes_net_breast_cancer.doc}} {{ref-en}}</ref> {{нп|Біомоніторинг|біомоніторингу||Biomonitoring}},<ref>{{cite journal |authors=Jiang X, Cooper GF |title=A Bayesian spatio-temporal method for disease outbreak detection |journal=J Am Med Inform Assoc |volume=17 |issue=4 |pages=462–71 |date=July–August 2010 |pmid=20595315 |pmc=2995651 |url=http://jamia.bmj.com/cgi/pmidlookup?view=long&pmid=20595315 |doi=10.1136/jamia.2009.000356}} {{ref-en}}</ref> [[Класифікація документів|класифікації документів]], [[Інформаційний пошук|інформаційному пошуку]],<ref name="infpro">{{ cite journal | author=Luis M. de Campos |author2=Juan M. Fernández-Luna |author3=Juan F. Huete|title=Bayesian networks and information retrieval: an introduction to the special issue | url=https://archive.org/details/sim_information-processing-management_2004-09_40_5/page/727 | journal=Information Processing & Management|publisher=Elsevier| isbn=0-471-14182-8| volume=40 | pages=727–733| year=2004| doi=10.1016/j.ipm.2004.03.001 | issue=5}} {{ref-en}}</ref> {{нп|Семантичний пошук|семантичному пошуку||Semantic search}},<ref>Christos L. Koumenides and Nigel R. Shadbolt. 2012. [http://eprints.soton.ac.uk/342220 Combining link and content-based information in a Bayesian inference model for entity search.] {{Webarchive|url=https://web.archive.org/web/20160502050234/http://eprints.soton.ac.uk/342220/ |date=2 травня 2016 }} In Proceedings of the 1st Joint International Workshop on Entity-Oriented and Semantic Search (JIWES '12). ACM, New York, NY, USA, Article 3 , 6 pages. {{doi|10.1145/2379307.2379310}} {{ref-en}}</ref> [[Обробка зображень|обробці зображень]], [[Злиття даних|злитті даних]], [[Система підтримки ухвалення рішень|системах підтримки ухвалення рішень]],<ref name="Diez1997">{{Cite journal |author1=F.J. Díez |author2=J. Mira |author3=E. Iturralde |author4=S. Zubillaga |title=DIAVAL, a Bayesian expert system for echocardiography |journal=Artificial Intelligence in Medicine |volume=10 |pages=59–73 |year=1997 |pmid=9177816 |url=http://www.cisiad.uned.es/papers/diaval.php |issue=1 |doi=10.1016/s0933-3657(97)00384-9 |accessdate=9 грудня 2016 |archive-date=16 квітня 2016 |archive-url=https://web.archive.org/web/20160416094006/http://www.cisiad.uned.es/papers/diaval.php }} {{ref-en}}</ref> [[Інженерія|інженерії]], ставках на спорт,<ref>{{cite journal|last=Constantinou|first=Anthony|author2=Fenton, N.|author3=Neil, M.|title=pi-football: A Bayesian network model for forecasting Association Football match outcomes|journal=Knowledge-Based Systems|year=2012|volume=36|pages=322–339 |doi=10.1016/j.knosys.2012.07.008}} {{ref-en}}</ref><ref>{{cite journal|last=Constantinou|first=Anthony|author2=Fenton, N.|author3=Neil, M.|title=Profiting from an inefficient Association Football gambling market: Prediction, Risk and Uncertainty using Bayesian networks.|journal=Knowledge-Based Systems|year=2013|volume=50|pages=60–86 |doi=10.1016/j.knosys.2013.05.008}} {{ref-en}}</ref> іграх, [[Право|праві]],<ref name="davis">{{cite journal | author=G. A. Davis | title=Bayesian reconstruction of traffic accidents | journal=Law, Probability and Risk | year=2003 | volume=2 | pages=69–89  | doi=10.1093/lpr/2.2.69 | issue=2}} {{ref-en}}</ref><ref name=kadane>{{ cite book |author1=J. B. Kadane  |author2=D. A. Schum  |lastauthoramp=yes | title=A Probabilistic Analysis of the Sacco and Vanzetti Evidence|url=https://archive.org/details/probabilisticana0000kada  |location=New York|publisher=Wiley|isbn=0-471-14182-8 | year=1996 }} {{ref-en}}</ref><ref>{{Cite book|author1 = O. Pourret, P. Naim|author2 = B. Marcot|lastauthoramp = yes|year = 2008|title = Bayesian Networks: A Practical Guide to Applications|publisher = Wiley|location = Chichester, UK|isbn = 978-0-470-06030-8|url = http://www.wiley.com/go/pourret|accessdate = 9 грудня 2016|archive-date = 12 жовтня 2008|archive-url = https://web.archive.org/web/20081012234505/http://www.wiley.com/go/pourret}} {{ref-en}}</ref> розробці досліджень<ref>{{cite journal | last=Karvanen | first=Juha |title=Study design in causal models | journal=Scandinavian Journal of Statistics | year=2014 | doi=10.1111/sjos.12110 | volume=42 | pages=361–377}} {{ref-en}}</ref> та [[Аналіз ризиків|аналізі ризиків]].<ref name="TruccoCagno2008">{{cite journal|last1=Trucco|first1=P.|last2=Cagno|first2=E.|last3=Ruggeri|first3=F.|last4=Grande|first4=O.|title=A Bayesian Belief Network modelling of organisational factors in risk analysis: A case study in maritime transportation|journal=Reliability Engineering & System Safety|volume=93|issue=6|year=2008|pages=845–856 |doi=10.1016/j.ress.2007.03.035}} {{ref-en}}</ref> Існують праці про застосування баєсових мереж в біоінформатиці<ref>{{cite book|last=Neapolitan|first=Richard|title=Probabilistic Methods for Bioinformatics|year=2009|publisher=Morgan Kaufmann|location=Burlington, MA|isbn=9780123704764|pages=406|url=https://www.elsevier.com/books/probabilistic-methods-for-bioinformatics/neapolitan/978-0-12-370476-4|accessdate=9 грудня 2016|archive-date=4 липня 2017|archive-url=https://web.archive.org/web/20170704120132/https://www.elsevier.com/books/probabilistic-methods-for-bioinformatics/neapolitan/978-0-12-370476-4}} {{ref-en}}</ref><ref>{{cite web |author=Grau J. |author2=Ben-Gal I. |author3=Posch S. |author4=Grosse I. |year=2006 |format=PDF |title=VOMBAT: Prediction of Transcription Factor Binding Sites using Variable Order Bayesian Trees, |url=http://www.eng.tau.ac.il/~bengal/VOMBAT.pdf |publisher=Nucleic Acids Research, vol. 34, issue W529–W533, 2006 |accessdate=9 грудня 2016 |archive-date=30 вересня 2018 |archive-url=https://web.archive.org/web/20180930084306/http://www.eng.tau.ac.il/~bengal/VOMBAT.pdf }} {{Webarchive|url=https://web.archive.org/web/20180930084306/http://www.eng.tau.ac.il/~bengal/VOMBAT.pdf |date=2018-09-30 }} {{ref-en}}</ref> та фінансовій і маркетинговій інформатиці.<ref>{{cite book|author1=Neapolitan, Richard|author2=Xia Jiang|lastauthoramp=yes|title=Probabilistic Methods for Financial and Marketing Informatics|year=2007|publisher=Morgan Kaufmann|location=Burlingon, MA|isbn=0123704774|pages=432|url=http://store.elsevier.com/Probabilistic-Methods-for-Financial-and-Marketing-Informatics/Richard-E_-Neapolitan/isbn-9780123704771/|accessdate=9 грудня 2016|archive-date=20 квітня 2016|archive-url=https://web.archive.org/web/20160420151108/http://store.elsevier.com/Probabilistic-Methods-for-Financial-and-Marketing-Informatics/Richard-E_-Neapolitan/isbn-9780123704771/}} {{ref-en}}</ref><ref>{{cite web|authors = Shmilovici A., Kahiri Y., Ben-Gal I., Hauser S.(2009|format = PDF|title = Measuring the Efficiency of the Intraday Forex Market with a Universal Data Compression Algorithm,|url = http://www.eng.tau.ac.il/~bengal/28.pdf|publisher = Computational Economics, Vol. 33 (2), 131-154, 2009|accessdate = 9 грудня 2016|archive-date = 22 жовтня 2016|archive-url = https://web.archive.org/web/20161022011606/http://www.eng.tau.ac.il/~bengal/28.pdf}} {{ref-en}}</ref>

=== Програмне забезпечення ===

* [https://staff.fnwi.uva.nl/j.m.mooij/libDAI/ libDAI] {{Webarchive|url=https://web.archive.org/web/20170614154856/https://staff.fnwi.uva.nl/j.m.mooij/libDAI/ |date=14 червня 2017 }} Вільна відкрита бібліотека [[C++]] дискретного наближеного висновування ({{lang-en|Discrete Approximate Inference}}) в графових моделях. libDAI підтримує такі методи висновування як точне висновування перебором грубою силою, точне висновування {{нп|Алгоритм дерева злук|методами дерева злук||Junction tree algorithm}}, {{нп|Методи частинок осередненого поля|осередненого поля||Mean field particle methods}}, {{нп|Петельне поширення переконання|петельного поширення переконання||Loopy belief propagation}}, {{нп|Вибірка за Ґіббсом|вибірки за Ґіббсом||Gibbs sampling}}, обумовленого поширення переконання ({{lang-en|Conditioned Belief Propagation}}) та деякі інші.
* [https://sourceforge.net/projects/mocapy/ Mocapy++] {{Webarchive|url=https://web.archive.org/web/20161221102920/https://sourceforge.net/projects/mocapy/ |date=21 грудня 2016 }} Інструментарій динамічних баєсових мереж, реалізований мовою C++. Він підтримує дискретні, багаточленні, ґаусові, кентові, фон мізесові та пуассонові вузли. Висновування та навчання здійснюються вибіркою за Ґіббсом/стохастичним очікуванням-максимізацією.
* {{нп|WinBUGS}} Одна з перших обчислювальних реалізацій вибірок МКМЛ. Більше не підтримується й не рекомендується для активного застосування.
* {{нп|OpenBUGS}} ([http://www.openbugs.net/w/FrontPage сайт] {{Webarchive|url=https://web.archive.org/web/20160709013007/http://www.openbugs.net/w/FrontPage |date=9 липня 2016 }}), подальша (відкрита) розробка WinBUGS.
* {{нп|Just another Gibbs sampler}} (JAGS) ([https://web.archive.org/web/20110723084249/http://www-fis.iarc.fr/~martyn/software/jags/ сайт]) Інша відкрита альтернатива WinBUGS. Використовує вибірку за Ґіббсом.
* {{нп|Stan (програмне забезпечення)|||Stan (software)}} ([http://mc-stan.org/ сайт] {{Webarchive|url=https://web.archive.org/web/20120903133321/http://mc-stan.org/ |date=3 вересня 2012 }}) Відкритий пакет для отримування баєсового висновування із застосуванням безрозворотної вибірки ({{lang-en|No-U-Turn sampler}}), одного з варіантів {{нп|Гамільтонове Монте-Карло|гамільтонового Монте-Карло||Hamiltonian Monte Carlo}}. Він в чомусь подібний до BUGS, але з іншою мовою для вираження моделей та іншою вибіркою для відбору зразків з їхніх апостеріорних. RStan це інтерфейс [[R (мова програмування)|R]] до Stan. Його підтримують {{нп|Андрій Гельман|||Andrew Gelman}} з колегами.
* [http://research.project-10.de/dgm Direct Graphical Models] {{Webarchive|url=https://web.archive.org/web/20161222211720/http://research.project-10.de/dgm/ |date=22 грудня 2016 }} (DGM)&nbsp;— відкрита бібліотека C++, яка реалізує різні завдання в імовірнісних графових моделях із попарними залежностями.
* [http://www.openmarkov.org/ OpenMarkov] {{Webarchive|url=https://web.archive.org/web/20161125063406/http://www.openmarkov.org/ |date=25 листопада 2016 }}&nbsp;— відкрите програмне забезпечення та [[ППІ]], реалізовані в [[Java]]
* [https://web.archive.org/web/20161126233051/http://melodi.ee.washington.edu/gmtk/ Graphical Models Toolkit] (GMTK)&nbsp;— відкритий загальнодоступний інструментарій для швидкого прототипування статистичних моделей із застосуванням динамічних графових моделей (ДГМ, {{lang-en|dynamic graphical models, DGM}}) і [[Динамічна баєсова мережа|динамічних баєсових мереж]] (ДБМ, {{lang-en|dynamic Bayesian networks, DBN}}). GMTK можливо застосовувати для застосунків та досліджень в обробці мовлення та мови, в біоінформатиці, {{нп|Розпізнавання діяльності|розпізнаванні діяльності||Activity recognition}} та будь-яких застосунках [[Часовий ряд|часових рядів]].
* [http://pymc-devs.github.io/pymc/ PyMC] {{Webarchive|url=https://web.archive.org/web/20161204065228/http://pymc-devs.github.io/pymc/ |date=4 грудня 2016 }}&nbsp;— модуль [[Python]], який реалізує баєсові статистичні моделі та алгоритми допасовування, включно з [[Методи Монте-Карло марковських ланцюгів|Монте-Карло марковських ланцюгів]]. Його гнучкість та розширюваність роблять його застосовним для великого набору задач. Поряд із ядровою функційністю вибірки, PyMC включає методи підсумовування виходу, графічного представлення, а також діагностування якості допасовування та збіжності.
* [http://www.bayesfusion.com GeNIe&Smile] {{Webarchive|url=https://web.archive.org/web/20220401011031/https://www.bayesfusion.com/ |date=1 квітня 2022 }}&nbsp;— SMILE це бібліотека C++ для баєсових мереж та діаграм впливу, а GeNIe це [[ГІК]] для неї
* [http://reasoning.cs.ucla.edu/samiam/ SamIam] {{Webarchive|url=https://web.archive.org/web/20161122213033/http://reasoning.cs.ucla.edu/samiam/ |date=22 листопада 2016 }}&nbsp;— система на основі [[Java]] з [[ГІК]] та [[ППІ]] Java
* [http://www.BayesServer.com/ Bayes Server] {{Webarchive|url=https://web.archive.org/web/20220408005713/https://www.bayesserver.com/ |date=8 квітня 2022 }}&nbsp;— користувацький інтерфейс та ППІ для баєсових мереж, включає підтримку часових рядів та послідовностей
* [https://web.archive.org/web/20180824224659/http://blip.idsia.ch/ Blip]&nbsp;— вебінтерфейс, який пропонує структурне навчання баєсових мереж безпосередньо з дискретних даних. Він може обробляти набори даних із тисячами змінних, і пропонує і пропонує як необмежене, так і обмежене [[Деревна ширина (теорія графів)|деревною шириною]] навчання структури.
* Belief and Decision Networks на [http://www.aispace.org/bayes/index.shtml AIspace] {{Webarchive|url=https://web.archive.org/web/20161220081640/http://www.aispace.org/bayes/index.shtml |date=20 грудня 2016 }}
* [http://library.bayesia.com/display/HOME/The+BayesiaLab+Library/ BayesiaLab] {{Webarchive|url=https://web.archive.org/web/20161220123238/http://library.bayesia.com/display/HOME/The+BayesiaLab+Library/ |date=20 грудня 2016 }} від Bayesia
* [http://www.hugin.com/ Hugin] {{Webarchive|url=https://web.archive.org/web/20200530203002/https://www.hugin.com/ |date=30 травня 2020 }}
* [http://www.bayesianrisk.com AgenaRisk] {{Webarchive|url=https://web.archive.org/web/20220309003326/http://bayesianrisk.com/ |date=9 березня 2022 }}
* [http://www.norsys.com/netica.html Netica] {{Webarchive|url=https://web.archive.org/web/20161204073306/http://www.norsys.com/netica.html |date=4 грудня 2016 }} від Norsys
* [http://www.norsys.com/netlibrary/index.htm Bayesian network application library] {{Webarchive|url=https://web.archive.org/web/20070611204646/http://www.norsys.com/netlibrary/index.htm |date=11 червня 2007 }}
* [https://web.archive.org/web/20130530234428/http://www.aparasw.com/index.php/en dVelox] від Apara Software
* [https://web.archive.org/web/20170912210806/http://inatas.com/ System Modeler] від Inatas AB
* [http://sourceforge.net/projects/unbbayes/ UnBBayes] {{Webarchive|url=https://web.archive.org/web/20161221165354/https://sourceforge.net/projects/unbbayes/ |date=21 грудня 2016 }} від GIA-UnB (Intelligence Artificial Group&nbsp;— University of Brasilia)
* [http://www.fdna.com/face2gene] {{Webarchive|url=https://web.archive.org/web/20161012013050/http://www.fdna.com/face2gene/ |date=12 жовтня 2016 }} із застосуванням технології новітнього аналізу лицьової дисморфології ({{lang-en|Facial Dysmorphology Novel Analysis, FDNA}})
* [http://www.lighttwist.net/wp/uninet/ Uninet] {{Webarchive|url=https://web.archive.org/web/20170104215836/http://www.lighttwist.net/wp/uninet |date=4 січня 2017 }}&nbsp;— неперервні баєсові мережі, які моделюють неперервні змінні, з широким спектром параметричних та непараметричних відособлених розподілів, і залежністю з паруванням. Також підтримуються гібридні дискретно-неперервні моделі. Безкоштовне для некомерційного використання. Розроблено компанією LightTwist Software.
* [http://www.phil.cmu.edu/tetrad/ Tetrad] {{Webarchive|url=https://web.archive.org/web/20170104034757/http://www.phil.cmu.edu/tetrad/ |date=4 січня 2017 }}&nbsp;— відкритий проект, написаний на Java, та розроблений Факультетом філософії [[Університет Карнегі-Меллон|університету Карнегі-Меллон]], який займається причинними моделями та статистичними даними.
* [http://www.dezide.com/ Dezide] {{Webarchive|url=https://web.archive.org/web/20220308215245/https://www.dezide.com/ |date=8 березня 2022 }}
* [http://www.bnlearn.com bnlearn] {{Webarchive|url=https://web.archive.org/web/20220502021221/https://www.bnlearn.com/ |date=2 травня 2022 }}&nbsp;— пакет [[R (мова програмування)|R]]
* [http://sourceforge.net/projects/riso/ RISO] {{Webarchive|url=https://web.archive.org/web/20070304181921/http://sourceforge.net/projects/riso |date=4 березня 2007 }} (розподілені мережі переконань)
* [http://www.dynamics.unam.edu/DinamicaNoLineal3/bansy3.htm BANSY3] {{Webarchive|url=https://web.archive.org/web/20110720092523/http://www.dynamics.unam.edu/DinamicaNoLineal3/bansy3.htm |date=20 липня 2011 }}&nbsp;— Безкоштовне. Від the Non Linear Dynamics Laboratory. Mathematics Department, Science School, UNAM.
* [http://research.microsoft.com/adapt/MSBNx/ MSBNx] {{Webarchive|url=https://web.archive.org/web/20081011225325/http://www.research.microsoft.com/adapt/MSBNx/ |date=11 жовтня 2008 }}&nbsp;— компонентно-орієнтований інструментарій для моделювання та висновування з баєсовими мережами (від [[Microsoft Research]])
* [https://code.google.com/archive/p/bnt/ Bayes Net Toolbox] {{Webarchive|url=https://web.archive.org/web/20170104202127/https://code.google.com/archive/p/bnt/ |date=4 січня 2017 }} для [[Matlab]]

== Історія ==

Термін «баєсові мережі» ({{lang-en|Bayesian networks}}) було запроваджено [[Йуда Перл|Йудою Перлом]] 1985 року для підкреслення трьох аспектів:<ref>{{cite conference |last=Pearl |first=J. |authorlink=Йуда Перл |year=1985 |title=Bayesian Networks: A Model of Self-Activated Memory for Evidential Reasoning |conference=Proceedings of the 7th Conference of the Cognitive Science Society, University of California, Irvine, CA |pages=329&ndash;334 |url=http://ftp.cs.ucla.edu/tech-report/198_-reports/850017.pdf |accessdate=2009-05-01 |format=UCLA Technical Report CSD-850017 |archive-date=15 січня 2017 |archive-url=https://web.archive.org/web/20170115020749/http://ftp.cs.ucla.edu/tech-report/198_-reports/850017.pdf }} {{ref-en}}</ref>

# Часто суб'єктивної природи вхідної інформації.
# Покладання на баєсове обумовлювання як основу для уточнення інформації.
# Відмінності причинної та доказової моделей міркування, яка підкреслює працю [[Томас Баєс|Томаса Баєса]], опубліковану посмертно 1763 року.<ref>{{Cite journal |last=Bayes |first=T. |authorlink=Томас Баєс |year=1763 |title = {{нп|Есе щодо розв'язання задачі у Доктрині шансів|||An Essay towards solving a Problem in the Doctrine of Chances}} |journal = [[Philosophical Transactions of the Royal Society]] |volume = 53
 |pages = 370–418 |doi = 10.1098/rstl.1763.0053 |last2=Price |first2=Mr.}} {{ref-en}}</ref>

Наприкінці 1980-х років праці Йуди Перла «Імовірнісне міркування в інтелектуальних системах»<ref>{{cite book |last=Pearl |first=J. |title=Probabilistic Reasoning in Intelligent Systems |publisher=Morgan Kaufmann |location=San Francisco CA |isbn=1558604790 |pages=1988 |url=https://books.google.com/books?id=AvNID7LyMusC |accessdate=9 грудня 2016 |archive-date=7 лютого 2017 |archive-url=https://web.archive.org/web/20170207140915/https://books.google.com/books?id=AvNID7LyMusC }} {{ref-en}}</ref> та Річарда Неаполітана «Імовірнісне міркування в експертних системах»<ref>{{cite book |first=Richard E. |last=Neapolitan |title=Probabilistic reasoning in expert systems: theory and algorithms |url=http://www.amazon.com/Probabilistic-Reasoning-Expert-Systems-Algorithms/dp/1477452540/ref=sr_1_3?s=books&ie=UTF8&qid=1389578837&sr=1-3&keywords=probabilistic+reasoning+in+expert+systems |year=1989 |publisher=Wiley |isbn=978-0-471-61840-9}} {{ref-en}}</ref> підсумували властивості баєсових мереж та утвердили баєсові мережі як область дослідження.

Неофіційні варіанти таких мереж було вперше застосовано 1913 року [[юрист]]ом [[Джон Генрі Вігмор|Джоном Генрі Вігмором]] у вигляді {{нп|Діаграма Вігмора|діаграм Вігмора||Wigmore chart}} для аналізу [[Процесуальні докази|процесуальних доказів]].<ref name=kadane/>{{Rp|66–76|date=травень 2009}} Інший варіант, що називається {{нп|Аналіз шляхів (статистика)|діаграмами шляхів||Path analysis (statistics)}}, було розроблено генетиком [[Сьюел Райт|Сьюелом Райтом]],<ref>{{cite journal |last=Wright |first=S. |authorlink=Сьюел Райт |year=1921 |title=Correlation and Causation |journal=Journal of Agricultural Research |volume=20 |issue=7 |pages=557–585 |url=http://www.ssc.wisc.edu/soc/class/soc952/Wright/Wright_Correlation%20and%20Causation.pdf |format=PDF |accessdate=9 грудня 2016 |archive-date=15 січня 2017 |archive-url=https://web.archive.org/web/20170115235950/http://www.ssc.wisc.edu/soc/class/soc952/Wright/Wright_Correlation%20and%20Causation.pdf }} {{ref-en}}</ref> і застосовано в [[Суспільні науки|суспільній]] та [[Поведінкова наука|поведінковій науці]] (переважно в лінійних параметричних моделях).

В своїй книзі 2018 року «Книга про Чому» Перл зізнався, що хоч і признає їх успішність в цілому, баєсові мережі не виправдали його сподівань (наблизити машинний інтелект до людського). Він також пояснив чому: мережі виводили висновки через спостережені ймовірності, але не враховували [[причинність]]. Думка про ймовірну помилковість конструкції баєсових мереж виникла у нього одразу ж після публікації книги «Імовірнісне міркування в інтелектуальних системах»<ref>{{Cite book|url=https://www.worldcat.org/oclc/1003311466|title=The book of why : the new science of cause and effect|last=Judea,|first=Pearl,|edition=First edition|location=New York, NY|isbn=9780465097609|oclc=1003311466}}</ref><!-- В оригіналі в книзі це звучить так: «Now I have a confession to make: I made the same mistake. I did not always put causality first and probability second. Quite the opposite! When I started working in artificial intelligence, in the early 1980s, I thought that uncertainty was the most important thing missing from AI. Moreover, I insisted that uncertainty be represented by probabilities. Thus, as I explain in Chapter 3, I developed an approach to reasoning under uncertainty, called Bayesian networks, that mimics how an idealized, decentralized brain might incorporate probabilities into its decisions. Given that we see certain facts, Bayesian networks can swiftly compute the likelihood that certain other facts are true or false. Not surprisingly, Bayesian networks caught on immediately in the AI community and even today are considered a leading paradigm in artificial intelligence for reasoning under uncertainty.
Though I am delighted with the ongoing success of Bayesian networks, they failed to bridge the gap between artificial and human intelligence. I'm sure you can figure out the missing ingredient: causality. […]
At the time, I was so intoxicated with the power of probabilities that I considered causality a subservient concept, merely a convenience or a mental shorthand for expressing probabilistic dependencies and distinguishing relevant variables from irrelevant ones. In my 1988 book Probabilistic Reasoning in Intelligent Systems, I wrote, „Causation is a language with which one can talk efficiently about certain structures of relevance relationships.“ The words embarrass me today, because „relevance“ is so obviously a rung-one notion. Even by the time the book was published, I knew in my heart that I was wrong. To my fellow computer scientists, my book became the bible of reasoning under uncertainty, but I was already feeling like an apostate.» -->, що і призвело до появи причинних мереж<ref name=pearl2000/>.

== Див. також ==
{{стовпці|4}}
* [[Алгоритм очікування-максимізації]]
* {{нп|Аналіз шляхів (статистика)|Аналіз шляхів||Path analysis (statistics)}}
* [[Баєсова ймовірність]]
* {{нп|Баєсова мережа змінного порядку|||Variable-order Bayesian network}}
* [[Баєсове висновування]]
* [[Баєсове програмування]]
* [[Вирівнювання послідовностей]]
* [[Глибока мережа переконань]]
* {{нп|Граф розкладу|||Factor graph}}
* [[Графова модель]]
* {{нп|Дерево Чоу — Лю|||Chow–Liu tree}}
* [[Динамічна баєсова мережа]]
* {{нп|Діаграма Вігмора|||Wigmore chart}}
* {{Нп|Діаграма впливу|||Influence diagram}}
* [[Ієрархічна часова пам'ять]]
* [[Джуда Перл]]
* [[Злиття давачів]]
* [[Машинне навчання]]
* {{нп|Моделювання структурними рівняннями|||Structural equation modeling}}
* [[Наївний баєсів класифікатор]]
* {{нп|Обчислювальна філогенетика|||Computational phylogenetics}}
* [[Обчислювальний інтелект]]
* {{нп|Полідерево|||Polytree}}
* {{нп|Поширення переконання|||Belief propagation}}
* {{нп|Причинно-петльова діаграма|||Causal loop diagram}}
* [[Розпізнавання мовлення]]
* [[Світогляд]]
* [[Система пам'яті—передбачування]]
* {{нп|Суб'єктивна логіка|||Subjective logic}}
* {{нп|Сумішева модель|||Mixture model}}
* [[Сумішевий розподіл]]
* [[Теорема Баєса]]
* {{нп|Теорія Демпстера — Шафера|||Dempster–Shafer theory}}&nbsp;— узагальнення теореми Баєса
* [[Фільтр Калмана]]
* [[Штучний інтелект]]
</div>

== Примітки ==
{{Reflist|30em}}

== Джерела ==
{{Refbegin|2}}
* {{cite encyclopedia |last= Ben-Gal |first= Irad |editor= Ruggeri, Fabrizio |editor2= Kennett, Ron S. |editor3= Faltin, Frederick W |encyclopedia= Encyclopedia of Statistics in Quality and Reliability |title= Encyclopedia of Statistics in Quality and Reliability |url= http://www.eng.tau.ac.il/~bengal/BN.pdf |format= PDF |year= 2007 |publisher= [[John Wiley & Sons]] |isbn= 978-0-470-01861-3 |doi= 10.1002/9780470061572.eqr089 |chapter= Bayesian Networks |accessdate= 9 грудня 2016 |archivedate= 23 листопада 2016 |archiveurl= https://web.archive.org/web/20161123041500/http://www.eng.tau.ac.il/~bengal/BN.pdf }} {{ref-en}}
* {{cite book |last1= Bertsch McGrayne|first1= Sharon |title= The Theory That Would not Die|publisher= [[Єльський університет|Yale]]  }} {{ref-en}}
* {{cite book|last1= Borgelt|first1= Christian|last2= Kruse|first2= Rudolf|author2-link= Рудольф Круз|title= Graphical Models: Methods for Data Analysis and Mining|url= http://fuzzy.cs.uni-magdeburg.de/books/gm/|date= March 2002|publisher= [[John Wiley & Sons|Wiley]]|location= [[Чичестер|Chichester, UK]]|isbn= 0-470-84337-3|accessdate= 13 листопада 2010|archive-date= 10 червня 2007|archive-url= https://web.archive.org/web/20070610055343/http://fuzzy.cs.uni-magdeburg.de/books/gm/}} {{ref-en}}
* {{cite encyclopedia |last= Borsuk |first= Mark Edward |editor= {{нп|Свен Ерік Йоргенсен|Jørgensen , Sven Erik||Sven Erik Jørgensen}} |editor2=Fath, Brian |encyclopedia= Encyclopedia of Ecology |title= Ecological informatics: Bayesian networks |year= 2008| publisher= Elsevier|isbn= 978-0-444-52033-3}} {{ref-en}}
* {{cite book |last1=Castillo|first1=Enrique|last2=Gutiérrez |first2=José Manuel |last3=Hadi  |first3=Ali S. |title= Expert Systems and Probabilistic Network Models |url=https://archive.org/details/expertsystemspro0000cast|series= Monographs in computer science |volume= |year= 1997 |publisher= [[Springer Science+Business Media|Springer-Verlag]]|location=New York |isbn= 0-387-94858-9|pages= [https://archive.org/details/expertsystemspro0000cast/page/481 481]–528 |chapter= Learning Bayesian Networks}} {{ref-en}}
* {{Cite journal |last = Comley |first = Joshua W. |author2 = Dowe, David L. |title = General Bayesian networks and asymmetric languages |url = http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html#ComleyDowe2003 |journal = Proceedings of the 2nd Hawaii International Conference on Statistics and Related Fields |location = [[Гаваї|Hawaii]] |date = June 2003 |accessdate = 13 листопада 2010 |archive-date = 4 серпня 2016 |archive-url = https://web.archive.org/web/20160804182249/http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html#ComleyDowe2003 }} {{ref-en}}
* {{Cite book | last = Comley | first = Joshua W. | author2 = Dowe, David L. | year = 2005 | chapter = Minimum Message Length and Generalized Bayesian Nets with Asymmetric Languages | chapter-url = http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html#ComleyDowe2005 | editor-last = Grünwald | editor-first = Peter D. | editor2-last = Myung | editor2-first = In Jae | editor3-last = Pitt | editor3-first = Mark A. | title = Advances in Minimum Description Length: Theory and Applications | series = Neural information processing series | publication-place = [[Кембридж (Массачусетс)|Cambridge, Massachusetts]] | publisher = Bradford Books ([[MIT Press]]) | publication-date = April 2005 | pages = 265–294 | isbn = 0-262-07262-9 | accessdate = 13 листопада 2010 | archive-date = 4 серпня 2016 | archive-url = https://web.archive.org/web/20160804182249/http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html#ComleyDowe2005 }} (Ця праця ставить [[Дерева рішень у машинному навчанні|дерева рішень]] у внутрішніх вузлах баєсових мереж із застосуванням [http://www.csse.monash.edu.au/~dld/MML.html мінімальної довжини повідомлень] {{Webarchive|url=https://web.archive.org/web/20060209113220/http://www.csse.monash.edu.au/~dld/MML.html |date=9 лютого 2006 }} ({{lang-en|[[Мінімальна довжина повідомлення|MML]]}}). Готову до друку кінцеву версію було представлено 15 жовтня 2003 року. Раніша версія: [http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html#ComleyDowe2003 Comley and Dowe (2003)] {{Webarchive|url=https://web.archive.org/web/20160804182249/http://www.csse.monash.edu.au/~dld/David.Dowe.publications.html#ComleyDowe2003 |date=4 серпня 2016 }}, [http://www.csse.monash.edu.au/~dld/Publications/2003/Comley+Dowe03_HICS2003_GeneralBayesianNetworksAsymmetricLanguages.pdf .pdf] {{Webarchive|url=https://web.archive.org/web/20060210161715/http://www.csse.monash.edu.au/~dld/Publications/2003/Comley+Dowe03_HICS2003_GeneralBayesianNetworksAsymmetricLanguages.pdf |date=10 лютого 2006 }}.) {{ref-en}}
<!-- шаблон цитування не працює для цього! -->
* {{Cite book | last = Darwiche|first=Adnan |title = Modeling and Reasoning with Bayesian Networks |url=http://www.cambridge.org/9780521884389 |publisher = [[Cambridge University Press]] |year = 2009 |isbn = 978-0521884389}} {{ref-en}}
* Dowe, David L. (2010). [http://www.csse.monash.edu.au/~dld/Publications/2010/Dowe2010_MML_HandbookPhilSci_Vol7_HandbookPhilStat_MML+hybridBayesianNetworkGraphicalModels+StatisticalConsistency+InvarianceAndUniqueness_pp901-982.pdf MML, hybrid Bayesian network graphical models, statistical consistency, invariance and uniqueness] {{Webarchive|url=https://web.archive.org/web/20160414142019/http://www.csse.monash.edu.au/~dld/Publications/2010/Dowe2010_MML_HandbookPhilSci_Vol7_HandbookPhilStat_MML+hybridBayesianNetworkGraphicalModels+StatisticalConsistency+InvarianceAndUniqueness_pp901-982.pdf |date=14 квітня 2016 }}, in Handbook of Philosophy of Science (Volume 7: Handbook of Philosophy of Statistics), Elsevier, [http://japan.elsevier.com/products/books/HPS.pdf] {{Webarchive|url=https://web.archive.org/web/20120425092954/http://japan.elsevier.com/products/books/HPS.pdf |date=25 квітня 2012 }} ISBN 978-0-444-51862-0, pp [http://www.csse.monash.edu.au/~dld/Publications/2010/Dowe2010_MML_HandbookPhilSci_Vol7_HandbookPhilStat_MML+hybridBayesianNetworkGraphicalModels+StatisticalConsistency+InvarianceAndUniqueness_pp901-982.pdf 901–982] {{Webarchive|url=https://web.archive.org/web/20160414142019/http://www.csse.monash.edu.au/~dld/Publications/2010/Dowe2010_MML_HandbookPhilSci_Vol7_HandbookPhilStat_MML+hybridBayesianNetworkGraphicalModels+StatisticalConsistency+InvarianceAndUniqueness_pp901-982.pdf |date=14 квітня 2016 }}. {{ref-en}}
* Fenton, Norman; Neil, Martin E. (November 2007). ''[https://web.archive.org/web/20080514044436/http://www.agenarisk.com/resources/apps_bayesian_networks.pdf Managing Risk in the Modern World: Applications of Bayesian Networks]''&nbsp;— A Knowledge Transfer Report from the London Mathematical Society and the Knowledge Transfer Network for Industrial Mathematics. [[London|London (England)]]: [[Лондонське математичне товариство|London Mathematical Society]]. {{ref-en}}
* {{cite news|first=Norman |last=Fenton |first2=Martin E. |last2=Neil |title=Combining evidence in risk analysis using Bayesian Networks |url=https://www.dcs.qmul.ac.uk/~norman/papers/Combining%20evidence%20in%20risk%20analysis%20using%20BNs.pdf |format=PDF |work=Safety Critical Systems Club Newsletter |volume=13 |issue=4 |location=[[Ньюкасл-апон-Тайн|Newcastle upon Tyne]], England |pages=8–13 |date=23 липня 2004 |deadurl=yes |archiveurl=https://web.archive.org/web/20070927153751/https://www.dcs.qmul.ac.uk/~norman/papers/Combining%20evidence%20in%20risk%20analysis%20using%20BNs.pdf |archivedate=2007-09-27 |df= }} {{ref-en}}
* {{cite book |author1=Andrew Gelman |author2=John B Carlin |author3=Hal S Stern |author4=Donald B Rubin |title=Bayesian Data Analysis |chapter=Part II: Fundamentals of Bayesian Data Analysis: Ch.5 Hierarchical models |chapterurl=https://books.google.com/books?id=TNYhnkXQSjAC&pg=PA120 |year=2003 |publisher=[[CRC Press]] |isbn=978-1-58488-388-3 |pages=120– |url=https://books.google.com/books?id=TNYhnkXQSjAC |accessdate=9 грудня 2016 |archive-date=7 лютого 2017 |archive-url=https://web.archive.org/web/20170207154858/https://books.google.com/books?id=TNYhnkXQSjAC }} {{ref-en}}
* {{Cite book | last = Heckerman | first = David | date = March 1, 1995 | contribution = Tutorial on Learning with Bayesian Networks | contribution-url = http://research.microsoft.com/research/pubs/view.aspx?msr_tr_id=MSR-TR-95-06 | editor-last = Jordan | editor-first = Michael Irwin | title = Learning in Graphical Models | series = Adaptive Computation and Machine Learning | publication-place = [[Кембридж (Массачусетс)|Cambridge, Massachusetts]] | publication-date = 1998 | publisher = [[MIT Press]] | pages = 301–354 | isbn = 0-262-60032-3 | accessdate = 13 листопада 2010 | archive-date = 19 липня 2006 | archive-url = https://web.archive.org/web/20060719171558/http://research.microsoft.com/research/pubs/view.aspx?msr_tr_id=MSR-TR-95-06 }}.
: Також з'являється як {{cite journal |date=March 1997|title= Bayesian Networks for Data Mining |journal= {{нп|Data Mining and Knowledge Discovery}}|volume= 1| issue= 1 |pages= 79–119 |doi= 10.1023/A:1009730122752 |last1= Heckerman |first1= David}}
: Раніша версія з'являється як, [[Microsoft Research]], March 1, 1995. Ця праця як про параметричне, так і про структурне навчання в баєсових мережах. {{ref-en}}
* {{Cite book| last=Jensen |first=Finn V| last2=Nielsen | first2 = Thomas D. | title = Bayesian Networks and Decision Graphs|edition=2nd |series=Information Science and Statistics series | publisher = [[Springer Science+Business Media|Springer-Verlag]] |location=[[New York City|New York]] | date = June 6, 2007| isbn=978-0-387-68281-5}} {{ref-en}}
* {{Cite journal | last = Karimi | first = Kamran | last2 = Hamilton | first2 = Howard J. | title = Finding temporal relations: Causal bayesian networks vs. C4. 5 | journal = Twelfth International Symposium on Methodologies for Intelligent Systems | date = 2000 | url = http://www.kamran-karimi.com/pubs/khISMIS2000.pdf | accessdate = 9 грудня 2016 | archive-date = 7 травня 2016 | archive-url = https://web.archive.org/web/20160507110817/http://www.kamran-karimi.com/pubs/khISMIS2000.pdf }} {{ref-en}}
* {{Cite book| last=Korb| first=Kevin B.|last2 = Nicholson|first2 = Ann E. | title = Bayesian Artificial Intelligence | edition = 2nd | publisher = [[Chapman & Hall]] ([[CRC Press]]) | date = December 2010 | isbn = 1-58488-387-1 | series=CRC Computer Science & Data Analysis | doi=10.1007/s10044-004-0214-5}} {{ref-en}}
* {{Cite journal | first = David|last = Lunn | first2 = David | last2 = Spiegelhalter |first3 = Andrew | last3 = Thomas | first4 = Nicky | last4 = Best |title=The BUGS project: Evolution, critique and future directions |journal=Statistics in Medicine |volume=28 |pmid=19630097 |issue=25 |pages=3049–3067 |doi=10.1002/sim.3680 |display-authors=etal | date=November 2009}} {{ref-en}}
* {{cite journal |last= Neil |first= Martin |last2= Fenton |first2= Norman E. |last3= Tailor |first3= Manesh |date= August 2005 |title= Using Bayesian Networks to Model Expected and Unexpected Operational Losses |editor= Greenberg, Michael R. |journal= {{нп|Risk Analysis|||Risk Analysis (journal)}} |volume= 25 |issue= 4 |pages= 963—972 |doi= 10.1111/j.1539-6924.2005.00641.x |url= http://www.dcs.qmul.ac.uk/~norman/papers/oprisk.pdf |format= pdf |pmid= 16268944 |accessdate= 13 листопада 2010 |archive-date= 27 вересня 2007 |archive-url= https://web.archive.org/web/20070927153747/http://www.dcs.qmul.ac.uk/~norman/papers/oprisk.pdf }} {{ref-en}}
* {{cite journal |last= Pearl|first= Judea |authorlink= Йуда Перл |date=September 1986|title= Fusion, propagation, and structuring in belief networks |journal= {{нп|Artificial Intelligence|||Artificial Intelligence (journal)}}|volume= 29 |issue= 3 |pages= 241—288 |doi= 10.1016/0004-3702(86)90072-X}} {{ref-en}}
* {{Cite book |last = Pearl |first = Judea |authorlink = Йуда Перл |title = Probabilistic Reasoning in Intelligent Systems: Networks of Plausible Inference |edition = 2nd printing |publisher = {{нп|Morgan Kaufmann}} |location = [[Сан-Франциско|San Francisco, California]] |year = 1988 |isbn = 0-934613-73-7 |series = Representation and Reasoning Series |url-access = registration |url = https://archive.org/details/probabilisticrea00pear }} {{ref-en}}
* {{Cite book|last=Pearl|first=Judea|authorlink=Йуда Перл |last2=Russell |first2=Stuart |authorlink2=Стюарт Расселл |contribution=Bayesian Networks |editor-last=Arbib |editor-first=Michael A.|editor-link=Майкл Арбіб |title=Handbook of Brain Theory and Neural Networks |pages=157–160 |publication-place=[[Кембридж (Массачусетс)|Cambridge, Massachusetts]]|date=November 2002| publisher = Bradford Books ([[MIT Press]]) | isbn=0-262-01197-2}} {{ref-en}}
* {{Russell Norvig 2003}}
* {{Cite journal|author=Zhang, Nevin Lianwen |author2 = Poole, David| title = A simple approach to Bayesian network computations |journal = Proceedings of the Tenth Biennial {{нпні|Canadian Conference on Artificial Intelligence|Canadian Artificial Intelligence Conference}} (AI-94).| location = [[Банфф (Альберта)|Banff, Alberta]] |date=May 1994| pages = 171—178}} This paper presents variable elimination for belief networks. {{ref-en}}
{{Refend}}

== Література ==
* ''Computational Intelligence: A Methodological Introduction'' by Kruse, Borgelt, Klawonn, Moewes, Steinbrecher, Held, 2013, Springer, ISBN 9781447150121 {{ref-en}}
* ''Graphical Models&nbsp;— Representations for Learning, Reasoning and Data Mining'', 2nd Edition, by Borgelt, Steinbrecher, Kruse, 2009, J. Wiley & Sons, ISBN 9780470749562 {{ref-en}}
* Bayesian Netwrks and BayesiaLab&nbsp;— A practical introduction for researchers by Stefan Conrady and Lionel Jouffe {{ref-en}}
* {{cite journal
 |title=Основні етапи побудови і приклади застосування мереж Байєса
 |first1=П.І.
 |last1=Бідюк
 |first2=Н.В.
 |last2=Кузнєцова
 |journal=Системні дослідження та інформаційні технології
 |publisher=[[ІПСА]]
 |place=Київ
 |year=2007
 |volume=4
 |issn=1681–6048
 |url=http://dspace.nbuv.gov.ua/xmlui/bitstream/handle/123456789/14077/03-Diduk.pdf?sequence=1
 |accessdate=30 березня 2015
 |archive-date=2 квітня 2015
 |archive-url=https://web.archive.org/web/20150402162736/http://dspace.nbuv.gov.ua/xmlui/bitstream/handle/123456789/14077/03-Diduk.pdf?sequence=1
 }}

== Посилання ==
* [https://web.archive.org/web/20060719171558/http://research.microsoft.com/research/pubs/view.aspx?msr_tr_id=MSR-TR-95-06 A tutorial on learning with Bayesian Networks] {{ref-en}}
* [http://www.niedermayer.ca/papers/bayesian/bayes.html An Introduction to Bayesian Networks and their Contemporary Applications] {{Webarchive|url=https://web.archive.org/web/20170521075321/http://www.niedermayer.ca/papers/bayesian/bayes.html |date=21 травня 2017 }} {{ref-en}}
* [http://www.dcs.qmw.ac.uk/%7Enorman/BBNs/BBNs.htm Інтернет-посібник з баєсових мереж та імовірності] {{Webarchive|url=https://web.archive.org/web/20090504220301/http://www.dcs.qmw.ac.uk/~norman/BBNs/BBNs.htm |date=4 травня 2009 }} {{ref-en}}
* [https://web.archive.org/web/20170601002137/http://princesofserendib.com/ Вебзастосунок для створення баєсових мереж та виконання їх методом Монте-Карло] {{ref-en}}
* [http://robotics.stanford.edu/~nodelman/papers/ctbn.pdf Continuous Time Bayesian Networks] {{Webarchive|url=https://web.archive.org/web/20181009114501/http://robotics.stanford.edu/~nodelman/papers/ctbn.pdf |date=9 жовтня 2018 }} {{ref-en}}
* [https://web.archive.org/web/20090923200511/http://wiki.syncleus.com/index.php/DANN:Bayesian_Network Баєсові мережі: пояснення та аналогія] {{ref-en}}
* [http://videolectures.net/kdd07_neapolitan_lbn/ Живий урок з навчання баєсовим мережам] {{Webarchive|url=https://web.archive.org/web/20210415003910/http://videolectures.net/kdd07_neapolitan_lbn/ |date=15 квітня 2021 }} {{ref-en}}
* [http://www.biomedcentral.com/1471-2105/7/514/abstract A hierarchical Bayes Model for handling sample heterogeneity in classification problems] {{Webarchive|url=https://web.archive.org/web/20150109031607/http://www.biomedcentral.com/1471-2105/7/514/abstract |date=9 січня 2015 }}, пропонує модель класифікації, яка враховує невизначеність, пов'язану з вимірюванням повторюваних зразків. {{ref-en}}
* [http://www.labmedinfo.org/download/lmi339.pdf Hierarchical Naive Bayes Model for handling sample uncertainty] {{Webarchive|url=https://web.archive.org/web/20070928081740/http://www.labmedinfo.org/download/lmi339.pdf |date=28 вересня 2007 }}, показує, як виконувати класифікацію та навчання з неперервними та дискретними змінними з повторюваними вимірюваннями. {{ref-en}}
* Сергей Николенко. Лекции [http://logic.pdmi.ras.ru/~sergey/teaching/ml/08-bbn.pdf №&nbsp;8] {{Webarchive|url=https://web.archive.org/web/20091229055343/http://logic.pdmi.ras.ru/~sergey/teaching/ml/08-bbn.pdf |date=29 грудня 2009 }}, [http://logic.pdmi.ras.ru/~sergey/teaching/ml/09-bbn2.pdf №&nbsp;9] {{Webarchive|url=https://web.archive.org/web/20150101185917/http://logic.pdmi.ras.ru/~sergey/teaching/ml/09-bbn2.pdf |date=1 січня 2015 }} и [http://logic.pdmi.ras.ru/~sergey/teaching/ml/10-bbnlearn.pdf №&nbsp;10] {{Webarchive|url=https://web.archive.org/web/20150101190001/http://logic.pdmi.ras.ru/~sergey/teaching/ml/10-bbnlearn.pdf |date=1 січня 2015 }}, посвященные байесовским сетям доверия. Курс [https://web.archive.org/web/20071016161230/http://www.csin.ru/courses/samoobuchayushchiesya-sistemy-i-nechetkaya-logika «Самообучающиеся системы»] {{ref-ru}}

[[Категорія:Баєсові мережі| ]]
[[Категорія:Мережі]]
[[Категорія:Статистичні моделі]]
[[Категорія:Графові моделі]]
[[Категорія:Машинне навчання]]