Перегляд вихідного коду сторінки Доречно-векторна машина

{{Машинне навчання|Кероване навчання}}

У [[Математика|математиці]], '''доре́чно-ве́кторна маши́на''' ('''ДВМ''', {{lang-en|Relevance Vector Machine, RVM}})&nbsp;— це методика [[Машинне навчання|машинного навчання]], яка використовує [[баєсове висновування]] для отримання [[Бритва Оккама|ощадливих]] розв'язків для [[Регресійний аналіз|регресії]] та [[Ймовірнісна класифікація|ймовірнісної класифікації]].<ref>{{cite journal |last=Tipping |first=Michael E. |title=Sparse Bayesian Learning and the Relevance Vector Machine |year=2001 |journal=[[Journal of Machine Learning Research]] |volume=1 |pages=211&ndash;244 |url=http://jmlr.csail.mit.edu/papers/v1/tipping01a.html |accessdate=31 жовтня 2016 |archive-date=19 лютого 2020 |archive-url=https://web.archive.org/web/20200219044718/http://jmlr.csail.mit.edu/papers/v1/tipping01a.html }} {{ref-en}}</ref> ДВМ має однаковий функційний вигляд з [[Опорно-векторна машина|опорно-векторною машиною]], але забезпечує ймовірнісну класифікацію.

Вона фактично рівнозначна моделі [[Ґаусів процес|ґаусового процесу]] з {{нп|Функція коваріації|функцією коваріації||Covariance function}}

: <math>k(\mathbf{x},\mathbf{x'}) = \sum_{j=1}^N \frac{1}{\alpha_j} \varphi(\mathbf{x},\mathbf{x}_j)\varphi(\mathbf{x}',\mathbf{x}_j) </math>

де <math>\varphi</math> є {{нп|Ядрова функція|ядровою функцією||Kernel function}} (зазвичай ґаусовою), <math>\alpha_j</math> є дисперсіями апріорних значень елементів вектора вагових коефіцієнтів <math>w \sim N(0,\alpha^{-1}I)</math>, а <math>\mathbf{x}_1,\ldots,\mathbf{x}_N</math> є вхідними векторами [[Тренувальний набір|тренувального набору]].<ref>{{cite thesis
|type=Ph.D.
|last=Candela
|first=Joaquin Quiñonero
|date=2004
|title=Learning with Uncertainty - Gaussian Processes and Relevance Vector Machines
|publisher=Technical University of Denmark
|url=http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3237/pdf/imm3237.pdf
|chapter=Sparse Probabilistic Linear Models and the RVM
|accessdate=22 квітня 2016
|archive-date=8 травня 2016
|archive-url=https://web.archive.org/web/20160508145950/http://www2.imm.dtu.dk/pubdb/views/edoc_download.php/3237/pdf/imm3237.pdf
}} {{ref-en}}</ref>

У порівнянні з [[Опорно-векторна машина|опорно-векторними машинами]] (ОВМ, {{lang-en|support vector machines, SVM}}), баєсове формулювання ДВМ уникає набору вільних параметрів, як в ОВМ (які зазвичай вимагають післяоптимізацій на основі перехресної перевірки). Проте ДВМ використовують метод навчання, подібний до [[Алгоритм очікування-максимізації|очікування-максимізації]], і відтак схильні до ризику локальних мінімумів. Це відрізняється від стандартних алгоритмів на основі [[Послідовна мінімальна оптимізація|послідовної мінімальної оптимізації]] (ПМО), що використовують [[Опорно-векторна машина|ОВМ]], які гарантують знаходження глобального оптимуму (для опуклої задачі).

Доречно-векторну машину {{нп|Патенти на програмне забезпечення відповідно до патентного законодавства США|запатентовано у США||Software patents under United States patent law}} компанією [[Microsoft]].<ref>{{cite patent
|country = US
|number = 6633857
|title = Relevance vector machine
|inventor = Michael E. Tipping
}} {{ref-en}}</ref>

== Див. також ==
* [[Ядровий трюк]]
* {{нп|Масштабування Платта|||Platt scaling}}: перетворює ОВМ на ймовірнісну модель

== Примітки ==
{{Примітки}}

== Програмне забезпечення ==
* [http://dlib.net dlib] {{Webarchive|url=https://web.archive.org/web/20200917123233/http://dlib.net/ |date=17 вересня 2020 }}, бібліотека для [[C++]]
* [http://www.terborg.net/research/kml/ The Kernel-Machine Library] {{Webarchive|url=https://web.archive.org/web/20200813210406/https://www.terborg.net/research/kml/ |date=13 серпня 2020 }}, бібліотека для C++
* [http://www.maths.bris.ac.uk/R/web/packages/rvmbinary/index.html rvmbinary] {{Webarchive|url=https://web.archive.org/web/20170318135815/http://www.maths.bris.ac.uk/R/web/packages/rvmbinary/index.html |date=18 березня 2017 }}, пакет [[R (мова програмування)|R]] для бінарної класифікації
* [https://github.com/JamesRitchie/scikit-rvm scikit-rvm] {{Webarchive|url=https://web.archive.org/web/20180611152836/https://github.com/JamesRitchie/scikit-rvm |date=11 червня 2018 }}
* [https://github.com/AmazaspShumik/sklearn-bayes/blob/master/skbayes/rvm_ard_models/fast_rvm.py fast-scikit-rvm] {{Webarchive|url=https://web.archive.org/web/20170301152402/https://github.com/AmazaspShumik/sklearn-bayes/blob/master/skbayes/rvm_ard_models/fast_rvm.py |date=1 березня 2017 }}, [https://github.com/AmazaspShumik/sklearn-bayes/blob/master/ipython_notebooks_tutorials/rvm_ard/rvm_demo.ipynb rvm tutorial] {{Webarchive|url=https://web.archive.org/web/20201218192654/https://github.com/AmazaspShumik/sklearn-bayes/blob/master/ipython_notebooks_tutorials/rvm_ard/rvm_demo.ipynb |date=18 грудня 2020 }}

== Посилання ==
* [http://www.relevancevector.com Сторінка Тіппінга про Розріджені баєсові моделі та ДВМ] {{Webarchive|url=https://web.archive.org/web/20080704175611/http://www.relevancevector.com/ |date=4 липня 2008 }} {{ref-en}}
* [https://web.archive.org/web/20111005202038/http://www.tristanfletcher.co.uk/RVM%20Explained.pdf Підручник з ДВМ від Тристана Флетчера] {{ref-en}}
* [https://github.com/AmazaspShumik/sklearn-bayes/blob/master/ipython_notebooks_tutorials/rvm_ard/rvm_demo.ipynb Прикладний посібник із ДВМ] {{Webarchive|url=https://web.archive.org/web/20201218192654/https://github.com/AmazaspShumik/sklearn-bayes/blob/master/ipython_notebooks_tutorials/rvm_ard/rvm_demo.ipynb |date=18 грудня 2020 }} {{ref-en}}
* [https://www.quora.com/Why-is-it-that-RVMs-are-not-as-popular-as-SVMs Порівняння ДВМ та ОВМ] {{ref-en}}

{{ШІ-доробити}}

[[Категорія:Алгоритми класифікації]]
[[Категорія:Ядрові методи для машинного навчання]]
[[Категорія:Непараметрична баєсова статистика]]