Перегляд вихідного коду сторінки Машинне навчання

{{Короткий опис|Вивчення алгоритмів, що автоматично вдосконалюються через досвід}}
{{Про|журнал|Machine Learning (академічний журнал)}}
{{redirect|Статистичне навчання|статистичне навчання в опановуванні мов|про статистичне навчання в лінгвістиці див.}}
{{Машинне навчання}}
{{Штучний інтелект (бічна панель)|Головні цілі}}

'''Маши́нне навча́ння''' ('''МН''', {{lang-en|machine learning, ML}})&nbsp;— це [[галузь досліджень]] [[Штучний інтелект|штучного інтелекту]], зосереджена на розробці та вивченні {{нп|Обчислювальна статистика|статистичних алгоритмів||Computational statistics}}, здатних навчатися з даних і [[Узагальнення|узагальнюватися]] на небачені дані, й відтак виконувати завдання без явних інструкцій.{{refn|Визначення «без явного програмування» часто приписують [[Артур Семюель|Артурові Семюелю]], який придумав термін «машинне навчання» 1959 року, але цю фразу не знайдено дослівно в тій публікації, й вона може бути [[парафраз]]ою, що з'явилася пізніше. Див. «Парафразуючи Артура Семюеля (1959), питання таке: Як комп'ютери можуть навчатися розв'язувати задачі без явного програмування?» у {{Cite conference |chapter=Automated Design of Both the Topology and Sizing of Analog Electrical Circuits Using Genetic Programming |conference=Artificial Intelligence in Design '96 |last1=Koza |first1=John R. |last2=Bennett |first2=Forrest H. |last3=Andre |first3=David |last4=Keane |first4=Martin A. |title=Artificial Intelligence in Design '96 |date=1996 |publisher=Springer, Dordrecht |pages=151–170 |language=en |doi=10.1007/978-94-009-0279-4_9 |isbn=978-94-010-6610-5 }}}} Породжувальні [[Штучна нейронна мережа|штучні нейронні мережі]] нещодавно змогли перевершити за продуктивністю багато попередніх підходів.<ref name="ibm">{{Cite web |title=What is Machine Learning? |url=https://www.ibm.com/topics/machine-learning |access-date=2023-06-27 |website=IBM |language=en-us}}</ref><ref name=":6">{{Cite web |last=Zhou |first=Victor |date=2019-12-20 |title=Machine Learning for Beginners: An Introduction to Neural Networks |url=https://towardsdatascience.com/machine-learning-for-beginners-an-introduction-to-neural-networks-d49f22d238f9 |url-status=live |access-date=2021-08-15 |website=Medium |language=en |archive-date=2022-03-09 |archive-url=https://web.archive.org/web/20220309053518/https://towardsdatascience.com/machine-learning-for-beginners-an-introduction-to-neural-networks-d49f22d238f9 }}</ref>

Підходи машинного навчання застосовували до багатьох галузей, серед яких [[великі мовні моделі]], [[комп'ютерне бачення]], [[розпізнавання мовлення]], [[фільтрування електронної пошти]], [[сільське господарство]] та медицина, де розробка алгоритмів для виконання необхідних завдань була би занадто витратною.<ref name="tvt">{{Cite journal |last1=Hu |first1=Junyan |last2=Niu |first2=Hanlin |last3=Carrasco |first3=Joaquin |last4=Lennox |first4=Barry |last5=Arvin |first5=Farshad |date=2020 |title=Voronoi-Based Multi-Robot Autonomous Exploration in Unknown Environments via Deep Reinforcement Learning |journal=IEEE Transactions on Vehicular Technology |volume=69 |issue=12 |pages=14413–14423 |doi=10.1109/tvt.2020.3034800 |s2cid=228989788 |issn=0018-9545 |doi-access=free |language=en }}</ref><ref name=":7">{{cite journal |last1=Yoosefzadeh-Najafabadi|first1=Mohsen |last2=Hugh |first2=Earl |last3=Tulpan |first3=Dan |last4=Sulik |first4=John |last5=Eskandari |first5=Milad |title=Application of Machine Learning Algorithms in Plant Breeding: Predicting Yield From Hyperspectral Reflectance in Soybean? |journal=Front. Plant Sci. |volume=11 |year=2021 |pages=624273|doi=10.3389/fpls.2020.624273 |pmid=33510761 |pmc=7835636 |doi-access=free |language=en }}</ref> МН відоме у своєму застосуванні в комерційних задачах під назвою «{{нп|передбачувальна аналітика|||Predictive analytics}}». Хоч і не все машинне навчання ґрунтується на статистиці, {{нп|обчислювальна статистика|||Computational statistics}} є важливим джерелом методів цієї галузі.

Математичні основи МН забезпечують методи [[Оптимізація (математика)|математичної оптимізації]] (математичного програмування). [[Добування даних]] ({{lang-en|data mining}})&nbsp;— це пов'язане (паралельне) поле досліджень, зосереджене на [[Розвідувальний аналіз даних|розвідувальному аналізі даних]] через [[некероване навчання]].{{refn|Машинне навчання та розпізнавання системи ({{lang-en|pattern recognition}}) «можна розглядати як дві грані одного поля.»<ref name="bishop2006" />{{rp|vii}}}}<ref name=":9">{{cite journal |last=Friedman |first=Jerome H. |author-link = Джером Гарольд Фрідман|title=Data Mining and Statistics: What's the connection? |journal=Computing Science and Statistics |volume=29 |issue=1 |year=1998 |pages=3–9 |language=en}}</ref> З точки зору теорії, систему для опису машинного навчання забезпечує [[імовірно приблизно коректне навчання]].

== Історія та зв'язки з іншими галузями ==
{{See also|Хронологія розвитку машинного навчання}}

Термін ''«машинне навчання»'' ({{lang-en|machine learning}}) запровадив 1959 року [[Артур Семюель]], працівник ''[[IBM]]'' та піонер у галузі [[Гра для персонального комп'ютера|комп'ютерних ігор]] та [[Штучний інтелект|штучного інтелекту]].<ref name="Samuel">{{Cite journal|last=Samuel|first=Arthur|date=1959|title=Some Studies in Machine Learning Using the Game of Checkers|url=https://archive.org/details/sim_ibm-journal-of-research-and-development_1959-07_3_3/page/210|journal=IBM Journal of Research and Development|volume=3|issue=3|pages=210–229|doi=10.1147/rd.33.0210|citeseerx=10.1.1.368.2254|s2cid=2126705|language=en }}</ref><ref name=":8">R. Kohavi and F. Provost, "Glossary of terms", Machine Learning, vol. 30, no. 2–3, pp. 271–274, 1998. {{ref-en}}</ref> В цей період також використовували й синонім ''самонавчальні комп'ютери'' ({{lang-en|self-teaching computers}}).<ref name="cyberthreat">{{cite news |last1=Gerovitch |first1=Slava |title=How the Computer Got Its Revenge on the Soviet Union |url=https://nautil.us/issue/23/dominoes/how-the-computer-got-its-revenge-on-the-soviet-union |access-date=19 вересня 2021 |work=Nautilus |date=9 квітня 2015 |archive-date=22 вересня 2021 |archive-url=https://web.archive.org/web/20210922175839/https://nautil.us/issue/23/Dominoes/how-the-computer-got-its-revenge-on-the-soviet-union |url-status=dead |language=en }}</ref><ref>{{cite journal |last1=Lindsay |first1=Richard P. |title=The Impact of Automation On Public Administration |journal=Western Political Quarterly |date=1 вересня 1964 |volume=17 |issue=3 |pages=78–81 |doi=10.1177/106591296401700364 |s2cid=154021253 |url=https://journals.sagepub.com/doi/10.1177/106591296401700364 |access-date=6 жовтня 2021 |language=en |issn=0043-4078 |archive-date=6 жовтня 2021 |archive-url=https://web.archive.org/web/20211006190841/https://journals.sagepub.com/doi/10.1177/106591296401700364 |url-status=live }}</ref>

Хоч найранішу модель машинного навчання й представили в 1950-х роках, коли [[Артур Семюель]] винайшов програму, що обчислювала шанси на перемогу в шашках для кожної зі сторін, історія машинного навчання сягає десятиліть людського бажання й зусиль досліджувати людські когнітивні процеси.<ref name=":02">{{Cite web |title=History and Evolution of Machine Learning: A Timeline |url=https://www.techtarget.com/whatis/A-Timeline-of-Machine-Learning-History |access-date=2023-12-08 |website=WhatIs |language=en}}</ref> 1949 року канадський психолог [[Дональд Гебб]] опублікував книгу «{{нп|Організація поведінки|||Organization of Behavior}}», в якій він запропонував [[Геббова теорія|теоретичну нейронну структуру]], утворювану певними взаємодіями [[нейрон]]ів.<ref>{{Cite journal |last=Milner |first=Peter M. |date=1993 |title=The Mind and Donald O. Hebb |url=https://www.jstor.org/stable/24941344 |journal=Scientific American |language=en |volume=268 |issue=1 |pages=124–129 |doi=10.1038/scientificamerican0193-124 |jstor=24941344 |pmid=8418480 |bibcode=1993SciAm.268a.124M |issn=0036-8733}}</ref> Геббова модель взаємодії нейронів між собою заклала основу того, як працюють алгоритми ШІ та машинного навчання на рівні вузлів, або штучних нейронів, які комп'ютери використовують для передавання даних.<ref name=":02" /> Інші дослідники, які досліджували людські когнітивні системи, також зробили свій внесок до сучасних технологій машинного навчання, серед них логік {{нп|Волтер Піттс|||Walter Pitts}} та [[Воррен Маккалох]], які запропонували ранні математичні моделі нейронних мереж для розробки алгоритмів, що імітують процеси людського мислення.<ref name=":02" />

На початку 1960-х років компанія ''[[Raytheon]]'' розробила експериментальну «самонавчальну машину» ({{lang-en|"learning machine"}}) з пам'яттю на [[Перфострічка|перфострічці]] під назвою «Кібертрон» ({{lang-en|Cybertron}}) для аналізу [[Гідролокатор|гідроакустичних]] сигналів, електрокардіограм та зразків мовлення за допомогою зародкового [[навчання з підкріпленням]]. Людина-оператор/вчитель циклічно «тренувала» її розпізнавати закономірності за допомогою кнопки [[Ляп|«ляп»]] ({{lang-en|"goof"}}), щоби змушувати переоцінювати неправильні рішення.<ref>"Science: The Goof Button", [[Time (magazine)]], 18 August 1961. {{ref-en}}</ref> Репрезентативною книгою про дослідження машинного навчання в 1960-х роках була книга Нільссона про самонавчальні машини, присвячена переважно машинному навчанню для класифікування образів.<ref>Nilsson N. Learning Machines, McGraw Hill, 1965. {{ref-en}}</ref> Зацікавлення, пов'язане з розпізнаванням образів, тривало і в 1970-х роках, як описано Дудою та Гартом 1973 року.<ref>Duda, R., Hart P. Pattern Recognition and Scene Analysis, Wiley Interscience, 1973 {{ref-en}}</ref> 1981 року було зроблено доповідь про використання стратегій навчання, щоби [[Штучна нейронна мережа|нейронна мережа]] навчилася розпізнавати 40 символів (26 літер, 10 цифр та 4 спеціальні символи) з комп'ютерного терміналу.<ref>S. Bozinovski "Teaching space: A representation concept for adaptive pattern classification" COINS Technical Report No. 81-28, Computer and Information Science Department, University of Massachusetts at Amherst, MA, 1981. https://web.cs.umass.edu/publication/docs/1981/UM-CS-1981-028.pdf {{Webarchive|url=https://web.archive.org/web/20210225070218/https://web.cs.umass.edu/publication/docs/1981/UM-CS-1981-028.pdf |date=2021-02-25 }} {{ref-en}}</ref>

[[Том Мітчелл]] надав широко цитоване, формальніше визначення алгоритмів, досліджуваних у галузі машинного навчання: «Кажуть, що комп'ютерна програма вчиться з досвіду ''E'' щодо деякого класу завдань ''T'' та міри продуктивності ''P'', якщо її продуктивність у завданнях з ''T'', вимірювана ''P'', покращується з досвідом ''E.''»<ref name="Mitchell-1997">{{cite book
|author=Mitchell, T. 
|title=Machine Learning
|url=https://archive.org/details/machinelearning0000mitc
|publisher=McGraw Hill
|isbn= 978-0-07-042807-2
|pages=[https://archive.org/details/machinelearning0000mitc/page/2 2]
|year=1997
|language=en}}</ref> Це визначення завдань, що стосуються машинного навчання, пропонує принципово [[операційне визначення]], замість визначання цієї галузі в когнітивних термінах. Це відповідає пропозиції [[Алан Тюрінг|Алана Тюрінга]] в його статті «{{нп|Обчислювальні машини та розум|||Computing Machinery and Intelligence}}», в якій питання «Чи можуть машини мислити?» замінюється запитанням «Чи можуть машини робити те, що можемо робити ми (як мислячі істоти)?».<ref>{{Citation |chapter-url=http://eprints.ecs.soton.ac.uk/12954/ |first=Stevan |last=Harnad |author-link=Стеван Гарнад |year=2008 |chapter=The Annotation Game: On Turing (1950) on Computing, Machinery, and Intelligence |editor1-last=Epstein |editor1-first=Robert |editor2-last=Peters |editor2-first=Grace |title=The Turing Test Sourcebook: Philosophical and Methodological Issues in the Quest for the Thinking Computer |pages=23–66 |publisher=Kluwer |isbn=9781402067082 |access-date=2012-12-11 |archive-date=2012-03-09 |archive-url=https://web.archive.org/web/20120309113922/http://eprints.ecs.soton.ac.uk/12954/ |language=en}}</ref>

Сучасне машинне навчання має дві мети: одна&nbsp;— класифікувати дані на основі розроблених моделей, інша&nbsp;— передбачувати майбутні результати на основі цих моделей. Гіпотетичний алгоритм для класифікування даних може використовувати бачення комп'ютером родимок у поєднанні з керованим навчанням, щоби навчити його класифікувати ракові родимки. Алгоритм машинного навчання для біржової торгівлі може інформувати трейдера про майбутні потенційні прогнози.<ref>{{Cite web|date=2020-12-08|title=Introduction to AI Part 1|url=https://edzion.com/2020/12/09/introduction-to-ai-part-1/|access-date=2020-12-09|website=Edzion|language=en|archive-date=2021-02-18|archive-url=https://web.archive.org/web/20210218005157/https://edzion.com/2020/12/09/introduction-to-ai-part-1/|url-status=live}}</ref>

=== Штучний інтелект ===
[[Файл:AI_hierarchy.svg|lang=uk|міні|Машинне навчання як підгалузь ШІ<ref name="journalimcms.org">{{cite journal |vauthors=Sindhu V, Nivedha S, Prakash M |date=February 2020|title=An Empirical Science Research on Bioinformatics in Machine Learning |journal=Journal of Mechanics of Continua and Mathematical Sciences |issue=7 |doi=10.26782/jmcms.spl.7/2020.02.00006 |doi-access=free |language=en}}</ref>]]

Як науковий напрям, машинне навчання виросло з пошуків [[Штучний інтелект|штучного інтелекту]] (ШІ, {{lang-en|artificial intelligence, AI}}). В часи юності ШІ як [[Навчальна дисципліна|академічної дисципліни]] деякі дослідники були зацікавлені в тому, щоби машини навчалися з даних. Вони намагалися підійти до цієї задачі різними символьними методами, а також тим, що згодом назвали [[Штучна нейронна мережа|«нейронними мережами»]],&nbsp;— це були здебільшого [[перцептрон]]и та [[ADALINE|інші моделі]], які пізніше виявилися перевинаходами {{нп|Узагальнена лінійна модель|узагальнених лінійних моделей||Generalized linear model}} статистики.<ref>{{cite book |last1=Sarle |first1=Warren S.|chapter=Neural Networks and statistical models |pages=[https://archive.org/details/sugi19proceeding0000sasi/page/1538 1538]–50 |year=1994 |title=SUGI 19: proceedings of the Nineteenth Annual SAS Users Group International Conference |url=https://archive.org/details/sugi19proceeding0000sasi |publisher=SAS Institute |isbn=9781555446116 |oclc=35546178 |language=en}}</ref> Застосовували також і [[ймовірнісне міркування]], особливо в {{нп|Автоматизоване медичне діагностування|автоматизованому медичному діагностуванні||Automated medical diagnosis}}.<ref name="aima">{{cite AIMA|edition=2}}</ref>{{rp|488}}

Проте посилення акценту на {{нп|Символьний ШІ|логічному підході, що ґрунтується на знаннях||Symbolic AI}}, спричинило розрив між ШІ та машинним навчанням. Імовірнісні системи страждали на теоретичні та практичні проблеми збирання та подання даних.<ref name="aima" />{{rp|488}} Близько 1980 року прийшли [[Експертна система|експертні системи]], щоби домінувати над ШІ, а статистика була в немилості.<ref name="changing">{{Cite journal | last1 = Langley | first1 = Pat| title = The changing science of machine learning | doi = 10.1007/s10994-011-5242-y | journal = [[Machine Learning (журнал)|Machine Learning]]| volume = 82 | issue = 3 | pages = 275–9 | year = 2011 | doi-access = free | language = en }}</ref> Робота над навчанням на основі символів/знань таки продовжувалася в межах ШІ, ведучи до {{нп|Індуктивне логічне програмування|індуктивного логічного програмування||Inductive logic programming}}, але статистичніший напрямок досліджень був тепер за межами області власне ШІ, у [[Теорія розпізнавання образів|розпізнаванні образів]] та [[Інформаційний пошук|інформаційному пошуку]].<ref name="aima" />{{rp|708–710; 755}} Приблизно в цей же час ШІ та [[Інформатика|інформатикою]] було облишено дослідження нейронних мереж. Цей напрямок також було продовжено за межами області ШІ/інформатики, як «[[конекціонізм]]», дослідниками з інших дисциплін, включно з [[Джон Гопфілд|Гопфілдом]], [[Девід Румельхарт|Румельхартом]] та [[Джефрі Гінтон|Гінтоном]]. Їхній головний успіх прийшов у середині 1980-х років із повторним винайденням [[Зворотне поширення|зворотного поширення]].<ref name="aima" />{{rp|25}}

Машинне навчання (МН), реорганізоване та визнане як окрема галузь, почало процвітати в 1990-х роках. Ця галузь змінила свою мету з досягнення штучного інтелекту на розв'язання розв'язних задач практичного характеру. Вона змістила фокус із {{нп|Символьний штучний інтелект|символьних підходів||Symbolic artificial intelligence}}, успадкованих нею від ШІ, в бік методів та моделей, запозичених зі статистики, [[Нечітка логіка|нечіткої логіки]] та [[Теорія ймовірностей|теорії ймовірностей]].<ref name="changing" />

=== Добування даних ===

Машинне навчання та [[Добування даних|добування (розро́блення) даних]] часто використовують одні й ті ж методи, і значно перекриваються, але в той час як машинне навчання зосереджується на передбачуванні на основі ''відомих'' властивостей, вивчених із тренувальних даних, [[Добування даних|добування (розро́блення) даних]] зосереджується на [[Наукове відкриття|відкриванні]] ''невідомих'' (раніше) властивостей в даних (це крок аналізу [[відкривання знань]] у базах даних). [[Добування даних]] використовує багато методів машинного навчання, але з іншими цілями; з іншого боку, машинне навчання також використовує методи добування даних як «[[некероване навчання]]» або як крок попередньої обробки для покращення точності механізму навчання. Велика частина плутанини між цими двома дослідницькими спільнотами (які часто мають окремі конференції та окремі журнали, з ''{{нп|ECML PKDD}}'' як основним винятком) виходить з основних припущень, з якими вони працюють: у машинному навчанні продуктивність зазвичай оцінюють з огляду на здатність ''відтворювати відомі'' знання, тоді як у відкриванні знань та добуванні даних ({{lang-en|knowledge discovery and data mining, KDD}}) ключовим завданням є відкриття раніше ''невідомих'' знань. При оцінюванні відносно відомих знань неінформований (некерований) метод легко програватиме іншим керованим методам, тоді як у типовому завданні ''KDD'' використовувати керовані методи неможливо через відсутність тренувальних даних.

Машинне навчання також має тісні зв'язки з [[Оптимізація (математика)|оптимізацією]]: багато задач навчання формулюють як мінімізацію деякої [[Функція втрат|функції втрат]] на тренувальному наборі прикладів. Функції втрат виражають розбіжність між передбаченнями тренованої моделі та дійсними примірниками задачі (наприклад, у класифікуванні потрібно призначувати мітки зразкам, і моделі тренуються правильно передбачувати попередньо призначені мітки набору прикладів).<ref>{{cite encyclopedia |last1=Le Roux |first1=Nicolas |first2=Yoshua |last2=Bengio |first3=Andrew |last3=Fitzgibbon |title=Improving First and Second-Order Methods by Modeling Uncertainty |encyclopedia=Optimization for Machine Learning |year=2012 |page=404 |editor1-last=Sra |editor1-first=Suvrit |editor2-first=Sebastian |editor2-last=Nowozin |editor3-first=Stephen J. |editor3-last=Wright |publisher=MIT Press |url=https://books.google.com/books?id=JPQx7s2L1A8C&q=%22Improving+First+and+Second-Order+Methods+by+Modeling+Uncertainty&pg=PA403 |isbn=9780262016469 |access-date=2020-11-12 |archive-date=2023-01-17 |archive-url=https://web.archive.org/web/20230117053335/https://books.google.com/books?id=JPQx7s2L1A8C&q=%22Improving+First+and+Second-Order+Methods+by+Modeling+Uncertainty&pg=PA403 |url-status=live |language=en}}</ref>

=== Узагальнювання ===

Відмінність між оптимізацією та машинним навчанням постає через мету {{нп|Узагальнювання (навчання)|узагальнювання||Generalization (learning)}}: в той час як алгоритми оптимізації можуть мінімізувати втрати на тренувальному наборі, машинне навчання займається мінімізуванням втрат на небачених зразках. Характеризування узагальнювання різних алгоритмів навчання це активна тема поточних досліджень, особливо для алгоритмів [[Глибоке навчання|глибокого навчання]].

=== Статистика ===

Машинне навчання та [[статистика]]&nbsp;— це тісно пов'язані галузі з погляду методів, але відмінні у своїй головній меті: статистика робить [[Статистичне висновування|висновки]] про [[Загальна сукупність|загальну сукупність]] із [[Відбір вибірки (статистика)|вибірки]], тоді як машинне навчання знаходить узагальнювальні передбачувальні схеми.<ref>{{cite journal |first1=Danilo |last1=Bzdok |first2=Naomi |last2=Altman |author-link2=Наомі Альтман |first3=Martin |last3=Krzywinski |title=Statistics versus Machine Learning |journal=[[Nature Methods]] |volume=15 |issue=4 |pages=233–234 |year=2018 |doi=10.1038/nmeth.4642 |pmid=30100822 |pmc=6082636 |language=en }}</ref> За словами {{нп|Майкл І. Джордан|Майкла І. Джордана||Michael I. Jordan}}, ідеї машинного навчання, від методологічних принципів до теоретичних інструментів, мали довгу передісторію в статистиці.<ref name="mi jordan ama">{{cite web|url=https://www.reddit.com/r/MachineLearning/comments/2fxi6v/ama_michael_i_jordan/ckelmtt?context=3|title=statistics and machine learning|publisher=reddit|date=2014-09-10|access-date=2014-10-01|author=Michael I. Jordan|author-link=Майкл І. Джордан|archive-date=2017-10-18|archive-url=https://web.archive.org/web/20171018192328/https://www.reddit.com/r/MachineLearning/comments/2fxi6v/ama_michael_i_jordan/ckelmtt/?context=3|url-status=live|language=en}}</ref> Він також запропонував для позначення всеосяжної галузі термін [[Наука про дані|«наука про дані»]] ({{lang-en|data science}}).<ref name="mi jordan ama" />

Традиційний статистичний аналіз вимагає апріорного вибору моделі, яка найбільше підходить для набору даних дослідження. Крім того, до аналізу залучають лише суттєві та теоретично доречні змінні на основі попереднього досвіду. Машинне навчання, навпаки, не будується на попередньо структурованій моделі; скоріше, це дані формують модель, виявляючи закономірності, що лежать у їхній основі. Що більше змінних (входів) використовують для тренування моделі, то точнішою буде остаточна модель.<ref>Hung et al. Algorithms to Measure Surgeon Performance and Anticipate Clinical Outcomes in Robotic Surgery. JAMA Surg. 2018 {{ref-en}}</ref>

{{нп|Лео Брейман|||Leo Breiman}} виділив дві парадигми статистичного моделювання: модель даних, та алгоритмічну модель,<ref name=":4">{{cite journal|url=http://projecteuclid.org/download/pdf_1/euclid.ss/1009213726|title=Breiman: Statistical Modeling: The Two Cultures (with comments and a rejoinder by the author)|author=Cornell University Library|journal=Statistical Science|date=August 2001|volume=16|issue=3|doi=10.1214/ss/1009213726|s2cid=62729017|access-date=8 серпня 2015|archive-date=26 червня 2017|archive-url=https://web.archive.org/web/20170626042637/http://projecteuclid.org/download/pdf_1/euclid.ss/1009213726|url-status=live|doi-access=free|language=en}}</ref> де «алгоритмічна модель» ({{lang-en|"algorithmic model"}}) означає більш-менш алгоритми машинного навчання, такі як [[випадковий ліс]].

Деякі фахівці зі статистики перейняли методи з машинного навчання, що призвело до об'єднаної області, яку вони називають ''статистичним навчанням'' ({{lang-en|statistical learning}}).<ref name="islr">{{cite book |author1=Gareth James |author2=Daniela Witten |author3=Trevor Hastie |author4=Robert Tibshirani |title=An Introduction to Statistical Learning |publisher=Springer |year=2013 |url=http://www-bcf.usc.edu/~gareth/ISL/ |page=vii |access-date=2014-10-25 |archive-date=2019-06-23 |archive-url=https://web.archive.org/web/20190623150237/http://www-bcf.usc.edu/~gareth/ISL/ |url-status=live |language=en }}</ref>

=== Статистична фізика ===

Аналітичні та обчислювальні методики, що походять з глибоко вкоріненої фізики невпорядкованих систем, можливо поширювати на великомасштабні задачі, включно з машинним навчанням, наприклад, для аналізу простору ваг [[Глибока нейронна мережа|глибоких нейронних мереж]].<ref name=SP_1>{{cite journal| author1=Ramezanpour, A.| author2=Beam, A.L.| author3=Chen, J.H.| author4=Mashaghi, A.| title=Statistical Physics for Medical Diagnostics: Learning, Inference, and Optimization Algorithms| journal=Diagnostics| language=en| date=17 листопада 2020| volume=10| issue=11| page=972| doi=10.3390/diagnostics10110972| doi-access=free| pmid=33228143| pmc=7699346}}</ref> Статистична фізика відтак знаходить застосування в галузі [[Медична діагностика|медичної діагностики]].<ref name=SP_2>{{cite journal| title=Statistical physics of medical diagnostics: Study of a probabilistic model| author1=Mashaghi, A.| author2=Ramezanpour, A. | journal=[[Physical Review E]]| language=en| volume=97| date=16 March 2018| issue=3–1| page=032118| doi=10.1103/PhysRevE.97.032118| pmid=29776109| arxiv=1803.10019| bibcode=2018PhRvE..97c2118M| s2cid=4955393}}</ref>

== {{якірець|Узагальнення}}Теорія ==
{{Main|{{нп|Теорія обчислювального навчання|||Computational learning theory}}|Теорія статистичного навчання}}

Центральна мета системи, яка навчається,&nbsp;— це робити узагальнення зі свого досвіду.<ref name="bishop2006">{{citation|first= C. M. |last= Bishop |author-link=Крістофер Бішоп |year=2006 |title=Pattern Recognition and Machine Learning |publisher=Springer |isbn=978-0-387-31073-2 |language=en}}</ref><ref name=":5">{{Cite Mehryar Afshin Ameet 2012}}</ref> Узагальнення в цьому контексті&nbsp;— це здатність машини, що вчиться, працювати точно на нових, небачених прикладах/завданнях після отримання досвіду навчального набору даних. Тренувальні приклади походять з якогось загалом невідомого розподілу ймовірності (який вважають представницьким для простору випадків), і система, що вчиться, має побудувати загальну модель цього простору, яка дозволяє їй виробляти достатньо точні передбачення в нових випадках.

Обчислювальний аналіз алгоритмів машинного навчання та їхньої продуктивності&nbsp;— це розділ [[Теоретична інформатика|теоретичної інформатики]], знаний як {{нп|теорія обчислювального навчання|||Computational learning theory}} через модель [[Імовірно приблизно коректне навчання|імовірно приблизно коректного навчання]] ({{lang-en|Probably Approximately Correct Learning, PAC}}). Оскільки тренувальні набори скінченні, а майбутнє непевне, теорія навчання зазвичай не дає гарантій продуктивності алгоритмів. Натомість доволі поширені ймовірнісні рамки продуктивності. Одним зі способів кількісного оцінювання [[Похибки та залишки|похибки]] узагальнювання є [[розклад на зміщення та дисперсію]] ({{lang-en|bias–variance decomposition}}).

Для найкращої продуктивності в контексті узагальнювання складність гіпотези повинна відповідати складності функції, що лежить в основі даних. Якщо гіпотеза менш складна, ніж ця функція, то модель недостатньо допасувалася до даних. Якщо у відповідь складність моделі підвищувати, то похибка тренування знижуватиметься. Але якщо гіпотеза занадто складна, то модель піддається [[Перенавчання|перенавчанню]], й узагальнення буде гіршим.<ref name="alpaydin">{{Cite book |author=Alpaydin, Ethem |title=Introduction to Machine Learning |url=https://archive.org/details/introductiontoma00alpa_0 |year=2010 |publisher=The MIT Press |place=London |isbn=978-0-262-01243-0 |access-date=4 лютого 2017 |url-access=registration |language=en }}</ref>

На додачу до рамок продуктивності, теоретики навчання досліджують часову складність та здійсненність навчання. В теорії обчислювального навчання обчислення вважають здійсненним, якщо його можливо виконати за [[Часова складність|поліноміальний час]]. Існує два види результатів [[Часова складність|часової складності]]: Позитивні результати показують, що певного класу функцій може бути навчено за поліноміальний час. Негативні результати показують, що певних класів за поліноміальний час навчено бути не може.

== Підходи ==

{{якірець|Типи алгоритмів}}
Підходи машинного навчання традиційно поділяють на три великі категорії, які відповідають парадигмам навчання, залежно від природи «сигналу» або «зворотного зв'язку», доступного системі навчання:

* [[Кероване навчання]]<ref name="Синєглазов2022" /><ref name="Дуда2018" /><ref name="Копивницька2023" /> ({{lang-en|supervised learning}}): комп'ютер знайомлять зі зразками входів та їхніх бажаних виходів, наданих «вчителем», а метою є навчитися загального правила, яке {{нп|Відображення (математика)|відображує||Map (mathematics)}} входи на виходи.
* [[Некероване навчання]]<ref name="Синєглазов2022" /><ref name="Дуда2018" /><ref name="В'юненко2021" /><ref name="Копивницька2023" /> ({{lang-en|unsupervised learning}}): алгоритмові навчання не надають міток, залишаючи йому самостійно знаходити структуру у вході. Некероване навчання може бути метою саме по собі (виявляння прихованих закономірностей у даних), або засобом досягнення мети ([[навчання ознак]]).
* [[Навчання з підкріпленням]]<ref name="Хорошилов2019" /> ({{lang-en|reinforcement learning}}): комп'ютерна програма взаємодіє з динамічним середовищем, у якому вона мусить виконувати певну мету (наприклад, [[Самокерований автомобіль|керувати транспортним засобом]] або грати у гру проти суперника). З переміщенням у просторі задачі, програмі надають зворотний зв'язок, аналогічний винагородам, які вона намагається максимізувати.<ref name="bishop2006" />

Хоча переваги й обмеження має кожен з алгоритмів, жоден алгоритм не працює для всіх задач.<ref>{{cite journal |last1=Jordan |first1=M. I. |last2=Mitchell |first2=T. M. |title=Machine learning: Trends, perspectives, and prospects |journal=Science |date=17 липня 2015 |volume=349 |issue=6245 |pages=255–260 |doi=10.1126/science.aaa8415|pmid=26185243 |bibcode=2015Sci...349..255J |s2cid=677218 |language=en }}</ref><ref>{{cite book |last1=El Naqa |first1=Issam |last2=Murphy |first2=Martin J. |title=Machine Learning in Radiation Oncology |chapter=What is Machine Learning? |date=2015 |pages=3–11 |doi=10.1007/978-3-319-18305-3_1|isbn=978-3-319-18304-6 |s2cid=178586107 |language=en }}</ref><ref>{{cite journal |last1=Okolie |first1=Jude A. |last2=Savage |first2=Shauna |last3=Ogbaga |first3=Chukwuma C. |last4=Gunes |first4=Burcu |title=Assessing the potential of machine learning methods to study the removal of pharmaceuticals from wastewater using biochar or activated carbon |journal=Total Environment Research Themes |date=June 2022 |volume=1-2 |pages=100001 |doi=10.1016/j.totert.2022.100001|s2cid=249022386 |doi-access=free|language=en }}</ref>

=== Кероване навчання ===
{{Main|Кероване навчання}}
[[Файл:Svm_max_sep_hyperplane_with_margin.png|міні|[[Опорновекторна машина]]&nbsp;— це модель керованого навчання, яка поділяє дані на області, розділені [[Лінійний класифікатор|лінійною межею]]. Тут лінійна межа відділяє чорні кола від білих.]]

Алгоритми керованого навчання<ref name="Синєглазов2022" /><ref name="Дуда2018" /><ref name="Копивницька2023" /> ({{lang-en|supervised learning}}) будують математичну модель набору даних, який містить як входи, так і бажані виходи.<ref>{{cite book |last1=Russell |first1=Stuart J. |last2=Norvig |first2=Peter |title=Artificial Intelligence: A Modern Approach |date=2010 |publisher=Prentice Hall |isbn=9780136042594 |edition=Third|title-link=Штучний інтелект: сучасний підхід|language=en }}</ref> Такі дані знані як [[тренувальні дані]], й складаються з набору тренувальних прикладів. Кожен тренувальний приклад має один або кілька входів та бажаний вихід, відомий також як керівний сигнал ({{lang-en|supervisory signal}}). У математичній моделі кожен тренувальний приклад подано [[Масив (структура даних)|масивом]], або вектором, який іноді називають [[Вектор ознак|вектором ознак]], а тренувальні дані подано [[Матриця (математика)|матрицею]]. Завдяки [[Оптимізація (математика)#Ітераційні методи|ітераційній оптимізації]] [[Функція втрат|цільової функції]] алгоритми керованого навчання навчаються функції, яку можливо використовувати для передбачування виходу, пов'язаного з новими входами.<ref>{{cite book |last1=Mohri |first1=Mehryar |last2=Rostamizadeh |first2=Afshin |last3=Talwalkar |first3=Ameet |title=Foundations of Machine Learning |date=2012 |publisher=The MIT Press |isbn=9780262018258 |language=en}}</ref> Оптимальна функція дозволяє алгоритмові правильно визначати вихід для входів, які не були частиною тренувальних даних. Кажуть, що алгоритм, який з часом удосконалює точність своїх виходів або передбачень, навчився виконувати це завдання.<ref name="Mitchell-1997" />

До типів алгоритмів керованого навчання належать {{нп|Активне навчання (машинне навчання)|активне навчання||Active learning (machine learning)}}, [[Класифікування (машинне навчання)|класифікування]] та [[Регресійний аналіз|регресія]].<ref name=":3">{{cite book|last=Alpaydin|first=Ethem|title=Introduction to Machine Learning|date=2010|publisher=MIT Press|isbn=978-0-262-01243-0|page=9|url=https://books.google.com/books?id=7f5bBAAAQBAJ|access-date=2018-11-25|archive-date=2023-01-17|archive-url=https://web.archive.org/web/20230117053338/https://books.google.com/books?id=7f5bBAAAQBAJ|url-status=live|language=en}}</ref> Алгоритми класифікування використовують, коли виходи обмежено вузьким набором значень, а алгоритми регресії використовують, коли виходи можуть мати будь-яке числове значення в межах якогось діапазону. Як приклад, для алгоритму класифікування, який фільтрує електронні листи, входом буде вхідний електронний лист, а виходом&nbsp;— назва теки, до якої потрібно цей електронний лист зберегти.

{{нп|Навчання подібностей|||Similarity learning}} ({{lang-en|similarity learning}})&nbsp;— це галузь керованого машинного навчання, тісно пов'язана з регресією та класифікуванням, але яка має на меті вчитися з прикладів, використовуючи функцію подібності, що вимірює, наскільки схожі або пов'язані два об'єкти. Воно має застосування в [[Ренкінг|ранжуванні]], [[Рекомендаційна система|рекомендаційних системах]], візуальному відстежуванні ідентичності, перевірці облич та перевірці мовця.

=== Некероване навчання ===
{{Main|Некероване навчання}}
{{See also|Кластерний аналіз}}

Алгоритми некерованого навчання<ref name="Синєглазов2022" /><ref name="Дуда2018" /><ref name="В'юненко2021" /><ref name="Копивницька2023" /> ({{lang-en|unsupervised learning}}) знаходять структури в даних, які не було мічено, класифіковано чи категоризовано. Замість реагувати на зворотний зв'язок, алгоритми некерованого навчання встановлюють спільні риси в даних і реагують на наявність або відсутність таких спільних рис у кожній новій одиниці даних. До основних застосувань некерованого машинного навчання належать кластерування, [[знижування розмірності]]<ref name=":9" /> та [[оцінювання густини]].<ref name="JordanBishop2004">{{cite book |first1=Michael I. |last1=Jordan |first2=Christopher M. |last2=Bishop |chapter=Neural Networks |editor=Allen B. Tucker |title=Computer Science Handbook, Second Edition (Section VII: Intelligent Systems) |url=https://archive.org/details/computerscienceh0000unse |location=Boca Raton, Florida |publisher=Chapman & Hall/CRC Press LLC |year=2004 |isbn=978-1-58488-360-9 |language=en }}</ref> Алгоритми некерованого навчання також оптимізували процес встановлювання великих {{нп|Гаплотип|гаплотипів||Haplotype}} потрібного гена з {{нп|Пангеном|пангенома||Pan-genome}} на основі {{нп|Індель|інделів||Indel}}.<ref>{{Cite journal |last1=Zhang |first1=Bosen |last2=Huang |first2=Haiyan |last3=Tibbs-Cortes |first3=Laura E. |last4=Vanous |first4=Adam |last5=Zhang |first5=Zhiwu |last6=Sanguinet |first6=Karen |last7=Garland-Campbell |first7=Kimberly A. |last8=Yu |first8=Jianming |last9=Li |first9=Xianran |title=Streamline unsupervised machine learning to survey and graph indel-based haplotypes from pan-genomes |journal=Molecular Plant |year=2023 |volume=16 |issue=6 |pages=975–978 |language=en |doi=10.1016/j.molp.2023.05.005|pmid=37202927 |doi-access=free }}</ref>

[[Файл:CLIPS.jpg|міні|542x542пкс| Кластерування великими індельними переставними схилами ({{lang-en|Clustering via Large Indel Permuted Slopes}}, ''[[doi:10.1101/2023.02.11.527743|CLIPS]]'') перетворює зображення шикування на задачу навчання регресії. Різні оцінки нахилу (''b'') між кожною парою сегментів ДНК дозволяють встановлювати сегменти, що мають однаковий набір інделів.]]

[[Кластерний аналіз]] ({{lang-en|cluster analysis}})&nbsp;— це розподіл набору спостережень на підмножини (звані ''кластерами''), щоби спостереження в одному кластері були подібними відповідно до одного або кількох заздалегідь встановлених критеріїв, тоді як спостереження, взяті з різних кластерів, були несхожими. Різні методики кластерування роблять різні припущення щодо структури даних, які часто визначають деякою ''мірою подібності'' ({{lang-en|similarity metric}}) та оцінюють, наприклад, за ''внутрішньою компактністю'' ({{lang-en|internal compactness}}), або подібністю членів одного кластера, та ''відокремленістю'' ({{lang-en|separation}}), різницею між кластерами. Інші методи ґрунтуються на ''оцінюваній густині'' ({{lang-en|estimated density}}) та ''графовій зв'язності'' ({{lang-en|graph connectivity}}).

=== Напівкероване навчання ===
{{Main|Напівкероване навчання}}

Напівкероване навчання<ref name="Синєглазов2022" /><ref name="Копивницька2023" /> ({{lang-en|semi-supervised learning}}) перебуває між [[Некероване навчання|некерованим навчанням]] (без будь-яких мічених тренувальних даних) та [[Кероване навчання|керованим навчанням]] (з повністю міченими тренувальними даними). Деякі тренувальні приклади позбавлені тренувальних міток, але багато дослідників машинного навчання виявили, що немічені дані, якщо їх використовувати разом із невеликою кількістю мічених даних, можуть значно підвищувати точність навчання.

У [[Слабокероване навчання|слабокерованім навчанні]]<ref name="Клейн2023" /> тренувальні мітки зашумлені, обмежені або неточні; проте ці мітки часто дешевше отримувати, що дає більші ефективні тренувальні набори.<ref>{{Cite web|url=https://hazyresearch.github.io/snorkel/blog/ws_blog_post.html|title=Weak Supervision: The New Programming Paradigm for Machine Learning|author1=Alex Ratner|author2=Stephen Bach|author3=Paroma Varma|author4=Chris|others=referencing work by many other members of Hazy Research|website=hazyresearch.github.io|access-date=2019-06-06|archive-date=2019-06-06|archive-url=https://web.archive.org/web/20190606043931/https://hazyresearch.github.io/snorkel/blog/ws_blog_post.html|language=en}}</ref>

=== Навчання з підкріпленням ===
{{Main|Навчання з підкріпленням}}

Навчання з підкріпленням<ref name="Хорошилов2019" /> ({{lang-en|reinforcement learning}})&nbsp;— це галузь машинного навчання, пов'язана з тим, як [[Програмний агент|програмні агенти]] повинні виконувати [[Обирання дії|дії]] в середовищі, щоби максимізувати певне уявлення про сукупну винагороду. Завдяки її загальності цю галузь вивчають у багатьох інших дисциплінах, таких як [[теорія ігор]], [[теорія керування]], [[дослідження операцій]], [[теорія інформації]], [[оптимізація на основі моделювання]], [[Багатоагентна система|багатоагентні системи]], [[ройовий інтелект]], [[статистика]] та [[генетичні алгоритми]]. У навчанні з підкріпленням середовище зазвичай подають як [[марковський процес вирішування]] (МПВ, {{lang-en|markov decision process, MDP}}). Багато алгоритмів навчання з підкріпленням використовують методики [[Динамічне програмування|динамічного програмування]].<ref>{{Cite book|author1=van Otterlo, M.|author2=Wiering, M.|title=Reinforcement Learning |chapter=Reinforcement Learning and Markov Decision Processes |volume=12|pages=3–42 |year=2012 |doi=10.1007/978-3-642-27645-3_1|series=Adaptation, Learning, and Optimization|isbn=978-3-642-27644-6|language=en}}</ref> Алгоритми навчання з підкріпленням не виходять зі знання точної математичної моделі МПВ, і їх використовують, коли точні моделі недосяжні. Алгоритми навчання з підкріпленням використовують в автономних транспортних засобах та в навчанні гри проти людини-супротивника.

=== Знижування розмірності ===

[[Знижування розмірності]] ({{lang-en|dimensionality reduction}})&nbsp;— це процес зниження кількості випадкових змінних, які розглядають, шляхом отримання набору провідних змінних ({{lang-en|principal variables}}).<ref>{{cite journal|url=https://science.sciencemag.org/content/290/5500/2323|title=Nonlinear Dimensionality Reduction by Locally Linear Embedding|first1=Sam T.|last1=Roweis|first2=Lawrence K.|last2=Saul|date=22 грудня 2000|journal=Science|volume=290|issue=5500|pages=2323–2326|doi=10.1126/science.290.5500.2323|pmid=11125150 |bibcode=2000Sci...290.2323R |s2cid=5987139 |language=en}}</ref> Іншими словами, це процес зниження розмірності набору [[Ознака (машинне навчання)|ознак]], яку також називають «кількістю ознак» ({{lang-en|"number of features"}}). Більшість методик знижування розмірності можливо розглядати як усунення або [[Виділяння ознак|виділяння]] ознак. Одним із популярних методів знижування розмірності є [[метод головних компонент]] (МГК, {{lang-en|principal component analysis, PCA}}). МГК включає перенесення даних більшої розмірності (наприклад, тривимірних) до меншого простору (наприклад, двовимірного). Це дає меншу розмірність даних (двовимірні замість тривимірних), зберігаючи всі первинні змінні в моделі без зміни даних.<ref>{{cite web|url=https://towardsdatascience.com/all-machine-learning-models-explained-in-6-minutes-9fe30ff6776a|title=All Machine Learning Models Explained in 6 Minutes. Intuitive explanations of the most popular machine learning models|first=Terence|last=Shin|date=5 січня 2020|website=Towards Data Science|language=en|access-date=2023-07-30|archive-date=2023-07-15|archive-url=https://web.archive.org/web/20230715133218/https://towardsdatascience.com/all-machine-learning-models-explained-in-6-minutes-9fe30ff6776a|url-status=dead}}</ref> {{нп|Гіпотеза многовидів|||Manifold hypothesis}} пропонує ідею розташування багатовимірних наборів даних уздовж низьковимірних [[многовид]]ів, і багато методик знижування розмірності виходять із цього припущення, що веде до області {{нп|навчання многовидів|||Manifold learning}} та {{нп|Многовидна регуляризація|многовидної регуляризації||Manifold regularization}}.

=== Інші види ===

Було розроблено й інші підходи, які не вписуються в ці три категорії, й іноді одна система машинного навчання використовує декілька з них. Наприклад, [[тематичне моделювання]], [[Метанавчання (інформатика)|метанавчання]].<ref>{{cite book
 |author=Pavel Brazdil |author2=Christophe Giraud Carrier |author3=Carlos Soares |author4=Ricardo Vilalta
 | title =Metalearning: Applications to Data Mining
 | year = 2009
 | edition = Fourth
 | pages = 10–14, ''passim''
 | publisher = [[Springer Science+Business Media]]
 |isbn = 978-3540732624
 |language = en
 }}</ref>

==== Самонавчання ====

Самонавчання ({{lang-en|self-learning}}), як парадигму машинного навчання, було запропоновано 1982 року разом із нейронною мережею, здатною до самонавчання, яка отримала назву ''поперечинного адаптивного масиву'' (ПАМ, {{lang-en|crossbar adaptive array, CAA}}).<ref>Bozinovski, S. (1982). "A self-learning system using secondary reinforcement". In Trappl, Robert (ed.). Cybernetics and Systems Research: Proceedings of the Sixth European Meeting on Cybernetics and Systems Research. North-Holland. pp. 397–402. {{ISBN|978-0-444-86488-8}}. {{ref-en}}</ref> Це навчання без зовнішніх винагород і без зовнішніх порад вчителя. Алгоритм самонавчання ПАМ обчислює, поперечинним чином, як рішення щодо дій, так і емоції (почуття) щодо наслідкових ситуацій. Ця система керується взаємодією між пізнанням та емоціями.<ref>Bozinovski, Stevo (2014) "Modeling mechanisms of cognition-emotion interaction in artificial neural networks, since 1981." Procedia Computer Science p. 255-263 {{ref-en}}</ref>

Алгоритм самонавчання уточнює матрицю пам'яті W =||w(a, s)||, виконуючи в кожній ітерації наступну процедуру машинного навчання:

# у ситуації ''s'' виконати дію ''a''
# отримати наслідкову ситуацію ''s'''
# обчислити емоції перебування в наслідковій ситуації ''v(s')''
# уточнити поперечинну пам'ять ''w'(a, s) = w(a, s) + v(s')''

Це система лише з одним входом, ситуацією, та лише одним виходом, дією (або поведінкою) ''a''. Немає ані окремого введення підкріплення, ані введення поради від середовища. Поширюване зворотно значення (вторинне підкріплення, {{lang-en|secondary reinforcement}})&nbsp;— це емоція щодо наслідкової ситуації. ПАМ існує у двох середовищах: одне&nbsp;— це поведінкове середовище, в якому вона поводиться, а інше&nbsp;— це генетичне середовище, звідки вона спочатку й лише один раз отримує початкові емоції щодо ситуацій, з якими можливо зіткнутися в поведінковому середовищі. Після отримання геномного (видового) вектора з генетичного середовища ПАМ навчається цілеспрямованої поведінки в середовищі, що містить як бажані, так і небажані ситуації.<ref>Bozinovski, S. (2001) "Self-learning agents: A connectionist theory of emotion based on crossbar value judgment." Cybernetics and Systems 32(6) 637–667. {{ref-en}}</ref>

==== Навчання ознак ====
{{Main|Навчання ознак}}

Кілька алгоритмів навчання спрямовано на виявляння кращих подань даних входу, які надходять під час тренування.<ref name="pami">{{cite journal |author1=Y. Bengio |author2=A. Courville |author3=P. Vincent |title=Representation Learning: A Review and New Perspectives |journal= IEEE Transactions on Pattern Analysis and Machine Intelligence|year=2013|doi=10.1109/tpami.2013.50 |pmid=23787338 |volume=35 |issue=8 |pages=1798–1828|arxiv=1206.5538 |s2cid=393948 |language=en }}</ref> До класичних прикладів належать [[метод головних компонент]] і [[кластерний аналіз]]. Алгоритми навчання ознак ({{lang-en|feature learning}}), також звані алгоритмами навчання подань ({{lang-en|representation learning}}), часто намагаються зберігати інформацію своїх вхідних даних, але також перетворювати її таким чином, щоби робити її корисною, часто як етап попередньої обробки перед виконанням класифікування або передбачень. Ця методика уможливлює відбудовування даних входу, що надходять із невідомого розподілу, який породжує ці дані, не обов'язково дотримуючись конфігурацій, неправдоподібних для цього розподілу. Це замінює [[конструювання ознак]] вручну та дозволяє машині як навчатися ознак, так і використовувати їх для виконання конкретного завдання.

Навчання ознак може бути керованим або некерованим. У керованім навчанні ознак їх навчають з використанням мічених даних входу. До прикладів належать [[Штучна нейронна мережа|штучні нейронні мережі]], [[Багатошаровий перцептрон|багатошарові перцептрони]] та кероване {{нп|навчання словників|||Dictionary learning}}. При некерованім навчанні ознак їх навчають неміченими даними входу. До прикладів належать навчання словників, {{нп|метод незалежних компонент|||Independent component analysis}}, [[автокодувальник]]и, [[Розклад матриці|розкладання матриць]]<ref>{{cite conference |author1=Nathan Srebro |author2=Jason D. M. Rennie |author3=Tommi S. Jaakkola |title=Maximum-Margin Matrix Factorization |conference={{нп|Конференція з нейронних систем обробки інформації|NIPS||Conference on Neural Information Processing Systems}} |year=2004 |language=en}}</ref> та різні види [[кластерування]].<ref name="coates2011">{{cite conference
|last1 = Coates
|first1 = Adam
|last2 = Lee
|first2 = Honglak
|last3 = Ng
|first3 = Andrew Y.
|title = An analysis of single-layer networks in unsupervised feature learning
|conference = Int'l Conf. on AI and Statistics (AISTATS)
|year = 2011
|url = http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2011_CoatesNL11.pdf
|access-date = 2018-11-25
|archive-url = https://web.archive.org/web/20170813153615/http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2011_CoatesNL11.pdf
|archive-date = 2017-08-13
|language = en
}}</ref><ref>{{cite conference|last1 = Csurka|first1 = Gabriella|last2 = Dance|first2 = Christopher C.|last3 = Fan|first3 = Lixin|last4 = Willamowski|first4 = Jutta|last5 = Bray|first5 = Cédric|title = Visual categorization with bags of keypoints|conference = ECCV Workshop on Statistical Learning in Computer Vision|year = 2004|url = https://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/csurka-eccv-04.pdf|access-date = 2019-08-29|archive-date = 2019-07-13|archive-url = https://web.archive.org/web/20190713040210/http://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/csurka-eccv-04.pdf|url-status = live|language = en}}</ref><ref name="jurafsky">{{cite book |title=Speech and Language Processing |author1=Daniel Jurafsky |author2=James H. Martin |publisher=Pearson Education International |year=2009 |pages=145–146 |language=en}}</ref>

Алгоритми {{нп|навчання многовидів|||Manifold learning}} намагаються робити це за обмеження, щоби навчене подання мало низьку розмірність. Алгоритми [[Розріджене кодування|розрідженого кодування]] намагаються робити це за обмеження, щоби навчене подання було розрідженим, тобто щоби математична модель містила багато нулів. Алгоритми {{нп|навчання полілінійних підпросторів|||Multilinear subspace learning}} спрямовано на навчання подань низької розмірності безпосередньо з [[тензор]]них подань для багатовимірних даних без переформовування їх у вектори вищої розмірності.<ref>{{cite journal |first1=Haiping |last1=Lu |first2=K.N. |last2=Plataniotis |first3=A.N. |last3=Venetsanopoulos |url=http://www.dsp.utoronto.ca/~haiping/Publication/SurveyMSL_PR2011.pdf |title=A Survey of Multilinear Subspace Learning for Tensor Data |journal=Pattern Recognition |volume=44 |number=7 |pages=1540–1551 |year=2011 |doi=10.1016/j.patcog.2011.01.004 |bibcode=2011PatRe..44.1540L |access-date=2015-09-04 |archive-date=2019-07-10 |archive-url=https://web.archive.org/web/20190710225429/http://www.dsp.utoronto.ca/~haiping/Publication/SurveyMSL_PR2011.pdf |url-status=live |language=en }}</ref> Алгоритми [[Глибоке навчання|глибокого навчання]] виявляють декілька рівнів подання, або ієрархію ознак із абстрактнішими ознаками вищого рівня, визначеними в термінах ознак нижчого рівня (або породжуваними ними). Стверджували, що розумна машина&nbsp;— це така, що навчається подання, яке розплутує чинники мінливості ({{lang-en|factors of variation}}), що лежить в основі даних, які пояснюють спостережувані дані.<ref>{{cite book | title = Learning Deep Architectures for AI | author = Yoshua Bengio | publisher = Now Publishers Inc. | year = 2009 | isbn = 978-1-60198-294-0 | pages = 1–3 | url = https://books.google.com/books?id=cq5ewg7FniMC&pg=PA3 | author-link = Йошуа Бенжіо | access-date = 2016-02-15 | archive-date = 2023-01-17 | archive-url = https://web.archive.org/web/20230117053339/https://books.google.com/books?id=cq5ewg7FniMC&pg=PA3 | url-status = live | language = en }}</ref>

Навчання ознак спонукається фактом, що завдання машинного навчання, такі як класифікування, часто вимагають даних входу, математично та обчислювально зручних для обробки. Проте дані реального світу, такі як зображення, відео та [[давач]]еві дані, не піддалися спробам визначити конкретні ознаки алгоритмічно. Альтернативою є виявляти такі ознаки або подання шляхом дослідження, не покладаючись на явні алгоритми.

==== Навчання розріджених словників ====
{{Main|{{нп|Навчання розріджених словників|||Sparse dictionary learning}}}}

Навчання розріджених словників ({{lang-en|sparse dictionary learning}})&nbsp;— це метод навчання ознак, у якому тренувальний приклад подають лінійною комбінацією [[Базисна функція|базисних функцій]] і вважають [[Розріджена матриця|розрідженою матрицею]]. Цей метод {{нп|Строга NP-повнота|строго ''NP''-повний||Strong NP-completeness}} і його важко розв'язувати наближено.<ref>{{cite journal |first=A. M. |last=Tillmann |title=On the Computational Intractability of Exact and Approximate Dictionary Learning |journal=IEEE Signal Processing Letters |volume=22 |issue=1 |year=2015 |pages=45–49 |doi=10.1109/LSP.2014.2345761|bibcode=2015ISPL...22...45T |arxiv=1405.6664 |s2cid=13342762 |language=en }}</ref> Популярний [[Евристика|евристичний]] метод навчання розріджених словників&nbsp;— алгоритм {{нп|K-СРМ|''K''-СРМ||K-SVD}} ({{lang-en|K-SVD}}). Навчання розріджених словників застосовували в кількох контекстах. У класифікуванні задача полягає у визначенні класу, до якого належить раніше небачений тренувальний приклад. Для словника, де кожен клас уже побудовано, новий тренувальний приклад пов'язується з класом, у словнику якого його розріджено подано найкраще. Навчання розріджених словників також застосовували для [[знешумлювання зображень]]. Ключова ідея полягає в тому, що чистий клаптик зображення може бути розріджено подано словником зображень, а шум&nbsp;— ні.<ref>{{нп|Міхал Аарон|Aharon, M||Michal Aharon}}, M Elad, and A Bruckstein. 2006. "[http://sites.fas.harvard.edu/~cs278/papers/ksvd.pdf K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation] {{Webarchive|url=https://web.archive.org/web/20181123142158/http://sites.fas.harvard.edu/~cs278/papers/ksvd.pdf |date=2018-11-23 }}." Signal Processing, IEEE Transactions on 54 (11): 4311–4322 {{ref-en}}</ref>

==== Виявляння аномалій ====
{{Main|Виявляння аномалій}}

У [[Добування даних|добуванні даних]] виявляння аномалій ({{lang-en|anomaly detection}}), відоме також як виявляння викидів ({{lang-en|outlier detection}}),&nbsp;— це встановлювання рідкісних елементів, подій або спостережень, що викликають підозри, значно відрізняючись від більшості даних.<ref name=":0">{{Citation|last1=Zimek|first1=Arthur|title=Outlier Detection|date=2017|encyclopedia=Encyclopedia of Database Systems|pages=1–5|publisher=Springer New York|language=en|doi=10.1007/978-1-4899-7993-3_80719-1|isbn=9781489979933|last2=Schubert|first2=Erich}}</ref> Зазвичай аномальні елементи подають такі проблеми як {{нп|банківське шахрайство|||Bank fraud}}, структурний дефект, медичні проблеми або помилки в тексті. Аномалії називають [[Викид (статистика)|викидами]] ({{lang-en|outliers}}), новизною ({{lang-en|novelties}}), шумом, відхиленнями або винятками.<ref>{{cite journal | last1 = Hodge | first1 = V. J. | last2 = Austin | first2 = J. | doi = 10.1007/s10462-004-4304-y | title = A Survey of Outlier Detection Methodologies | journal = Artificial Intelligence Review | volume = 22 | issue = 2 | pages = 85–126 | year = 2004 | url = http://eprints.whiterose.ac.uk/767/1/hodgevj4.pdf | citeseerx = 10.1.1.318.4023 | s2cid = 59941878 | access-date = 2018-11-25 | archive-date = 2015-06-22 | archive-url = https://web.archive.org/web/20150622042146/http://eprints.whiterose.ac.uk/767/1/hodgevj4.pdf | url-status = live | language = en }}</ref>

Зокрема, в контексті виявляння зловживань і мережних вторгнень цікаві об'єкти це часто не рідкісні об'єкти, а несподівані сплески бездіяльності. Ця особливість поведінки не відповідає загальноприйнятому статистичному визначенню викиду як рідкісного об'єкта. Багато методів виявляння викидів (зокрема, некеровані алгоритми) дадуть збій на таких даних, якщо їх не агрегувати належним чином. Натомість алгоритм кластерного аналізу може виявити мікрокластери, утворені цими особливостями поведінки.<ref>{{cite journal |first1=Paul |last1=Dokas |first2=Levent |last2=Ertoz |first3=Vipin |last3=Kumar |first4=Aleksandar |last4=Lazarevic |first5=Jaideep |last5=Srivastava |first6=Pang-Ning |last6=Tan |title=Data mining for network intrusion detection |year=2002 |journal=Proceedings NSF Workshop on Next Generation Data Mining |url=https://www-users.cse.umn.edu/~lazar027/MINDS/papers/nsf_ngdm_2002.pdf |access-date=2023-03-26 |archive-date=2015-09-23 |archive-url=https://web.archive.org/web/20150923211542/http://www.csee.umbc.edu/~kolari1/Mining/ngdm/dokas.pdf |url-status=live |language=en }}</ref>

Існує три великі категорії методик виявляння аномалій.<ref name="ChandolaSurvey">{{cite journal |last1=Chandola |first1=V. |last2=Banerjee |first2=A. |last3=Kumar |first3=V. |s2cid=207172599 |year=2009 |title=Anomaly detection: A survey|journal={{нп|ACM Computing Surveys}}|volume=41|issue=3|pages=1–58|doi=10.1145/1541880.1541882|language=en}}</ref> Методики некерованого виявляння аномалій виявляють аномалії в неміченому наборі випробувальних даних за припущення, що більшість примірників у наборі даних нормальні, шляхом пошуку примірників, які видаються найменш допасованими до решти набору даних. Методики керованого виявляння аномалій вимагають набору даних, мічених як «нормально» й «ненормально», і залучають навчання класифікатора (ключова відмінність від багатьох інших задач статистичного класифікування полягає в незбалансованій природі виявляння викидів). Методики напівкерованого виявляння аномалій створюють модель, що подає нормальну поведінку, на основі заданого нормального набору тренувальних даних, а потім перевіряють правдоподібність створення моделлю випробувального примірника.

==== Навчання роботів ====

[[Навчання роботів]] натхнено безліччю методів машинного навчання, починаючи від керованого навчання, навчання з підкріпленням,<ref>{{cite journal|title=Learning efficient haptic shape exploration with a rigid tactile sensor array, S. Fleer, A. Moringen, R. Klatzky, H. Ritter |year=2020 |doi=10.1371/journal.pone.0226880|arxiv=1902.07501 |pmid=31896135 |doi-access=free |last1=Fleer |first1=S. |last2=Moringen |first2=A. |last3=Klatzky |first3=R. L. |last4=Ritter |first4=H. |journal=PLOS ONE |volume=15 |issue=1 |pages=e0226880 |pmc=6940144 |language=en }}</ref><ref>{{Citation|last1=Moringen|first1=Alexandra|title=Attention-Based Robot Learning of Haptic Interaction|date=2020|work=Haptics: Science, Technology, Applications|volume=12272|pages=462–470|editor-last=Nisky|editor-first=Ilana|place=Cham|publisher=Springer International Publishing|language=en|doi=10.1007/978-3-030-58147-3_51|isbn=978-3-030-58146-6|last2=Fleer|first2=Sascha|last3=Walck|first3=Guillaume|last4=Ritter|first4=Helge|series=Lecture Notes in Computer Science |s2cid=220069113|editor2-last=Hartcher-O'Brien|editor2-first=Jess|editor3-last=Wiertlewski|editor3-first=Michaël|editor4-last=Smeets|editor4-first=Jeroen|doi-access=free}}</ref> і закінчуючи [[Метанавчання (інформатика)|метанавчанням]] (наприклад, моделеагностичним метанавчанням, МАМН, {{lang-en|MAML}}).

==== Асоціативні правила ====
{{Main|Навчання асоціативних правил}}
{{See also|{{нп|Індуктивне логічне програмування|||Inductive logic programming}}}}

Навчання асоціативних правил ({{lang-en|association rule learning}})&nbsp;— це метод [[Машинне навчання на основі правил|машинного навчання на основі правил]] для виявляння взаємозв'язків між змінними у великих базах даних. Його призначено для визначання сильних правил, виявлених у базах даних, з використанням певної міри «цікавості» ({{lang-en|"interestingness"}}).<ref name="piatetsky">Piatetsky-Shapiro, Gregory (1991), ''Discovery, analysis, and presentation of strong rules'', in Piatetsky-Shapiro, Gregory; and Frawley, William J.; eds., ''Knowledge Discovery in Databases'', AAAI/MIT Press, Cambridge, MA. {{ref-en}}</ref>

Машинне навчання на основі правил ({{lang-en|rule-based machine learning}})&nbsp;— це загальний термін для будь-якого методу машинного навчання, який встановлює, вивчає або виводить «правила» для зберігання, маніпулювання або застосування знань. Визначальною характеристикою алгоритму машинного навчання на основі правил є встановлювання та використання набору реляційних правил, які сукупно подають вловлені системою знання. Це відмінність від інших алгоритмів машинного навчання, які зазвичай визначають одиничну модель, яку можливо універсально застосовувати до будь-якого примірника, щоби зробити передбачення.<ref>{{Cite journal|last1=Bassel|first1=George W.|last2=Glaab|first2=Enrico|last3=Marquez|first3=Julietta|last4=Holdsworth|first4=Michael J.|last5=Bacardit|first5=Jaume|date=2011-09-01|title=Functional Network Construction in Arabidopsis Using Rule-Based Machine Learning on Large-Scale Data Sets|journal=The Plant Cell|language=en|volume=23|issue=9|pages=3101–3116|doi=10.1105/tpc.111.088153|issn=1532-298X|pmc=3203449|pmid=21896882}}</ref> До підходів машинного навчання на основі правил належать {{нп|Система навчання класифікаторів|системи навчання класифікаторів||Learning classifier system}}, навчання асоціативних правил та [[Штучна імунна система|штучні імунні системи]].

Ґрунтуючись на понятті сильних правил, {{нп|Ракеш Агравал|||Rakesh Agrawal (computer scientist)}}, {{нп|Томаш Імелінський|||Tomasz Imieliński}} та Арун Свамі запровадили асоціативні правила для виявляння закономірностей між продуктами у великомасштабних даних транзакцій, записаних системами {{нп|Точка продажу|точок продажу||Point of sale}} у супермаркетах.<ref name="mining">{{Cite book | last1 = Agrawal | first1 = R. | last2 = Imieliński | first2 = T. | last3 = Swami | first3 = A. | doi = 10.1145/170035.170072 | chapter = Mining association rules between sets of items in large databases | title = Proceedings of the 1993 ACM SIGMOD international conference on Management of data - SIGMOD '93 | pages = 207 | year = 1993 | isbn = 978-0897915922 | citeseerx = 10.1.1.40.6984 | s2cid = 490415 | language = en }}</ref> Наприклад, правило <math>\{\mathrm{onions, potatoes}\} \Rightarrow \{\mathrm{burger}\}</math>, знайдене в даних про продажі супермаркету, вказуватиме на те, що якщо клієнт купує разом цибулю та картоплю, він, імовірно, купить також і м'ясо для гамбургерів. Таку інформацію можливо використовувати як основу для ухвалення рішень щодо маркетингових заходів, таких як рекламні [[Ціноутворення|ціни]] чи [[розміщення продукції]]. На додачу до {{нп|Аналіз ринкового кошика|аналізу ринкового кошика||Market basket analysis}}, асоціативні правила сьогодні застосовують у таких сферах застосування як [[розроблення веб-користування]] ({{lang-en|web usage mining}}), [[виявляння вторгнень]], [[безперервне виробництво]] та [[біоінформатика]]. На відміну від {{нп|розроблення послідовностей|||Sequence mining}} ({{lang-en|sequence mining}}), навчання асоціативних правил зазвичай не враховує порядок елементів у транзакції чи між транзакціями.

Системи навчання класифікаторів ({{lang-en|learning classifier systems, LCS}})&nbsp;— це сімейство алгоритмів машинного навчання на основі правил, які поєднують відкривальну складову, зазвичай [[генетичний алгоритм]], з навчальною складовою, що виконує [[кероване навчання]], [[навчання з підкріпленням]] або [[некероване навчання]]. Вони прагнуть встановити набір контекстнозалежних правил, які сукупно зберігають та застосовують знання [[Кусково-задана функція|кусковим]] чином, щоб робити передбачення.<ref>{{Cite journal|last1=Urbanowicz|first1=Ryan J.|last2=Moore|first2=Jason H.|date=2009-09-22|title=Learning Classifier Systems: A Complete Introduction, Review, and Roadmap|journal=Journal of Artificial Evolution and Applications|language=en|volume=2009|pages=1–25|doi=10.1155/2009/736398|issn=1687-6229|doi-access=free}}</ref>

{{нп|Індуктивне логічне програмування|||Inductive logic programming}} (ІЛП, {{lang-en|Inductive logic programming, ILP}})&nbsp;— це підхід до навчання правил із застосуванням [[Логічне програмування|логічного програмування]] як універсального подання вхідних прикладів, базових знань та гіпотез. Маючи кодування відомих базових знань та набору прикладів, поданих як логічна база даних фактів, система ІЛП виводитиме гіпотетичну логічну програму, яка [[Умовивід|має наслідками]] всі позитивні приклади й жодного з негативних. {{нп|Індуктивне програмування|||Inductive programming}} ({{lang-en|inductive programming}})&nbsp;— це споріднена галузь, у якій для подання гіпотез розглядають будь-які мови програмування (а не лише логічне програмування), наприклад, [[Функційне програмування|функційні програми]].

Індуктивне логічне програмування особливо корисне в [[Біоінформатика|біоінформатиці]] та [[Обробка природної мови|обробці природної мови]]. {{нп|Ґордон Плоткін|||Gordon Plotkin}} та {{нп|Ехуд Шапіро|||Ehud Shapiro}} заклали початкову теоретичну основу для індуктивного машинного навчання в логічній постановці.<ref>Plotkin G.D. [https://www.era.lib.ed.ac.uk/bitstream/handle/1842/6656/Plotkin1972.pdf;sequence=1 Automatic Methods of Inductive Inference] {{Webarchive|url=https://web.archive.org/web/20171222051034/https://www.era.lib.ed.ac.uk/bitstream/handle/1842/6656/Plotkin1972.pdf;sequence=1 |date=2017-12-22 }}, PhD thesis, University of Edinburgh, 1970. {{ref-en}}</ref><ref>Shapiro, Ehud Y. [http://ftp.cs.yale.edu/publications/techreports/tr192.pdf Inductive inference of theories from facts] {{Webarchive|url=https://web.archive.org/web/20210821071609/http://ftp.cs.yale.edu/publications/techreports/tr192.pdf |date=2021-08-21 }}, Research Report 192, Yale University, Department of Computer Science, 1981. Reprinted in J.-L. Lassez, G. Plotkin (Eds.), Computational Logic, The MIT Press, Cambridge, MA, 1991, pp. 199–254. {{ref-en}}</ref><ref>Shapiro, Ehud Y. (1983). ''Algorithmic program debugging''. Cambridge, Mass: MIT Press. {{ISBN|0-262-19218-7}} {{ref-en}}</ref> 1981 року Шапіро створив своє перше втілення (систему висновування моделей, {{lang-en|Model Inference System}}): програму мовою [[Пролог (мова програмування)|Пролог]], яка індуктивно висновувала логічні програми з позитивних та негативних прикладів.<ref>Shapiro, Ehud Y. "[http://dl.acm.org/citation.cfm?id=1623364 The model inference system]." Proceedings of the 7th international joint conference on Artificial intelligence-Volume 2. Morgan Kaufmann Publishers Inc., 1981. {{ref-en}}</ref> Термін ''індуктивний'' тут стосується [[Індукція (логіка)|філософської]] індукції, що пропонує теорію для пояснення спостережуваних фактів, а не [[Математична індукція|математичної індукції]], що доводить якусь властивість для всіх членів добре впорядкованої множини.

=== Моделі ===

Виконання машинного навчання може передбачувати створення [[Статистична модель|моделі]], яка тренується на деяких тренувальних даних, а потім може обробляти додаткові дані для передбачування. Для систем машинного навчання використовували та досліджували різні типи моделей.

==== Штучні нейронні мережі ====
{{Main|Штучна нейронна мережа}}
{{See also|Глибоке навчання}}
[[Файл:Colored neural network uk.svg|міні|361x361пкс|Штучна нейронна мережа&nbsp;— це взаємоз'єднана група вузлів, подібна до величезної мережі [[нейрон]]ів у [[Головний мозок|мозку]]. Тут кожен круглий вузол позначує [[штучний нейрон]], а стрілка позначує з'єднання від виходу одного штучного нейрона до входу іншого.]]

Штучні нейронні мережі (ШНМ, {{lang-en|artificial neural networks, ANN}}), або [[Конекціонізм|конекціоністські]] системи, це обчислювальні системи, дещо натхненні [[Біологічна нейронна мережа|біологічними нейронними мережами]], які складають [[Головний мозок|мозок]] тварин. Такі системи «вчаться» виконувати завдання, розглядаючи приклади, як правило, без програмування будь-якими специфічними для завдань правилами.

ШНМ&nbsp;— це модель, що ґрунтується на сукупності з'єднаних вузлів, званих [[Штучний нейрон|«штучними нейронами»]] ({{lang-en|"artificial neurons"}}), які в загальних рисах моделюють [[нейрон]]и біологічного [[Головний мозок|мозку]]. Кожне з'єднання, як [[синапс]]и в біологічному [[Головний мозок|мозку]], може передавати інформацію, «сигнал», від одного штучного нейрона до іншого. Штучний нейрон, який отримує сигнал, може обробити його, а потім сигналізувати додатковим штучним нейронам, з якими його з'єднано. У звичайних втіленнях ШНМ сигнал на з'єднанні між штучними нейронами це [[дійсне число]], а вихід кожного штучного нейрона обчислюється деякою нелінійною функцією суми його входів. З'єднання між штучними нейронами називають «ребрами» ({{lang-en|"edges"}}). Штучні нейрони та ребра зазвичай мають {{нп|Вага (математика)|вагу||Weight (mathematics)}} ({{lang-en|weight}}), яка підлаштовується в перебігу навчання. Вага підвищує або знижує силу сигналу на з'єднанні. Штучні нейрони можуть мати поріг, такий, що сигнал надсилається лише тоді, коли сукупний сигнал долає цей поріг. Як правило, штучні нейрони впорядковують у шари ({{lang-en|layers}}). Різні шари можуть виконувати різні види перетворень своїх входів. Сигнали проходять від першого шару (рівень входу) до останнього (рівень виходу), можливо, після кількаразового проходження шарів.

Первинна мета підходу ШНМ полягала в розв'язуванні задач так само, як це робив би [[Головний мозок людини|людський мозок]]. Проте з часом увага перемістилася на виконання конкретних завдань, що призвело до відхилень від [[Біологія|біології]]. Штучні нейронні мережі використовували для багатьох завдань, включно з [[Комп'ютерне бачення|комп'ютерним баченням]], [[Розпізнавання мовлення|розпізнаванням мовлення]], [[Машинний переклад|машинним перекладом]], фільтруванням [[Соціальна мережа|соціальних мереж]], {{нп|Універсальна ігрова програма|настільними та відеоіграми||General game playing}}, та [[Медична діагностика|медичним діагностуванням]].

[[Глибоке навчання]] ({{lang-en|deep learning}}) складається з численних прихованих шарів у штучній нейронній мережі. Цей підхід намагається змоделювати те, як людський мозок перетворює світло та звук у бачення та слух. Серед успішних застосувань глибокого навчання&nbsp;— [[комп'ютерне бачення]] та [[розпізнавання мовлення]].<ref>Honglak Lee, Roger Grosse, Rajesh Ranganath, Andrew Y. Ng. "[http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.149.802&rep=rep1&type=pdf Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations] {{Webarchive|url=https://web.archive.org/web/20171018182235/http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.149.802&rep=rep1&type=pdf |date=2017-10-18 }}" Proceedings of the 26th Annual International Conference on Machine Learning, 2009. {{ref-en}}</ref>

==== Дерева рішень ====
{{Main|Навчання дерев рішень}}
[[Файл:Decision_Tree.jpg|міні|Дерево рішень, яке показує ймовірність виживання пасажирів на [[Титанік]]у]]

Навчання дерев рішень ({{lang-en|decision tree learning}}) використовує [[Дерево ухвалення рішень|дерево рішень]] як [[Передбачувальна модель|передбачувальну модель]] для переходу від спостережень про об'єкт (поданих у гілках) до висновків щодо цільового значення для об'єкта (поданих у листках). Це один із підходів до передбаувального моделювання, який використовують у статистиці, добуванні даних та машинному навчанні. Деревні моделі, де цільова змінна може набувати дискретного набору значень, називають класифікаційними деревами ({{lang-en|classification trees}}); у цих деревних структурах [[Листковий вузол|листки]] подають мітки класів, а гілки подають [[Кон'юнкція|кон'юнкції]] ознак, які ведуть до цих міток класів. Дерева рішень, де цільова змінна може набувати неперервних значень (зазвичай [[Дійсне число|дійсних чисел]]), називають регресійними деревами ({{lang-en|regression trees}}). В аналізі рішень дерево рішень можливо використовувати для візуального та явного подання рішень та [[ухвалення рішень]]. В добуванні даних дерево рішень описує дані, але отримане класифікаційне дерево може бути входом для ухвалювання рішень.

==== Опорновекторні машини ====
{{Main|Опорновекторна машина}}

Опорновекторні машини (ОВМ, {{lang-en|support-vector machines, SVM}}), також знані як опорновекторні мережі ({{lang-en|support-vector networks}}) та метод опорних векторів,&nbsp;— це набір пов'язаних методів [[Кероване навчання|керованого навчання]], які використовують для класифікування та регресії. Маючи набір тренувальних прикладів, кожен з яких позначено як належний до однієї з двох категорій, алгоритм тренування ОВМ будує модель, яка передбачує, чи належить новий приклад до однієї категорії.<ref name="CorinnaCortes">{{Cite journal |last1=Cortes |first1=Corinna |author-link1=Корінна Кортес |last2=Vapnik |first2=Vladimir N. |year=1995 |title=Support-vector networks |url=https://archive.org/details/sim_machine-learning_1995-09_20_3/page/273 |journal=[[Machine Learning (журнал)|Machine Learning]] |volume=20 |issue=3 |pages=273–297 |doi=10.1007/BF00994018 |doi-access=free |language=en }}</ref> Алгоритм тренування ОВМ&nbsp;— не[[Імовірнісне класифікування|ймовірнісний]] [[Бінарна класифікація|бінарний]] [[лінійний класифікатор]], хоча існують такі методи, як {{нп|масштабування Платта|||Platt scaling}}, для використання ОВМ у постановці ймовірнісного класифікування. На додачу до виконання лінійного класифікування, ОВМ можуть ефективно виконувати нелінійне класифікування з використанням так званого [[Ядровий трюк|ядрового трюку]], що неявно відображує їхні входи до просторів ознак високої розмірності.

==== Регресійний аналіз ====
{{Main|Регресійний аналіз}}
[[Файл:Linear_regression.svg|міні|Ілюстрація лінійної регресії на наборі даних]]

Регресійний аналіз ({{lang-en|regression analysis}}) охоплює великий спектр статистичних методів для оцінювання зв'язку між вхідними змінними та пов'язаними з ними ознаками. Його найпоширенішим видом є [[лінійна регресія]], де малюється одна лінія, яка найкраще допасовується до заданих даних відповідно до математичного критерію, такого як {{нп|звичайні найменші квадрати|||Ordinary least squares}}. Останній часто розширюють за допомогою методів [[Регуляризація (математика)|регуляризації]], щоби пом'якшувати надмірне допасовування та зміщення, як у [[Гребенева регресія|гребеневій регресії]]. Коли йдеться про нелінійні задачі, до основних моделей належать [[поліноміальна регресія]] (наприклад, вживана для допасовування лінії тренду в ''Microsoft Excel''<ref>{{cite web|last1=Stevenson|first1=Christopher|title=Tutorial: Polynomial Regression in Excel|url=https://facultystaff.richmond.edu/~cstevens/301/Excel4.html|website=facultystaff.richmond.edu|access-date=22 січня 2017|archive-date=2 червня 2013|archive-url=https://web.archive.org/web/20130602200850/https://facultystaff.richmond.edu/~cstevens/301/Excel4.html|url-status=live|language=en}}</ref>), [[логістична регресія]] (часто вживана у [[Статистичне класифікування|статистичному класифікуванні]]), або навіть [[ядрова регресія]], яка запроваджує нелінійність, користуючись [[Ядровий трюк|ядровим трюком]] для неявного відображення вхідних змінних до простору вищої розмірності.

==== Баєсові мережі ====
{{Main|Баєсова мережа}}
[[Файл:SimpleBayesNetNodes.svg|праворуч|міні|Проста баєсова мережа. Дощ впливає на вмикання обприскувача, і як дощ, так і обприскувач впливають на те, чи мокра трава.]]

Баєсова мережа ({{lang-en|Bayesian network}}), мережа переконань ({{lang-en|belief network}}) або орієнтована ациклічна графова модель ({{lang-en|directed acyclic graphical model}})&nbsp;— це ймовірнісна [[графова модель]], яка подає набір [[Випадкова величина|випадкових величин]] та їхніх {{нп|Умовна незалежність|умовних незалежностей||Conditional independence}} за допомогою [[Орієнтований ациклічний граф|орієнтованого ациклічного графа]] (ОАГ, {{lang-en|directed acyclic graph, DAG}}). Наприклад, баєсова мережа може подавати ймовірнісні зв'язки між захворюваннями та симптомами. За наявних симптомів цю мережу можливо використовувати для обчислення ймовірності наявності різних захворювань. Існують ефективні алгоритми, які виконують [[Баєсове висновування|висновування]] й навчання. Баєсові мережі, що моделюють послідовності змінних, наприклад, [[Розпізнавання мовлення|сигнали мовлення]] або [[Первинна структура|білкові послідовності]], називають [[Динамічна баєсова мережа|динамічними баєсовими мережами]]. Узагальнення баєсових мереж, які можуть подавати й розв'язувати задачі ухвалювання рішень в умовах невизначеності, називають {{нп|Діаграма впливу|діаграмами впливу||Influence diagram}}.

==== Гауссові процеси ====
{{Main|Гауссів процес}}
[[Файл:Regressions_sine_demo.svg|праворуч|міні|Приклад регресії гауссового процесу (передбачення) у порівнянні з іншими регресійними моделями<ref>Документація ''[[scikit-learn]]'' також містить подібні [http://scikit-learn.org/stable/auto_examples/gaussian_process/plot_compare_gpr_krr.html приклади] {{Webarchive|url=https://web.archive.org/web/20221102184805/https://scikit-learn.org/stable/auto_examples/gaussian_process/plot_compare_gpr_krr.html |date=2022-11-02 }}. {{ref-en}}</ref>]]

Гауссів процес ({{lang-en|Gaussian process}})&nbsp;— це [[стохастичний процес]], у якому кожна скінченна сукупність випадкових змінних у процесі має [[багатовимірний нормальний розподіл]], і він ґрунтується на попередньо визначеній {{нп|Коваріаційна функція|коваріаційній функції||Covariance function}}, або ядрі ({{lang-en|kernel}}), яке моделює, як пари точок співвідносяться одна з одною залежно від їхнього місцезнаходження.

За заданого набору спостережених точок, або прикладів входів—виходів, розподіл (неспостережуваного) виходу нової точки як функцію її вхідних даних можливо безпосередньо обчислити, дивлячись на спостережені точки та коваріації між цими точками та новою, небаченою точкою.

Гауссові процеси це популярні сурогатні моделі в [[Баєсова оптимізація|баєсовій оптимізації]], які використовують, щоби [[Оптимізація гіперпараметрів|оптимізувати гіперпараметри]].

==== Генетичні алгоритми ====
{{Main|Генетичний алгоритм}}

Генетичний алгоритм (ГА, {{lang-en|genetic algorithm, GA}})&nbsp;— це [[алгоритм пошуку]] та [[Евристичний алгоритм|евристична]] методика, яка імітує процес [[Природний добір|природного добору]], використовуючи такі методи як {{нп|Мутація (генетичний алгоритм)|мутація||Mutation (genetic algorithm)}} та [[Схрещування (генетичний алгоритм)|схрещування]], щоби створювати нові [[Хромосома (генетичний алгоритм)|генотипи]] у надії знайти добрі розв'язки певної задачі. У машинному навчанні генетичні алгоритми використовували в 1980—1990-х роках.<ref>{{cite journal |last1=Goldberg |first1=David E. |first2=John H. |last2=Holland |title=Genetic algorithms and machine learning |journal=[[Machine Learning (журнал)|Machine Learning]] |volume=3 |issue=2 |year=1988 |pages=95–99 |doi=10.1007/bf00113892 |s2cid=35506513 |url=https://deepblue.lib.umich.edu/bitstream/2027.42/46947/1/10994_2005_Article_422926.pdf |doi-access=free |access-date=2019-09-03 |archive-date=2011-05-16 |archive-url=https://web.archive.org/web/20110516025803/http://deepblue.lib.umich.edu/bitstream/2027.42/46947/1/10994_2005_Article_422926.pdf |url-status=live |language=en }}</ref><ref>{{Cite journal |title=Machine Learning, Neural and Statistical Classification |url=https://archive.org/details/machinelearningn00dmic |journal=Ellis Horwood Series in Artificial Intelligence |first1=D. |last1=Michie |first2=D. J. |last2=Spiegelhalter |first3=C. C. |last3=Taylor |year=1994 |bibcode=1994mlns.book.....M |language=en }}</ref> І навпаки, методики машинного навчання використовували, щоби покращувати продуктивність генетичних та [[Еволюційний алгоритм|еволюційних алгоритмів]].<ref>{{cite journal |last1=Zhang |first1=Jun |last2=Zhan |first2=Zhi-hui |last3=Lin |first3=Ying |last4=Chen |first4=Ni |last5=Gong |first5=Yue-jiao |last6=Zhong |first6=Jing-hui |last7=Chung |first7=Henry S.H. |last8=Li |first8=Yun |last9=Shi |first9=Yu-hui |title=Evolutionary Computation Meets Machine Learning: A Survey |journal=Computational Intelligence Magazine |year=2011 |volume=6 |issue=4 |pages=68–75 |doi=10.1109/mci.2011.942584|s2cid=6760276 |language=en }}</ref>

==== Функції переконань ====
{{Main|{{нп|Теорія Демпстера — Шафера|||Dempster–Shafer theory}}}}

Теорія функцій переконань ({{lang-en|theory of belief functions}}), звана також теорією свідчень ({{lang-en|evidence theory}}) та теорією Демпстера&nbsp;— Шафера,&nbsp;— це загальна система для міркувань із невизначеністю, зі зрозумілими зв'язками з іншими системами, такими як [[імовірність]], [[Теорія можливостей|можливість]] та {{нп|Неточна ймовірність|теорії неточної ймовірності||Imprecise probability}}. Ці теоретичні системи можливо розглядати як свого роду навчальний механізм, вони можуть мати деякі подібні властивості щодо того, як поєднуються свідчення (наприклад, правило поєднування Демпстера), точно як поєднував би ймовірності баєсів підхід на основі [[Функція маси імовірності|функцій маси ймовірності]].{{прояснити|дата=січень 2024}} Проте існує багато застережень до цих функцій переконань при порівнянні з баєсовими підходами з метою включення необізнаності та {{нп|Кількісне вираження невизначеності|кількісного вираження невизначеності||Uncertainty quantification}}. Ці підходи функцій переконань, які втілюють у галузі машинного навчання, зазвичай використовують підхід злиття різних [[Ансамблеве навчання|ансамблевих методів]], щоби краще впоруватися з {{нп|Межа рішення|межею рішення||Decision boundary}}, недостатніми вибірками та проблемами нечіткості класів, з якими стандартний підхід машинного навчання, як правило, має складнощі.<ref name=":6" /><ref name=":7" /><ref name=":8" /> Проте обчислювальна складність цих алгоритмів залежить від кількості суджень (класів), і може призводити до значно більшого обчислювального часу порівняно з іншими підходами машинного навчання.

=== Тренування моделей ===

Як правило, щоби могти здійснювати точні прогнози, моделі машинного навчання вимагають великої кількості надійних даних. При тренуванні моделі машинного навчання інженерам машинного навчання потрібно намітити та зібрати велику та [[Репрезентативність|репрезентативну]] [[Вибірка|вибірку]] даних. Дані тренувального набору можуть мати різний характер, такий як [[корпус текстів]], набір зображень, даних [[давач]]ів чи даних, зібраних з окремих користувачів служби. При тренуванні моделі машинного навчання слід пильнувати [[перенавчання]]. Натреновані моделі, отримані з упереджених або неоцінених даних, можуть призводити до викривлених або небажаних передбачень. Упереджені моделі можуть призводити до шкідливих результатів, відтак посилюючи негативний вплив на суспільство та цілі. Потенційним результатом того, що дані не було повністю підготовлено для навчання, може ставати {{нп|алгоритмічне упередження|||Algorithmic bias}}. Етика машинного навчання стає галуззю дослідження, помітно інтегрованою в командах інженерів машинного навчання.

==== Федеративне навчання ====
{{Main|[[Федеративне навчання]]}}

Федеративне навчання ({{lang-en|federated learning}})&nbsp;— це пристосована форма {{нп|Розподілений штучний інтелект|розподіленого штучного інтелекту||Distributed artificial intelligence}} для тренування моделей машинного навчання, яка децентралізує процес тренування, дозволяючи підтримувати конфіденційність користувачів, не надсилаючи їхні дані до централізованого сервера. Це також підвищує ефективність завдяки децентралізації процесу тренування на багатьох пристроях. Наприклад, ''[[Gboard]]'' використовує федеративне машинне навчання для тренування моделей передбачування пошукових запитів на мобільних телефонах користувачів без необхідності надсилати окремі пошукові запити назад до ''[[Google]]''.<ref>{{Cite web|url=http://ai.googleblog.com/2017/04/federated-learning-collaborative.html|title=Federated Learning: Collaborative Machine Learning without Centralized Training Data|website=Google AI Blog|date=6 квітня 2017 |language=en|access-date=2019-06-08|archive-date=2019-06-07|archive-url=https://web.archive.org/web/20190607054623/https://ai.googleblog.com/2017/04/federated-learning-collaborative.html|url-status=live}}</ref>

== Застосування ==

Існує багато застосувань машинного навчання, зокрема:

{{cols|colwidth=21em}}
* {{нп|Автоматизоване ухвалювання рішень|||Automated decision-making}}
* {{нп|Адаптивний вебсайт|Адаптивні вебсайти||Adaptive website}}
* [[Аналіз поведінки користувачів]]
* [[Аналіз тональності тексту]]
* Аналіз [[Фінансовий ринок|фінансових ринків]]<ref>Машинне навчання включено до програми ''[[CFA]]'' (обговорення згори донизу); див. [https://www.cfainstitute.org/-/media/documents/study-session/2020-l2-ss3.ashx Kathleen DeRose and Christophe Le Lanno (2020). "Machine Learning"] {{Webarchive|url=https://web.archive.org/web/20200113085425/https://www.cfainstitute.org/-/media/documents/study-session/2020-l2-ss3.ashx |date=2020-01-13 }}. {{ref-en}}</ref>
* {{нп|Обчислювальна анатомія|Анатомія||Computational anatomy}}
* {{нп|Астроінформатика|Астрономія||Astroinformatics}}
* [[Банківська діяльність]]
* [[Біоінформатика]]
* [[Біхевіоризм]]
* Виявляння {{нп|Інтернет-шахрайство|інтернет-шахрайств||Internet fraud}}
* Виявляння [[Кардинг|шахрайств із кредитними картками]]
* {{нп|Вкладання графів знань|||Knowledge graph embedding}}
* [[Громадянська наука]]
* [[Автоматизоване доведення теорем|Доведення теорем]]
* [[Обчислювальна економіка|Економіка]]
* {{нп|Емоційні обчислення|||Affective computing}}
* [[Інтернет-реклама]]
* [[Інформаційний пошук]]
* {{нп|Керування машинного навчання|||Machine learning control}}
* Класифікування [[Секвенування ДНК|послідовностей ДНК]]
* [[Кліматологія]]
* [[Комп'ютерне бачення]]
* {{нп|Мережна симуляція|Комп'ютерні мережі||Network simulation}}
* {{нп|Контроль утомного пошкодження|||Structural health monitoring}}
* [[Маркетинг]]
* {{нп|Машинне чуття|||Machine perception}}
* [[Машинний переклад]]
* {{нп|Автоматизоване медичне діагностування|Медичне діагностування||Automated medical diagnosis}}
* [[Обчислювальна лінгвістика|Мовознавство]]
* [[Нейрокомп'ютерний інтерфейс|Нейрокомп'ютерні інтерфейси]]
* [[Обробка природної мови]]
* [[Оптимізація (математика)|Оптимізація]]
* {{нп|Штучний інтелект в охороні здоров'я|Охорона здоров'я||Artificial intelligence in healthcare}}
* {{нп|Пересування роботів|||Robot locomotion}}
* [[Список пошукових систем|Пошукові системи]]
* [[Прогнозування часових рядів]]
* [[Програмна інженерія]]
* [[Рекомендаційна система|Рекомендаційні системи]]
* [[Розпізнавання мовлення]]
* [[Розпізнавання рукописного введення]]
* {{нп|Розроблення послідовностей|||Sequence mining}}
* [[Розуміння природної мови]]
* {{нп|Синтаксичне розпізнавання образів|||Syntactic pattern recognition}}
* [[Точне рільництво|Сільське господарство]]
* [[Страхування]]
* [[Телекомунікації]]
* {{нп|Томографічна реконструкція|||Tomographic reconstruction}}<ref>{{cite journal |last1= Ivanenko |first1= Mikhail |last2= Smolik |first2= Waldemar T. |last3= Wanta |first3= Damian |last4= Midura |first4= Mateusz |last5= Wróblewski |first5= Przemysław  |last6= Hou |first6= Xiaohan |last7= Yan |first7= Xiaoheng |date= 2023 |title= Image Reconstruction Using Supervised Learning in Wearable Electrical Impedance Tomography of the Thorax  |journal= Sensors |language= en |volume= 23|issue= 18|page= 7774|doi= 10.3390/s23187774|pmid= 37765831 |pmc= 10538128 |bibcode= 2023Senso..23.7774I |doi-access= free}}</ref>
* {{нп|Універсальна ігрова програма|Універсальні ігрові програми||General game playing}}
* [[Хемоінформатика]]
* {{нп|Якість даних|||Data quality}}
{{colend}}

2006 року провайдер медіапослуг ''[[Netflix]]'' провів перше змагання ''«{{нп|Netflix Prize}}»'', щоби знайти програму, яка би краще передбачувала вподобання користувачів та підвищила точність наявного алгоритму порад фільмів ''Cinematch'' щонайменше на 10&nbsp;%. Спільна команда, що складалася з дослідників з ''[[AT&T Labs]]-Research'' у співпраці з командами ''Big Chaos'' та ''Pragmatic Theory'', створила {{нп|Ансамблеве усереднювання (машинне навчання)|ансамблеву модель||Ensemble averaging (machine learning)}}, отримавши 2009 року головний приз сумою 1 мільйон доларів.<ref>[https://web.archive.org/web/20151110062742/http://www2.research.att.com/~volinsky/netflix/ "BelKor Home Page"] research.att.com {{ref-en}}</ref> Невдовзі після вручення нагороди ''Netflix'' зрозуміли, що оцінки глядачів&nbsp;— не найкращий показник їхніх моделей перегляду («усе є порадою»), й вони змінили свій механізм порад відповідним чином.<ref>{{cite web|url=http://techblog.netflix.com/2012/04/netflix-recommendations-beyond-5-stars.html|title=The Netflix Tech Blog: Netflix Recommendations: Beyond the 5 stars (Part 1)|access-date=8 серпня 2015|date=2012-04-06|archive-url=https://web.archive.org/web/20160531002916/http://techblog.netflix.com/2012/04/netflix-recommendations-beyond-5-stars.html|archive-date=31 травня 2016|language=en}}</ref> 2010 року ''The Wall Street Journal'' писала про фірму ''Rebellion Research'' та її використання машинного навчання для прогнозування фінансової кризи.<ref>{{cite web|url=https://www.wsj.com/articles/SB10001424052748703834604575365310813948080|title=Letting the Machines Decide|author=Scott Patterson|date=13 липня 2010|publisher=[[The Wall Street Journal]]|access-date=24 червня 2018|archive-date=24 червня 2018|archive-url=https://web.archive.org/web/20180624151019/https://www.wsj.com/articles/SB10001424052748703834604575365310813948080|url-status=live|language=en}}</ref> 2012 року співзасновник [[Sun Microsystems|''Sun Microsystems'']] {{нп|Вінод Хосла|||Vinod Khosla}} зробив прогноз, що в найближчі два десятиліття 80&nbsp;% робочих місць лікарів буде втрачено на користь автоматизованого медичного діагностичного програмного забезпечення з машинним навчанням.<ref>{{cite web|url=https://techcrunch.com/2012/01/10/doctors-or-algorithms/|author=Vinod Khosla|publisher=Tech Crunch|title=Do We Need Doctors or Algorithms?|date=10 січня 2012|access-date=20 жовтня 2016|archive-date=18 червня 2018|archive-url=https://web.archive.org/web/20180618175811/https://techcrunch.com/2012/01/10/doctors-or-algorithms/|url-status=live|language=en}}</ref> 2014 року було повідомлено, що алгоритм машинного навчання було застосовано в галузі історії мистецтва для вивчення образотворчого живопису і що він, можливо, виявив раніше невизнані впливи серед художників.<ref>[https://medium.com/the-physics-arxiv-blog/when-a-machine-learning-algorithm-studied-fine-art-paintings-it-saw-things-art-historians-had-never-b8e4e7bf7d3e When A Machine Learning Algorithm Studied Fine Art Paintings, It Saw Things Art Historians Had Never Noticed] {{Webarchive|url=https://web.archive.org/web/20160604072143/https://medium.com/the-physics-arxiv-blog/when-a-machine-learning-algorithm-studied-fine-art-paintings-it-saw-things-art-historians-had-never-b8e4e7bf7d3e |date=2016-06-04 }}, ''The Physics at [[ArXiv]] blog'' {{ref-en}}</ref> 2019 року ''[[Springer Nature]]'' опублікував першу дослідницьку книгу, створену за допомогою машинного навчання.<ref>{{Cite web|url=https://www.theverge.com/2019/4/10/18304558/ai-writing-academic-research-book-springer-nature-artificial-intelligence|title=The first AI-generated textbook shows what robot writers are actually good at|last=Vincent|first=James|date=2019-04-10|website=The Verge|access-date=2019-05-05|archive-date=2019-05-05|archive-url=https://web.archive.org/web/20190505200409/https://www.theverge.com/2019/4/10/18304558/ai-writing-academic-research-book-springer-nature-artificial-intelligence|url-status=live|language=en}}</ref> 2020 року технологію машинного навчання використовували, щоби допомогти дослідникам ставити діагнози й розробляти ліки від ''COVID''-19.<ref>{{Cite journal|title=Artificial Intelligence (AI) applications for COVID-19 pandemic|date=1 липня 2020|journal=Diabetes & Metabolic Syndrome: Clinical Research & Reviews|volume=14|issue=4|pages=337–339|doi=10.1016/j.dsx.2020.04.012|doi-access=free|last1=Vaishya|first1=Raju|last2=Javaid|first2=Mohd|last3=Khan|first3=Ibrahim Haleem|last4=Haleem|first4=Abid|pmid=32305024|pmc=7195043|language=en}}</ref> Нещодавно машинне навчання було застосовано для прогнозування проекологічної поведінки мандрівників.<ref>{{Cite journal|title=Application of machine learning to predict visitors' green behavior in marine protected areas: evidence from Cyprus|first1=Hamed|last1=Rezapouraghdam|first2=Arash|last2=Akhshik|first3=Haywantee|last3=Ramkissoon|date=10 березня 2021|journal=Journal of Sustainable Tourism|volume=31 |issue=11 |pages=2479–2505|doi=10.1080/09669582.2021.1887878|doi-access=free|hdl=10037/24073|hdl-access=free|language=en}}</ref> Нещодавно технологію машинного навчання було також застосовано для оптимізації продуктивності та теплової поведінки смартфонів на основі взаємодії користувача з телефоном.<ref>{{Cite book|last1=Dey|first1=Somdip|last2=Singh|first2=Amit Kumar|last3=Wang|first3=Xiaohang|last4=McDonald-Maier|first4=Klaus|title=2020 Design, Automation & Test in Europe Conference & Exhibition (DATE) |chapter=User Interaction Aware Reinforcement Learning for Power and Thermal Efficiency of CPU-GPU Mobile MPSoCs |date=2020-06-15|chapter-url=https://ieeexplore.ieee.org/document/9116294|pages=1728–1733|doi=10.23919/DATE48585.2020.9116294|isbn=978-3-9819263-4-7|s2cid=219858480|url=http://repository.essex.ac.uk/27546/1/User%20Interaction%20Aware%20Reinforcement%20Learning.pdf |access-date=2022-01-20|archive-date=2021-12-13|archive-url=https://web.archive.org/web/20211213192526/https://ieeexplore.ieee.org/document/9116294/|url-status=live|language=en}}</ref><ref>{{Cite news|last=Quested|first=Tony|title=Smartphones get smarter with Essex innovation|work=Business Weekly|url=https://www.businessweekly.co.uk/news/academia-research/smartphones-get-smarter-essex-innovation|access-date=2021-06-17|archive-date=2021-06-24|archive-url=https://web.archive.org/web/20210624200126/https://www.businessweekly.co.uk/news/academia-research/smartphones-get-smarter-essex-innovation|url-status=live|language=en}}</ref><ref>{{Cite news|last=Williams|first=Rhiannon|date=2020-07-21|title=Future smartphones 'will prolong their own battery life by monitoring owners' behaviour'|url=https://inews.co.uk/news/technology/future-smartphones-prolong-battery-life-monitoring-behaviour-558689|access-date=2021-06-17|newspaper={{нп|i (газета)|i||i (newspaper)}}|language=en|archive-date=2021-06-24|archive-url=https://web.archive.org/web/20210624201153/https://inews.co.uk/news/technology/future-smartphones-prolong-battery-life-monitoring-behaviour-558689|url-status=live}}</ref> За правильного застосування алгоритми машинного навчання (АМН) можуть використовувати широкий спектр характеристик компаній для прогнозування доходів від акцій без [[перенавчання]]. Використовуючи ефективне конструювання ознак та поєднуючи прогнози, АМН можуть породжувати результати, що значно перевершують отримувані за допомогою базових лінійних методик, як-от {{нп|Звичайні найменші квадрати|ЗНК||Ordinary least squares}}.<ref>{{Cite journal |last1=Rasekhschaffe |first1=Keywan Christian |last2=Jones |first2=Robert C. |date=2019-07-01 |title=Machine Learning for Stock Selection |url=https://www.tandfonline.com/doi/full/10.1080/0015198X.2019.1596678 |journal=Financial Analysts Journal |language=en |volume=75 |issue=3 |pages=70–88 |doi=10.1080/0015198X.2019.1596678 |s2cid=108312507 |issn=0015-198X}}</ref>

== Обмеження ==

Попри те, що машинне навчання змінило деякі сфери, програми машинного навчання часто не дають очікуваних результатів.<ref>{{Cite news|url=https://www.bloomberg.com/news/articles/2016-11-10/why-machine-learning-models-often-fail-to-learn-quicktake-q-a|title=Why Machine Learning Models Often Fail to Learn: QuickTake Q&A|date=2016-11-10|work=Bloomberg.com|access-date=2017-04-10|archive-url=https://web.archive.org/web/20170320225010/https://www.bloomberg.com/news/articles/2016-11-10/why-machine-learning-models-often-fail-to-learn-quicktake-q-a|archive-date=2017-03-20|language=en}}</ref><ref>{{Cite news|url=https://hbr.org/2017/04/the-first-wave-of-corporate-ai-is-doomed-to-fail|title=The First Wave of Corporate AI Is Doomed to Fail|date=2017-04-18|work=Harvard Business Review|access-date=2018-08-20|archive-date=2018-08-21|archive-url=https://web.archive.org/web/20180821032004/https://hbr.org/2017/04/the-first-wave-of-corporate-ai-is-doomed-to-fail|url-status=live|language=en}}</ref><ref>{{Cite news|url=https://venturebeat.com/2016/09/17/why-the-a-i-euphoria-is-doomed-to-fail/|title=Why the A.I. euphoria is doomed to fail|date=2016-09-18|work=VentureBeat|access-date=2018-08-20|language=en-US|archive-date=2018-08-19|archive-url=https://web.archive.org/web/20180819124138/https://venturebeat.com/2016/09/17/why-the-a-i-euphoria-is-doomed-to-fail/|url-status=live}}</ref> Причин для цього багато: брак (придатних) даних, брак доступу до даних, упередженість даних, проблеми конфіденційності, неправильно обрані завдання й алгоритми, неправильні інструменти та люди, брак ресурсів і проблеми з оцінюванням.<ref>{{Cite web|url=https://www.kdnuggets.com/2018/07/why-machine-learning-project-fail.html|title=9 Reasons why your machine learning project will fail|website=www.kdnuggets.com|language=en-US|access-date=2018-08-20|archive-date=2018-08-21|archive-url=https://web.archive.org/web/20180821031802/https://www.kdnuggets.com/2018/07/why-machine-learning-project-fail.html|url-status=live}}</ref>

Ще один значний виклик становить «[[Чорна скринька|теорія чорної скриньки]]». Чорна скринька стосується ситуації, коли алгоритм або процес створення результату повністю непрозорий, що означає, що навіть розробники алгоритму не можуть перевірити закономірність, виділену машиною з даних.<ref name=":12">{{Cite report |url=https://www.jstor.org/stable/resrep37375.8 |title=Transparency and Intelligibility |language=en |last1=Babuta |first1=Alexander |last2=Oswald |first2=Marion |date=2018 |publisher=Royal United Services Institute (RUSI) |pages=17–22 |last3=Rinik |first3=Christine}}</ref> Спеціальний комітет Палати лордів, який стверджував, що така «система інтелекту», яка може мати «суттєвий вплив на життя людини», не вважатиметься прийнятною, якщо вона не надаватиме «повного та задовільного пояснення рішень, які вона ухвалює».<ref name=":12" />

2018 року безпілотний автомобіль від ''[[Uber]]'' не зміг виявити пішохода, який загинув після зіткнення.<ref>{{Cite news|url=https://www.economist.com/the-economist-explains/2018/05/29/why-ubers-self-driving-car-killed-a-pedestrian|title=Why Uber's self-driving car killed a pedestrian|newspaper=The Economist|access-date=2018-08-20|language=en|archive-date=2018-08-21|archive-url=https://web.archive.org/web/20180821031818/https://www.economist.com/the-economist-explains/2018/05/29/why-ubers-self-driving-car-killed-a-pedestrian|url-status=live}}</ref> Спроби використати машинне навчання в охороні здоров'я за допомогою системи [[IBM Watson|''IBM Watson'']] не увінчалися успіхом навіть після багатьох років і мільярдів доларів інвестицій.<ref>{{Cite news|url=https://www.statnews.com/2018/07/25/ibm-watson-recommended-unsafe-incorrect-treatments/|title=IBM's Watson recommended 'unsafe and incorrect' cancer treatments – STAT|date=2018-07-25|work=STAT|access-date=2018-08-21|language=en-US|archive-date=2018-08-21|archive-url=https://web.archive.org/web/20180821062616/https://www.statnews.com/2018/07/25/ibm-watson-recommended-unsafe-incorrect-treatments/|url-status=live}}</ref><ref>{{Cite news|url=https://www.wsj.com/articles/ibm-bet-billions-that-watson-could-improve-cancer-treatment-it-hasnt-worked-1533961147|title=IBM Has a Watson Dilemma|last1=Hernandez|first1=Daniela|date=2018-08-11|work=[[The Wall Street Journal]]|access-date=2018-08-21|last2=Greenwald|first2=Ted|language=en-US|issn=0099-9660|archive-date=2018-08-21|archive-url=https://web.archive.org/web/20180821031906/https://www.wsj.com/articles/ibm-bet-billions-that-watson-could-improve-cancer-treatment-it-hasnt-worked-1533961147|url-status=live}}</ref> Чатбот ''Microsoft'' звинувачували у створенні ворожих та образливих відповідей на звернення його користувачів.<ref>{{Cite web |last=Allyn |first=Bobby |date=27 лютого 2023 |title=How Microsoft's experiment in artificial intelligence tech backfired |url=https://www.npr.org/2023/02/27/1159630243/how-microsofts-experiment-in-artificial-intelligence-tech-backfired |access-date=8 грудня 2023 |website=National Public Radio |language=en}}</ref>

Машинне навчання використовували як стратегію для уточнення свідчень, пов'язаних із систематичним рецензуванням і збільшенням навантаження на рецензентів у зв'язку зі збільшенням біомедичної літератури. Хоча воно покращилося за допомогою тренувальних наборів, воно ще не розвинувся достатньо, щоби зменшити робоче навантаження без обмеження необхідної чутливості для самих досліджень результатів.<ref>{{Cite journal|last1=Reddy|first1=Shivani M.|last2=Patel|first2=Sheila|last3=Weyrich|first3=Meghan|last4=Fenton|first4=Joshua|last5=Viswanathan|first5=Meera|date=2020|title=Comparison of a traditional systematic review approach with review-of-reviews and semi-automation as strategies to update the evidence|url= |journal=Systematic Reviews|language=en|volume=9|issue=1|pages=243|doi=10.1186/s13643-020-01450-2|issn=2046-4053|pmc=7574591|pmid=33076975 |doi-access=free }}</ref>

=== Упередження ===
{{Main|{{нп|Алгоритмічне упередження|||Algorithmic bias}}}}

Підходи машинного навчання, зокрема, можуть страждати від різних упереджень даних ({{lang-en|data biases}}). Система машинного навчання, натренована конкретно на поточних клієнтах, може виявитися нездатною передбачити потреби нових груп клієнтів, не поданих у тренувальних даних. При навчанні на створених людьми даних машинне навчання цілком може підхопити конституційні та несвідомі упередження, які вже присутні в суспільстві.<ref name=":15">{{Cite journal |last=Garcia |first=Megan |date=2016 |title=Racist in the Machine |journal=World Policy Journal |language=en |volume=33 |issue=4 |pages=111–117 |doi=10.1215/07402775-3813015 |issn=0740-2775 |s2cid=151595343}}</ref>

Було показано, що мовні моделі, навчені з даних, містять людські упередження.<ref>{{Cite journal |last1=Caliskan |first1=Aylin |last2=Bryson |first2=Joanna J. |last3=Narayanan |first3=Arvind |date=2017-04-14 |title=Semantics derived automatically from language corpora contain human-like biases |journal=Science |language=en |volume=356 |issue=6334 |pages=183–186 |arxiv=1608.07187 |bibcode=2017Sci...356..183C |doi=10.1126/science.aal4230 |issn=0036-8075 |pmid=28408601 |s2cid=23163324}}</ref><ref>{{Citation |last1=Wang |first1=Xinan |title=An algorithm for L1 nearest neighbor search via monotonic embedding |date=2016 |url=http://papers.nips.cc/paper/6227-an-algorithm-for-l1-nearest-neighbor-search-via-monotonic-embedding.pdf |work=Advances in Neural Information Processing Systems 29 |language=en |pages=983–991 |editor-last=Lee |editor-first=D. D. |access-date=2018-08-20 |archive-url=https://web.archive.org/web/20170407051313/http://papers.nips.cc/paper/6227-an-algorithm-for-l1-nearest-neighbor-search-via-monotonic-embedding.pdf |url-status=live |publisher=Curran Associates, Inc. |archive-date=2017-04-07 |last2=Dasgupta |first2=Sanjoy |editor2-last=Sugiyama |editor2-first=M. |editor3-last=Luxburg |editor3-first=U. V. |editor4-last=Guyon |editor4-first=I.}}</ref> В експерименті, який провела ''[[ProPublica]]'', [[Журналістське розслідування|журналістська розслідувальська]] організація, розуміння алгоритму машинного навчання щодо рівнів рецидивізму ув'язнених неправильно мітило «чорношкірих обвинувачених як високоризикових удвічі частіше, ніж білошкірих».<ref name=":22">{{Cite journal |last1=Silva |first1=Selena |last2=Kenney |first2=Martin |date=2018 |title=Algorithms, Platforms, and Ethnic Bias: An Integrative Essay |url=https://brie.berkeley.edu/sites/default/files/brie_wp_2018-3.pdf |journal=Phylon |language=en |volume=55 |issue=1 & 2 |pages=9–37 |jstor=26545017 |issn=0031-8906}}</ref> 2015 року ''Google'' на фотографіях часто позначувала темношкірих людей як горил,<ref name=":22" /> і 2018 року це все ще не було розв'язано як слід, а, як було повідомлено, ''Google'' натомість використовувала обхідний шлях, усуваючи всіх горил із тренувальних даних, і тому була взагалі нездатна розпізнати справжніх горил.<ref>{{Cite news|url=https://www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo-recognition-algorithm-ai|title=Google 'fixed' its racist algorithm by removing gorillas from its image-labeling tech|work=The Verge|access-date=2018-08-20|archive-date=2018-08-21|archive-url=https://web.archive.org/web/20180821031830/https://www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo-recognition-algorithm-ai|url-status=live|language=en}}</ref> Подібні проблеми з розпізнаванням небілих людей було виявлено в багатьох інших системах.<ref>{{Cite news|url=https://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.html|title=Opinion {{!}} Artificial Intelligence's White Guy Problem|work=[[New York Times]]|date=25 червня 2016|access-date=2018-08-20|language=en|last1=Crawford|first1=Kate|archive-date=2021-01-14|archive-url=https://web.archive.org/web/20210114220619/https://www.nytimes.com/2016/06/26/opinion/sunday/artificial-intelligences-white-guy-problem.html|url-status=live}}</ref> 2016 року ''Microsoft'' протестувала [[чат-бот]]а, який навчався з ''Twitter'', і він швидко підхопив расистську та сексистську мову.<ref>{{Cite news|url=https://www.technologyreview.com/s/601111/why-microsoft-accidentally-unleashed-a-neo-nazi-sexbot/|title=Why Microsoft's teen chatbot, Tay, said lots of awful things online|last=Metz|first=Rachel|work=MIT Technology Review|access-date=2018-08-20|language=en|archive-date=2018-11-09|archive-url=https://web.archive.org/web/20181109023754/https://www.technologyreview.com/s/601111/why-microsoft-accidentally-unleashed-a-neo-nazi-sexbot/|url-status=live}}</ref>

Через такі виклики ефективне використання машинного навчання в деяких областях може вимагати тривалішого пристосовування.<ref>{{Cite news|url=https://www.technologyreview.com/s/603944/microsoft-ai-isnt-yet-adaptable-enough-to-help-businesses/|title=Microsoft says its racist chatbot illustrates how AI isn't adaptable enough to help most businesses|last=Simonite|first=Tom|work=MIT Technology Review|access-date=2018-08-20|language=en|archive-date=2018-11-09|archive-url=https://web.archive.org/web/20181109022820/https://www.technologyreview.com/s/603944/microsoft-ai-isnt-yet-adaptable-enough-to-help-businesses/|url-status=live}}</ref> Занепокоєння щодо {{нп|Справедливість (машинне навчання)|справедливості||Fairness (machine learning)}} у машинному навчанні, тобто зменшення упередженості в машинному навчанні та сприяння його використанню для блага людини, все частіше висловлюють науковці зі штучного інтелекту, зокрема [[Фей-Фей Лі]], яка нагадує інженерам, що «У ШІ немає нічого штучного… Він натхненний людьми, він створений людьми, і, що найважливіше, він впливає на людей. Це потужний інструмент, який ми лише починаємо розуміти, і це велика відповідальність.»<ref>{{Cite news|url=https://www.wired.com/story/fei-fei-li-artificial-intelligence-humanity/|title=Fei-Fei Li's Quest to Make Machines Better for Humanity|last=Hempel|first=Jessi|date=2018-11-13|magazine=Wired|access-date=2019-02-17|issn=1059-1028|archive-date=2020-12-14|archive-url=https://web.archive.org/web/20201214095220/https://www.wired.com/story/fei-fei-li-artificial-intelligence-humanity/|url-status=live|language=en}}</ref>

=== Поясненність ===
{{Main|Поясненний штучний інтелект}}

Поясне́нний ШІ ({{lang-en|Explainable AI, XAI}}), або інтерпретовний ШІ ({{lang-en|Interpretable AI}}), або поясненне машинне навчання ({{lang-en|Explainable Machine Learning, XML}}),&nbsp;— це штучний інтелект (ШІ), в якому люди можуть розуміти рішення або передбачення, зроблені цим ШІ.<ref>{{cite journal |last1=Rudin |first1=Cynthia |title=Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead |journal=Nature Machine Intelligence |date=2019 |volume=1 |issue=5 |pages=206–215 |doi=10.1038/s42256-019-0048-x |pmid=35603010 |pmc=9122117 |language=en }}</ref> Це контрастує з концепцією «чорної скриньки» в машинному навчанні, де навіть її розробники не можуть пояснити, чому ШІ прийшов до певного рішення.<ref>{{cite journal |last1=Hu |first1=Tongxi |last2=Zhang |first2=Xuesong |last3=Bohrer |first3=Gil |last4=Liu |first4=Yanlan |last5=Zhou |first5=Yuyu |last6=Martin |first6=Jay |last7=LI |first7=Yang |last8=Zhao |first8=Kaiguang |title=Crop yield prediction via explainable AI and interpretable machine learning: Dangers of black box models for evaluating climate change impacts on crop yield|journal=Agricultural and Forest Meteorology |date=2023 |volume=336 |page=109458 |doi=10.1016/j.agrformet.2023.109458 |s2cid=258552400 |url=https://www.sciencedirect.com/science/article/pii/S0168192323001508|language=en}}</ref> Удосконалюючи ментальні моделі користувачів систем на основі ШІ та руйнуючи їхні хибні уявлення, поясненний ШІ обіцяє допомогти користувачам діяти ефективніше. Поясненний ШІ може бути втіленням соціального права на пояснення.

=== Перенавчання ===
{{Main|Перенавчання}}
[[Файл:Overfitted_Data.png|міні| Синя лінія може бути прикладом перенавчання лінійної функції через випадковий шум.]]

Схиляння до поганої, переускладненої теорії, схибленої таким чином, щоби відповідати всім минулим тренувальним даним, називають перенавчанням. Багато систем намагаються знижувати перенавчання, винагороджуючи теорію відповідно до того, наскільки добре вона допасовується до даних, але штрафуючи теорію відповідно до того, наскільки вона складна.{{sfn|Domingos|2015|місце=Chapter 6, Chapter 7}}

=== Інші обмеження та вразливості ===

<!-- ЯКИЙ ТЕХНІЧНИЙ ТЕРМІН ОПИСУЄ ЦЕ ОБМЕЖЕННЯ? -->
Учні також можуть розчаровувати, «вивчивши не той урок». Іграшковий приклад: класифікатор зображень, навчений лише на зображеннях коричневих коней і чорних котів, може зробити висновок, що всі коричневі плями, ймовірно, є кіньми.{{sfn|Domingos|2015|с=286}} Приклад із реального світу полягає в тому, що, на відміну від людей, сучасні класифікатори зображень часто роблять висновки не на основі просторових відносин між складовими зображення, а навчаються зв'язків між пікселями, яких люди не помічають, але які все одно корелюють із зображеннями окремих видів реальних об'єктів. Зміна цих візерунків на законному зображенні може призвести до «змагальних» ({{lang-en|"adversarial"}}) зображень, які система класифікує неправильно.<ref>{{cite news|title=Single pixel change fools AI programs|url=https://www.bbc.com/news/technology-41845878|access-date=12 березня 2018|work=BBC News|date=3 листопада 2017|archive-date=22 березня 2018|archive-url=https://web.archive.org/web/20180322011306/http://www.bbc.com/news/technology-41845878|url-status=live|language=en}}</ref><ref>{{cite news|title=AI Has a Hallucination Problem That's Proving Tough to Fix|url=https://www.wired.com/story/ai-has-a-hallucination-problem-thats-proving-tough-to-fix/|access-date=12 березня 2018|magazine=WIRED|date=2018|archive-date=12 березня 2018|archive-url=https://web.archive.org/web/20180312024533/https://www.wired.com/story/ai-has-a-hallucination-problem-thats-proving-tough-to-fix/|url-status=live|language=en}}</ref>

<!-- ЯКИЙ ТЕХНІЧНИЙ ТЕРМІН ОПИСУЄ ЦЕ ОБМЕЖЕННЯ? -->
Змагальні вразливості також можуть виникати в нелінійних системах або випливати з нешаблонних збурень. Для деяких систем можливо змінити вихід, змінивши лише один змагально обраний піксель.<ref name=TD_1>{{cite arXiv | title=Towards deep learning models resistant to adversarial attacks| language=en| author1=Madry, A.| author2=Makelov, A.| author3=Schmidt, L.| author4=Tsipras, D.| author5=Vladu, A. | date=4 September 2019| class=stat.ML| eprint=1706.06083}}</ref> Моделі машинного навчання часто вразливі до маніпуляцій та/або ухилення через {{нп|змагальне машинне навчання|||Adversarial machine learning}}.<ref>{{cite web |title=Adversarial Machine Learning – CLTC UC Berkeley Center for Long-Term Cybersecurity |url=https://cltc.berkeley.edu/aml/ |website=CLTC |access-date=2022-05-25 |archive-date=2022-05-17 |archive-url=https://web.archive.org/web/20220517045352/https://cltc.berkeley.edu/aml/ |url-status=live |language=en }}</ref>

Дослідники продемонстрували, як можливо непомітно розміщувати [[Чорний хід (інформатика)|чорні ходи]] в класифікувальних (наприклад, дописів як «спам» та добре видимих «не спам») моделей машинного навчання, які часто розробляють та/або тренують треті сторони. Сторони можуть змінити класифікацію будь-якого входу, зокрема у випадках, для яких забезпечується певний тип {{нп|Алгоритмічна прозорість|прозорості даних/програмного забезпечення||Algorithmic transparency}}, можливо, включно з [[Структурне тестування|доступом до білої скриньки]].<ref>{{cite news |title=Machine-learning models vulnerable to undetectable backdoors |url=https://www.theregister.com/2022/04/21/machine_learning_models_backdoors/ |access-date=13 травня 2022 |work={{нп|The Register}} |language=en |archive-date=13 травня 2022 |archive-url=https://web.archive.org/web/20220513171215/https://www.theregister.com/2022/04/21/machine_learning_models_backdoors/ |url-status=live }}</ref><ref>{{cite news |title=Undetectable Backdoors Plantable In Any Machine-Learning Algorithm |url=https://spectrum.ieee.org/machine-learningbackdoor |access-date=13 травня 2022 |work=[[IEEE Spectrum]] |date=10 травня 2022 |language=en |archive-date=11 травня 2022 |archive-url=https://web.archive.org/web/20220511152052/https://spectrum.ieee.org/machine-learningbackdoor |url-status=live }}</ref><ref>{{Cite arXiv|last1=Goldwasser |first1=Shafi |last2=Kim |first2=Michael P. |last3=Vaikuntanathan |first3=Vinod |last4=Zamir |first4=Or |title=Planting Undetectable Backdoors in Machine Learning Models |date=14 квітня 2022|class=cs.LG |eprint=2204.06974 |language=en }}</ref>

== Оцінювання моделей ==

Класифікацію моделей машинного навчання можливо затверджувати за допомогою методик оцінювання точності, таких як метод [[Притриманий набір|притримування]] ({{lang-en|holdout}}), який розбиває дані на тренувальний та випробувальний набори (зазвичай 2/3 тренувального набору та 1/3 випробувального) й оцінює продуктивність тренованої моделі на випробувальному наборі. Для порівняння, метод ''K''-кратного [[Перехресне затверджування|перехресного затверджування]] ({{lang-en|K-fold-cross-validation}}) випадковим чином розбиває дані на ''K'' підмножин, а потім виконує ''K'' експериментів, кожен відповідно з 1 підмножиною для оцінювання та рештою ''K''-1 підмножин для тренування моделі. На додачу до методів притримування та перехресного затверджування, для оцінювання точності моделі можливо використовувати [[Статистична натяжка|натяжку]] ({{lang-en|bootstrap}}), яка вибирає з набору даних ''n'' примірників із заміною.<ref>{{cite journal|last1=Kohavi|first1=Ron|title=A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection|journal=International Joint Conference on Artificial Intelligence|date=1995|url=https://ai.stanford.edu/~ronnyk/accEst.pdf|access-date=2023-03-26|archive-date=2018-07-12|archive-url=https://web.archive.org/web/20180712102706/http://web.cs.iastate.edu/~jtian/cs573/Papers/Kohavi-IJCAI-95.pdf|url-status=live|language=en}}</ref>

На додачу до загальної точності ({{lang-en|accuracy}}), дослідники часто повідомляють [[чутливість та специфічність]] ({{lang-en|sensitivity and specificity}}), що означають істиннопозитивний рівень (ІПР, {{lang-en|True Positive Rate, TPR}}) та істиннонегативний рівень (ІНР, {{lang-en|True Negative Rate, TNR}}) відповідно. Аналогічно, дослідники іноді повідомляють [[хибнопозитивний рівень]] (ХПР, {{lang-en|false positive rate, FPR}}), а також [[хибнонегативний рівень]] (ХНР, {{lang-en|false negative rate, FNR}}). Проте ці рівні це відношення, які не розкривають своїх чисельників та знаменників. Одним з ефективних методів вираження діагностичної спроможності моделі є {{нп|загальна робоча характеристика|||Total operating characteristic}} (ЗРХ, {{lang-en|total operating characteristic, TOC}}). ЗРХ показує чисельники та знаменники зазначених вище рівнів, таким чином, ЗРХ надає більше інформації, ніж загальновживана [[робоча характеристика приймача]] (РХП, {{lang-en|receiver operating characteristic, ROC}}) та пов'язана з РХП площа під цією кривою (ППК, {{lang-en|area under the curve, AUC}}).<ref>{{cite journal|last1=Pontius|first1=Robert Gilmore|last2=Si|first2=Kangping|title=The total operating characteristic to measure diagnostic ability for multiple thresholds| journal=International Journal of Geographical Information Science|volume=28|issue=3|year=2014|pages=570–583|doi=10.1080/13658816.2013.862623|bibcode=2014IJGIS..28..570P |s2cid=29204880|language=en}}</ref>

== Етика ==
{{See also|{{нп|Проблема контролю над ШІ|||AI control problem}}|{{нп|Торонтська декларація|||Toronto Declaration}}|Етика штучного інтелекту}}

Машинне навчання ставить безліч [[Машинна етика|етичних питань]]. Системи, треновані на наборах даних, зібраних з упередженнями, можуть проявляти ці упередження при використанні ({{нп|алгоритмічне упередження|||Algorithmic bias}}), оцифровуючи таким чином культурні забобони.<ref>{{Cite web|url=http://www.nickbostrom.com/ethics/artificial-intelligence.pdf|title=The Ethics of Artificial Intelligence|last=Bostrom|first=Nick|date=2011|access-date=11 квітня 2016|archive-url=https://web.archive.org/web/20160304015020/http://www.nickbostrom.com/ethics/artificial-intelligence.pdf|archive-date=4 березня 2016|language=en}}</ref> Наприклад, 1988 року британська комісія з питань расової рівності виявила, що медична школа св. Георгія використовувала комп'ютерну програму, натреновану на основі даних попереднього персоналу приймальної комісії, й ця програма відмовила майже 60 кандидатам, які були або жінками, або мали неєвропейські імена.<ref name=":15"/> Використання даних про наймання на роботу від фірми з расистською політикою найму може призвести до того, що система машинного навчання дублюватиме цю упередженість, оцінюючи претендентів на посаду за схожістю з попередніми успішними кандидатами.<ref name="Edionwe Outline">{{cite web|last1=Edionwe|first1=Tolulope|title=The fight against racist algorithms|url=https://theoutline.com/post/1571/the-fight-against-racist-algorithms|website=The Outline|access-date=17 листопада 2017|archive-date=17 листопада 2017|archive-url=https://web.archive.org/web/20171117174504/https://theoutline.com/post/1571/the-fight-against-racist-algorithms|url-status=live|language=en}}</ref><ref name="Jeffries Outline">{{cite web|last1=Jeffries|first1=Adrianne|title=Machine learning is racist because the internet is racist|url=https://theoutline.com/post/1439/machine-learning-is-racist-because-the-internet-is-racist|website=The Outline|access-date=17 листопада 2017|archive-date=17 листопада 2017|archive-url=https://web.archive.org/web/20171117174503/https://theoutline.com/post/1439/machine-learning-is-racist-because-the-internet-is-racist|url-status=live|language=en}}</ref> Ще один приклад містить передбачувальний алгоритм передбачувального поліцейського патрулювання компанії ''{{нп|Geolitica}}'', який призвів до «непропорційно високого рівня надмірного поліцейського контролю у бідних спільнотах та спільнотах меншин» після тренування на історичних даних про злочинність.<ref name=":22" />

В той час як відповідальне [[збирання даних]] та документування алгоритмічних правил, які використовує система, вважають критично важливою частиною машинного навчання, деякі дослідники звинувачують у вразливості машинного навчання до упереджень брак участі та представництва меншин у галузі ШІ.<ref>{{Cite journal |last=Wong |first=Carissa |date=2023-03-30 |title=AI 'fairness' research held back by lack of diversity |url=https://www.nature.com/articles/d41586-023-00935-z |journal=Nature |language=en |doi=10.1038/d41586-023-00935-z|pmid=36997714 |s2cid=257857012 }}</ref> Справді, за дослідженням, проведеним Асоціацією досліджень у галузі обчислень ({{lang-en|Computing Research Association, CRA}}) 2021 року, «жіночий факультет складає лише 16,1&nbsp;%» усіх членів факультету, які зосереджуються на ШІ у декількох університетах світу.<ref name=":32">{{Cite journal |last=Zhang |first=Jack Clark |title=Artificial Intelligence Index Report 2021 |url=https://aiindex.stanford.edu/wp-content/uploads/2021/11/2021-AI-Index-Report_Master.pdf |journal=Stanford Institute for Human-Centered Artificial Intelligence |language=en}}</ref> Крім того, серед групи «нових резидентів США, випускників докторантур ШІ» 45&nbsp;% ідентифікували себе як білі, 22,4&nbsp;% як азіати, 3,2&nbsp;% як іспанці, і 2,4&nbsp;% як афроамериканці, що додатково демонструє відсутність різноманітності у галузі ШІ.<ref name=":32" />

ШІ може бути добре оснащеним для ухвалювання рішень у технічних сферах, які значною мірою покладаються на дані та історичну інформацію. Ці рішення спираються на об'єктивність і логічну аргументацію.<ref>{{cite web |url=https://www.nickbostrom.com/ethics/artificial-intelligence.pdf |title=THE ETHICS OF ARTIFICIAL INTELLIGENCE |date=2011 |first1=Nick |last1=Bostrom |first2=Eliezer |last2=Yudkowsky |website=Nick Bostrom |access-date=2020-11-18 |archive-date=2015-12-20 |archive-url=https://web.archive.org/web/20151220175220/http://www.nickbostrom.com/ethics/artificial-intelligence.pdf |url-status=live |language=en }}</ref> Оскільки людські мови містять упередження, машини, навчені на мовних [[Корпус текстів|корпусах текстів]], обов'язково також навчаться цих упереджень.<ref>{{cite arXiv|eprint=1809.02208|class=cs.CY |author=M.O.R. Prates |author2=P.H.C. Avelar |author3=L.C. Lamb |title=Assessing Gender Bias in Machine Translation – A Case Study with Google Translate|date=11 березня 2019|language=en}}</ref><ref>{{cite web |url=https://freedom-to-tinker.com/2016/08/24/language-necessarily-contains-human-biases-and-so-will-machines-trained-on-language-corpora/ |title=Language necessarily contains human biases, and so will machines trained on language corpora |date=24 серпня 2016 |first=Arvind |last=Narayanan |website=Freedom to Tinker |access-date=19 листопада 2016 |archive-date=25 червня 2018 |archive-url=https://web.archive.org/web/20180625021555/https://freedom-to-tinker.com/2016/08/24/language-necessarily-contains-human-biases-and-so-will-machines-trained-on-language-corpora/ |url-status=live |language=en }}</ref>

Інші види етичних викликів, не пов'язаних з особистими упередженнями, спостерігаються в охороні здоров'я. Серед медичних працівників є занепокоєння, що ці системи може бути розроблено не в інтересах суспільства, а як машини для отримування доходу.<ref>{{Cite journal|last1=Char|first1=Danton S.|last2=Shah|first2=Nigam H.|last3=Magnus|first3=David|date=2018-03-15|title=Implementing Machine Learning in Health Care — Addressing Ethical Challenges|url= |journal=New England Journal of Medicine|language=en|volume=378|issue=11|pages=981–983|doi=10.1056/NEJMp1714229|issn=0028-4793|pmc=5962261|pmid=29539284}}</ref> Особливо це стосується Сполучених Штатів, де існує давня етична дилема щодо покращення охорони здоров'я, але також і збільшення прибутків. Наприклад, алгоритми може бути розроблено для виписування пацієнтам непотрібних тестів або ліків, у яких власники алгоритму мають частку. В машинного навчання в охороні здоров'я існує потенціал надати фахівцям додатковий інструмент для діагностування, лікування та планування шляхів одужання пацієнтів, але для цього потрібно пом'якшувати ці упередження.<ref>{{cite journal |last1=Char |first1=D. S. |last2=Shah |first2=N. H. |last3=Magnus |first3=D. |year=2018 |title=Implementing Machine Learning in Health Care—Addressing Ethical Challenges |journal=[[New England Journal of Medicine]] |volume=378 |issue=11 |pages=981–983 |doi=10.1056/nejmp1714229 |pmid=29539284 |pmc=5962261 |language=en }}</ref>

== Апаратне забезпечення ==

Починаючи з 2010-х років прогрес як в алгоритмах машинного навчання, так і в комп'ютерному обладнанні призвів до появи ефективніших методів тренування [[Глибока нейронна мережа|глибоких нейронних мереж]] (особливої вузької підобласті машинного навчання), які містять багато шарів нелінійних прихованих вузлів.<ref>{{cite web|last1=Research|first1=AI|title=Deep Neural Networks for Acoustic Modeling in Speech Recognition|url=http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/|website=airesearch.com|access-date=23 жовтня 2015|date=23 жовтня 2015|archive-date=1 лютого 2016|archive-url=https://web.archive.org/web/20160201033801/http://airesearch.com/ai-research-papers/deep-neural-networks-for-acoustic-modeling-in-speech-recognition/|url-status=live|language=en}}</ref> До 2019 року графічні процесори ([[ГП]]), часто зі спеціальними вдосконаленнями для ШІ, витіснили [[ЦП]] як панівний метод тренування великомасштабного комерційного хмарного ШІ.<ref>{{cite news |title=GPUs Continue to Dominate the AI Accelerator Market for Now |url=https://www.informationweek.com/big-data/ai-machine-learning/gpus-continue-to-dominate-the-ai-accelerator-market-for-now/a/d-id/1336475 |access-date=11 червня 2020 |work=InformationWeek |date=December 2019 |language=en |archive-date=10 червня 2020 |archive-url=https://web.archive.org/web/20200610094310/https://www.informationweek.com/big-data/ai-machine-learning/gpus-continue-to-dominate-the-ai-accelerator-market-for-now/a/d-id/1336475 |url-status=live }}</ref> ''[[OpenAI]]'' оцінила апаратні обчислення, які використовували в найбільших проєктах глибокого навчання, від ''[[AlexNet]]'' (2012), і до ''AlphaZero'' (2017), і виявила 300 000-кратне збільшення необхідного обсягу обчислень із тенденцією подвоєння часу кожні 3,4 місяці.<ref>{{cite news |last1=Ray |first1=Tiernan |title=AI is changing the entire nature of compute |url=https://www.zdnet.com/article/ai-is-changing-the-entire-nature-of-compute/ |access-date=11 червня 2020 |work=ZDNet |date=2019 |language=en |archive-date=25 травня 2020 |archive-url=https://web.archive.org/web/20200525144635/https://www.zdnet.com/article/ai-is-changing-the-entire-nature-of-compute/ |url-status=live }}</ref><ref>{{cite web |title=AI and Compute |url=https://openai.com/blog/ai-and-compute/ |website=OpenAI |access-date=11 червня 2020 |language=en |date=16 травня 2018 |archive-date=17 червня 2020 |archive-url=https://web.archive.org/web/20200617200602/https://openai.com/blog/ai-and-compute/ |url-status=live }}</ref>

=== Нейроморфні/фізичні нейронні мережі ===

{{нп|Фізична нейронна мережа|||Physical neural network}} ({{lang-en|physical neural network}}) або [[Нейроморфна інженерія|нейроморфний комп'ютер]] ({{lang-en|Neuromorphic computer}})&nbsp;— це один із видів [[Штучна нейронна мережа|штучних нейронних мереж]], у якому використовують електрично підлаштовуваний матеріал для імітування функціювання [[Хімічний синапс|нейронного синапса]]. Термін «фізична» нейронна мережа використовують, щоби підкреслити залежність від фізичного апаратного забезпечення, яке використовують для імітування [[нейрон]]ів, на противагу до програмних підходів. Загальніше цей термін застосовний і до інших штучних нейронних мереж, у яких використовують [[мемристор]] або інший електрично підлаштовуваний опірний матеріал, щоб імітувати нейронний синапс.<ref>{{Cite web|url = https://syncedreview.com/2021/05/27/deepmind-podracer-tpu-based-rl-frameworks-deliver-exceptional-performance-at-low-cost-28/|title = Cornell & NTT's Physical Neural Networks: A "Radical Alternative for Implementing Deep Neural Networks" That Enables Arbitrary Physical Systems Training &#124; Synced|date = 27 травня 2021|access-date = 12 жовтня 2021|archive-date = 27 жовтня 2021|archive-url = https://web.archive.org/web/20211027183428/https://syncedreview.com/2021/05/27/deepmind-podracer-tpu-based-rl-frameworks-deliver-exceptional-performance-at-low-cost-28/|url-status = live|language = en}}</ref><ref>{{Cite web|url=https://www.theregister.com/2021/10/05/analogue_neural_network_research/|title=Nano-spaghetti to solve neural network power consumption|access-date=2021-10-12|archive-date=2021-10-06|archive-url=https://web.archive.org/web/20211006150057/https://www.theregister.com/2021/10/05/analogue_neural_network_research/|url-status=live|language=en}}</ref>

=== Вбудовуване машинне навчання ===

'''Вбудоване машинне навчання''' ({{lang-en|Embedded Machine Learning}})&nbsp;— це підгалузь машинного навчання, де модель машинного навчання працює на [[Вбудована система|вбудованих системах]] з обмеженими обчислювальними ресурсами, як-от [[Носимий комп'ютер|носимих комп'ютерах]], {{нп|Крайовий пристрій|крайових пристроях||Edge device}} та [[мікроконтролер]]ах.<ref>{{Cite book|last1=Fafoutis|first1=Xenofon|last2=Marchegiani|first2=Letizia|last3=Elsts|first3=Atis|last4=Pope|first4=James|last5=Piechocki|first5=Robert|last6=Craddock|first6=Ian|title=2018 IEEE 4th World Forum on Internet of Things (WF-IoT) |chapter=Extending the battery lifetime of wearable sensors with embedded machine learning |date=2018-05-07|chapter-url=https://ieeexplore.ieee.org/document/8355116|pages=269–274|doi=10.1109/WF-IoT.2018.8355116|hdl=1983/b8fdb58b-7114-45c6-82e4-4ab239c1327f|isbn=978-1-4673-9944-9|s2cid=19192912|url=https://research-information.bris.ac.uk/en/publications/b8fdb58b-7114-45c6-82e4-4ab239c1327f |access-date=2022-01-17|archive-date=2022-01-18|archive-url=https://web.archive.org/web/20220118182543/https://ieeexplore.ieee.org/abstract/document/8355116?casa_token=LCpUeGLS1e8AAAAA:2OjuJfNwZBnV2pgDxfnEAC-jbrETv_BpTcX35_aFqN6IULFxu1xbYbVSRpD-zMd4GCUMELyG|url-status=live|language=en}}</ref><ref>{{Cite web|date=2021-06-02|title=A Beginner's Guide To Machine learning For Embedded Systems|url=https://analyticsindiamag.com/a-beginners-guide-to-machine-learning-for-embedded-systems/|access-date=2022-01-17|website=Analytics India Magazine|language=en-US|archive-date=2022-01-18|archive-url=https://web.archive.org/web/20220118182754/https://analyticsindiamag.com/a-beginners-guide-to-machine-learning-for-embedded-systems/|url-status=live}}</ref><ref>{{Cite web|last=Synced|date=2022-01-12|title=Google, Purdue & Harvard U's Open-Source Framework for TinyML Achieves up to 75x Speedups on FPGAs {{!}} Synced|url=https://syncedreview.com/2022/01/12/deepmind-podracer-tpu-based-rl-frameworks-deliver-exceptional-performance-at-low-cost-183/|access-date=2022-01-17|website=syncedreview.com|language=en-US|archive-date=2022-01-18|archive-url=https://web.archive.org/web/20220118182404/https://syncedreview.com/2022/01/12/deepmind-podracer-tpu-based-rl-frameworks-deliver-exceptional-performance-at-low-cost-183/|url-status=live}}</ref> Експлуатація моделі машинного навчання у вбудованих пристроях усуває необхідність передавання й зберігання даних на хмарних серверах для подальшої обробки, відтак зменшуючи виривання даних та протікання конфіденційності, що відбуваються через передавання даних, а також зводить до мінімуму крадіжку інтелектуальної власності, особистих даних та комерційних таємниць. Вбудовуване машинне навчання можливо застосовувати за допомогою кількох методик, включно з [[Апаратне прискорення|апаратним прискоренням]],<ref>{{Cite book|last1=Giri|first1=Davide|last2=Chiu|first2=Kuan-Lin|last3=Di Guglielmo|first3=Giuseppe|last4=Mantovani|first4=Paolo|last5=Carloni|first5=Luca P.|title=2020 Design, Automation & Test in Europe Conference & Exhibition (DATE) |chapter=ESP4ML: Platform-Based Design of Systems-on-Chip for Embedded Machine Learning |date=2020-06-15|chapter-url=https://ieeexplore.ieee.org/document/9116317|pages=1049–1054|doi=10.23919/DATE48585.2020.9116317|arxiv=2004.03640|isbn=978-3-9819263-4-7|s2cid=210928161|access-date=2022-01-17|archive-date=2022-01-18|archive-url=https://web.archive.org/web/20220118182342/https://ieeexplore.ieee.org/abstract/document/9116317?casa_token=5I_Tmgrrbu4AAAAA:v7pDHPEWlRuo2Vk3pU06194PO0-W21UOdyZqADrZxrRdPBZDMLwQrjJSAHUhHtzJmLu_VdgW|url-status=live|language=en}}</ref><ref>{{Cite web|last1=Louis|first1=Marcia Sahaya|last2=Azad|first2=Zahra|last3=Delshadtehrani|first3=Leila|last4=Gupta|first4=Suyog|last5=Warden|first5=Pete|last6=Reddi|first6=Vijay Janapa|last7=Joshi|first7=Ajay|date=2019|title=Towards Deep Learning using TensorFlow Lite on RISC-V|url=https://edge.seas.harvard.edu/publications/towards-deep-learning-using-tensorflow-lite-risc-v|access-date=2022-01-17|website=[[Harvard University]]|archive-date=2022-01-17|archive-url=https://web.archive.org/web/20220117031909/https://edge.seas.harvard.edu/publications/towards-deep-learning-using-tensorflow-lite-risc-v|url-status=live|language=en}}</ref> використанням {{нп|Наближені обчислення|наближених обчислень||Approximate computing}},<ref>{{Cite book|last1=Ibrahim|first1=Ali|last2=Osta|first2=Mario|last3=Alameh|first3=Mohamad|last4=Saleh|first4=Moustafa|last5=Chible|first5=Hussein|last6=Valle|first6=Maurizio|title=2018 25th IEEE International Conference on Electronics, Circuits and Systems (ICECS) |chapter=Approximate Computing Methods for Embedded Machine Learning |date=2019-01-21|chapter-url=https://ieeexplore.ieee.org/document/8617877|pages=845–848|doi=10.1109/ICECS.2018.8617877|isbn=978-1-5386-9562-3|s2cid=58670712|access-date=2022-01-17|archive-date=2022-01-17|archive-url=https://web.archive.org/web/20220117031855/https://ieeexplore.ieee.org/abstract/document/8617877?casa_token=arUW5Oy-tzwAAAAA:I9x6edlfskM6kGNFUN9zAFrjEBv_8kYTz7ERTxtXu9jAqdrYCcDbbwjBdgwXvb6QAH_-0VJJ|url-status=live|language=en}}</ref> оптимізуванням моделей машинного навчання та багатьма іншими.<ref>{{Cite web|title=dblp: TensorFlow Eager: A Multi-Stage, Python-Embedded DSL for Machine Learning.|url=https://dblp.org/rec/journals/corr/abs-1903-01855.html|access-date=2022-01-17|website=dblp.org|language=en|archive-date=2022-01-18|archive-url=https://web.archive.org/web/20220118182335/https://dblp.org/rec/journals/corr/abs-1903-01855.html|url-status=live}}</ref><ref>{{Cite journal|last1=Branco|first1=Sérgio|last2=Ferreira|first2=André G.|last3=Cabral|first3=Jorge|date=2019-11-05|title=Machine Learning in Resource-Scarce Embedded Systems, FPGAs, and End-Devices: A Survey|journal=Electronics|volume=8|issue=11|pages=1289|doi=10.3390/electronics8111289|issn=2079-9292|doi-access=free|hdl=1822/62521|hdl-access=free|language=en}}</ref>

== Програмне забезпечення ==
До [[Пакет програмного забезпечення|програмних пакетів]], що містять різноманітні алгоритми машинного навчання, належать наступні:

=== Вільне та відкрите програмне забезпечення{{якірець|Відкрите програмне забезпечення}} ===

{{Div col|colwidth=18em}}
* ''[[Caffe (програмне забезпечення)|Caffe]]''
* ''[[Deeplearning4j]]''
* ''{{нп|DeepSpeed}}''
* ''{{нп|ELKI}}''
* ''{{нп|Google JAX}}''
* ''{{нп|Infer.NET}}''
* ''[[Keras]]''
* ''{{нп|Kubeflow}}''
* ''{{нп|LightGBM}}''
* ''{{нп|Apache Mahout|Mahout}}''
* ''{{нп|Mallet (програмний проєкт)|Mallet||Mallet (software project)}}''
* ''[[Microsoft Cognitive Toolkit]]''
* ''{{нп|ML.NET}}''
* ''{{нп|mlpack}}''
* ''[[MXNet]]''
* ''{{нп|OpenNN}}''
* ''{{нп|Orange (програмне забезпечення)|Orange||Orange (software)}}''
* ''[[pandas]]''
* ''[[ROOT]]'' (''TMVA'' з ''ROOT'')
* ''[[scikit-learn]]''
* ''{{нп|Shogun (інструментарій)|Shogun||Shogun (toolbox)}}''
* ''[[Apache Spark#Бібліотека машинного навчання MLlib|Spark MLlib]]''
* ''{{нп|Apache SystemML|SystemML}}''
* ''[[TensorFlow]]''
* ''[[Torch]]'' / ''[[PyTorch]]''
* ''[[Weka]]'' / ''{{нп|Massive Online Analysis|MOA}}''
* ''[[XGBoost]]''
* ''{{нп|Yooreeka}}''
{{Div col end}}

=== Власницьке програмне забезпечення з вільними або відкритими редакціями ===

* ''{{нп|KNIME}}''
* ''{{нп|RapidMiner}}''

=== Власницьке програмне забезпечення ===

{{Div col|colwidth=18em}}
* ''[[Amazon Machine Learning]]''
* ''{{нп|Angoss}} KnowledgeSTUDIO''
* ''[[Azure Machine Learning]]''
* ''{{нп|IBM Watson Studio}}''
* ''{{нп|Google Cloud Vertex AI}}<!-- Проблема вікіфікації: Сторінка [[:en:Google Cloud Vertex AI]] (→ [[:en:Google Cloud Platform#Cloud AI]]) перекладена як [[Google Cloud Platform]], хоча хотіли [[Google Cloud Vertex AI]] (SashkoR0B0T)-->''
* ''{{нп|ППІ Google|Google Prediction API||Google APIs}}''
* ''{{нп|SPSS Modeler|IBM SPSS Modeler}}''
* ''[[KXEN|KXEN Modeler]]''
* ''{{нп|LIONsolver}}
* ''[[Mathematica]]''
* ''[[MATLAB]]''
* ''{{нп|Neural Designer}}''
* ''{{нп|NeuroSolutions}}''
* ''{{нп|Oracle Data Mining}}''
* ''{{нп|Oracle Cloud#Платформа як послуга|Oracle AI Platform Cloud Service||Oracle Cloud#Platform as a Service (PaaS)}}''
* ''{{нп|PolyAnalyst}}''
* ''{{нп|RCASE}}''
* ''{{нп|SAS (програмне забезпечення)#Компоненти|SAS Enterprise Miner||SAS (software)#Components}}''
* ''{{нп|SequenceL}}''
* ''[[Splunk]]''
* ''[[STATISTICA]] Data Miner''
{{Div col end}}

== Журнали ==

* ''«[[Journal of Machine Learning Research]]»''
* ''«[[Machine Learning (академічний журнал)|Machine Learning]]»''
* ''«[[Nature Machine Intelligence]]»''
* ''«{{нп|Neural Computation|||Neural Computation (journal)}}»''
* ''«{{нп|IEEE Transactions on Pattern Analysis and Machine Intelligence}}»''

== Конференції ==

* {{нп|Конференція АРШІ зі штучного інтелекту|||AAAI Conference on Artificial Intelligence}}
* {{нп|Асоціація з обчислювальної лінгвістики|||Association for Computational Linguistics}} ({{lang-en|ACL}})
* {{нп|Європейська конференція з машинного навчання та принципів і практики виявляння знань у базах даних|||European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases}} ({{lang-en|ECML PKDD}})
* {{нп|Міжнародна конференція з методів обчислювального інтелекту для біоінформатики та біостатистики|||International Conference on Computational Intelligence Methods for Bioinformatics and Biostatistics}} ({{lang-en|CIBB}})
* {{нп|Міжнародна конференція з машинного навчання|||International Conference on Machine Learning}} ({{lang-en|ICML}})
* [[Міжнародна конференція з навчання подань]] ({{lang-en|ICLR}})
* {{нп|Міжнародна конференція з інтелектуальних роботів та систем|||International Conference on Intelligent Robots and Systems}} ({{lang-en|IROS}})
* {{нп|Конференція з виявляння знань та добування даних|||Conference on Knowledge Discovery and Data Mining}} ({{lang-en|KDD}})
* {{нп|Конференція з нейронних систем обробки інформації|||Conference on Neural Information Processing Systems}} ({{lang-en|NeurIPS}})

== Див. також ==

* [[Автоматизоване машинне навчання]]&nbsp;— процес автоматизації машинного навчання
* [[Великі дані]]&nbsp;— інформаційні ресурси, характеризовані великим обсягом, швидкістю та різноманіттям
* {{нп|Диференційовне програмування|||Differentiable programming}}&nbsp;— парадигма програмування
* [[Квантове машинне навчання]]
* {{нп|Керування силою|||Force control}}
* {{нп|Перелік важливих публікацій з машинного навчання||fr|Liste de publications importantes en informatique#Intelligence artificielle}}
* [[Список наборів даних для досліджень з машинного навчання]]&nbsp;— ''OAIS'' 2.0

== Примітки ==
{{Reflist|30em|refs=
<ref name="Синєглазов2022">{{cite book|url=https://ela.kpi.ua/bitstream/123456789/52775/1/Metody.pdf|last1=Синєглазов|first=Віктор|last2=Чумаченко|first2=Олена|year=2022|title=Методи та технології напівкерованого навчання: Курс лекцій|editor-last1=Бідюк|editor-first1=П.&nbsp;І.|editor-link1=Бідюк Петро Іванович|editor-last2=Шугалей|editor-first2=Л.&nbsp;П.|publisher=[[НТУУ «КПІ ім. Ігоря Сікорського»]]|location=Київ|language=uk}}</ref>
<ref name="Дуда2018">{{cite conference|url=http://elibrary.kdpu.edu.ua/bitstream/123456789/2876/1/isdmci_2018.pdf#page=160|last1=Дуда|first1=О.&nbsp;М.|last2=Кунанець|first2=Н.&nbsp;Е.|last3=Мацюк|first3=О.&nbsp;В.|last4=Пасічник|first4=В.&nbsp;В.|title=Методи аналітичного опрацювання big data|conference=Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту|date=21—27 травня 2018|location=Залізний Порт|isbn=978-617-7573-17-2|pages=159|language=uk}}</ref>
<ref name="Копивницька2023">{{cite journal|last1=Кропивницька|first1=В.&nbsp;Б.|last2=Магас|first2=Д.&nbsp;М.|date=30 квітня 2023|title=Напівкероване машинне навчання для виявлення несправностей нафтогазопроводів|url=https://moderntechno.de/index.php/meit/article/view/meit26-01-010|journal=Modern engineering and innovative technologies|volume=1|issue=18|pages=33—36|doi=10.30890/2567-5273.2023-26-01-010|language=uk}}</ref>
<ref name="В'юненко2021">{{cite conference|url=https://dspace.univd.edu.ua/bitstream/handle/123456789/10496/Aviatsiia_Promyslovist_Suspilstvo_1.09_2021.pdf?sequence=7&isAllowed=y#page=167|last=В'юненко|first1=О.&nbsp;Б.|last2=Виганяйло|first2=С.&nbsp;М.|title=Інновації та загальні проблеми підвищення рівня кібербезпеки|conference=II Міжнародна науково-практична конференція «Авіація, промисловість, суспільство»|editor-last1=Сокуренко|editor-first1=В.&nbsp;В.|editor-last2=Швець|editor-first2=Д.&nbsp;В.|editor-last3=Могілевський|editor-first3=Л.&nbsp;В.|editor-last4=Шульга|editor-first4=В.&nbsp;П.|editor-last5=Яковлєв|editor-first5=Р.&nbsp;П.|editor-last6=Шмельов|editor-first6=Ю.&nbsp;М.|volume=1|publisher=МВС України, [[Харківський національний університет внутрішніх справ]], [[Кременчуцький льотний коледж]]|date=12 травня 2021|isbn=978-966-610-243-3|pages=169|language=uk}}</ref>
<ref name="Хорошилов2019">{{cite journal|last1=Хорошилов|first=С.&nbsp;В.|last2=Редька|first2=М.&nbsp;О.|year=2019|title=Інтелектуальне керування орієнтацією космічних апаратів із використанням навчання з підкріпленням|url=https://fragen.quest/blog/QY15idvdmL2VnYu5SZjFGczR2LvoDc0/xmlui/bitstream/123456789/174081/1/03-Khoroshylov.pdf|journal=Технічна механіка|issue=4|publisher=Інститут технічної механіки [[Національна академія наук України|Національної академії наук України]] та [[Державне космічне агентство України|Державного космічного агентства України]]|location=Дніпро|doi=10.15407/itm2019.04.029|language=uk|url-status=dead}}</ref>
<ref name="Клейн2023">{{cite thesis|last=Клейн|first=О.&nbsp;М.|year=2023|title=Метод та засоби виявлення аномалій в кіберфізичних системах комп’ютерного зору|url=http://elar.khmnu.edu.ua/handle/123456789/13653|type=кваліфікаційна робота магістра|publisher=[[Хмельницький національний університет]]|location=Хмельницький|language=uk}}</ref>
}}

== Джерела ==

* {{cite book
| last = Domingos | first = Pedro | author-link = Педро Домінгуш
| title =  The Master Algorithm: How the Quest for the Ultimate Learning Machine Will Remake Our World
| url = https://archive.org/details/masteralgorithmh0000domi_q9v1
| date = September 22, 2015
| publisher = [[Basic Books]]
| isbn = 978-0465065707
| language = en
| ref = harv
}}
* {{cite book|last=Nilsson|first=Nils|author-link=Нільс Нільссон (дослідник)|year=1998|title=Artificial Intelligence: A New Synthesis|url=https://archive.org/details/artificialintell0000nils|url-access=registration|publisher=Morgan Kaufmann|isbn=978-1-55860-467-4|access-date=18 листопада 2019|archive-date=26 липня 2020|archive-url=https://web.archive.org/web/20200726131654/https://archive.org/details/artificialintell0000nils|url-status=live|language=en}}
* {{Russell Norvig 2003}}.
* {{cite book|first1=David|last1=Poole|first2=Alan|last2=Mackworth|author2-link=Алан Макворт|first3=Randy|last3=Goebel|year=1998|title=Computational Intelligence: A Logical Approach|publisher=Oxford University Press|location=New York|isbn=978-0-19-510270-3|url=https://archive.org/details/computationalint00pool|access-date=22 серпня 2020|archive-date=26 липня 2020|archive-url=https://web.archive.org/web/20200726131436/https://archive.org/details/computationalint00pool|url-status=live|language=en}}

== Література ==

{{refbegin|30em}}
*  Nils J. Nilsson, ''[https://ai.stanford.edu/people/nilsson/mlbook.html Introduction to Machine Learning] {{Webarchive|url=https://web.archive.org/web/20190816182600/http://ai.stanford.edu/people/nilsson/mlbook.html |date=2019-08-16 }}''. {{ref-en}}
* {{нп|Тревор Гасті|Trevor Hastie||Trevor Hastie}}, {{нп|Роберт Тібширані|Robert Tibshirani||Robert Tibshirani}} and {{нп|Джером Гарольд Фрідман|Jerome H. Friedman||Jerome H. Friedman}} (2001). ''[https://web.stanford.edu/~hastie/ElemStatLearn/ The Elements of Statistical Learning] {{Webarchive|url=https://web.archive.org/web/20131027220938/http://www-stat.stanford.edu/%7Etibs/ElemStatLearn// |date=2013-10-27 }}'', Springer. {{ISBN|0-387-95284-5}}. {{ref-en}}
* {{нп|Педро Домінгуш|Pedro Domingos||Pedro Domingos}} (September 2015), ''{{нп|Верховний алгоритм|The Master Algorithm||The Master Algorithm}}'', Basic Books, {{ISBN|978-0-465-06570-7}} {{ref-en}}
* Ian H. Witten and Eibe Frank (2011). ''Data Mining: Practical machine learning tools and techniques'' Morgan Kaufmann, 664pp., {{ISBN|978-0-12-374856-0}}. {{ref-en}}
* Ethem Alpaydin (2004). ''Introduction to Machine Learning'', MIT Press, {{ISBN|978-0-262-01243-0}}. {{ref-en}}
* {{нп|Девід МакКей|David J. C. MacKay||David J. C. MacKay}}. ''[http://www.inference.phy.cam.ac.uk/mackay/itila/book.html Information Theory, Inference, and Learning Algorithms] {{Webarchive|url=https://web.archive.org/web/20160217105359/http://www.inference.phy.cam.ac.uk/mackay/itila/book.html |date=2016-02-17 }}'' Cambridge: Cambridge University Press, 2003. {{ISBN|0-521-64298-1}} {{ref-en}}
* {{нп|Річард Дуда|Richard O. Duda||Richard O. Duda}}, {{нп|Пітер Гарт|Peter E. Hart||Peter E. Hart}}, David G. Stork (2001) ''Pattern classification'' (2nd edition), Wiley, New York, {{ISBN|0-471-05669-3}}. {{ref-en}}
* {{нп|Крістофер Бішоп|Christopher Bishop||Christopher Bishop}} (1995). ''Neural Networks for Pattern Recognition'', Oxford University Press. {{ISBN|0-19-853864-2}}. {{ref-en}}
* Stuart Russell & Peter Norvig, (2009). ''[http://aima.cs.berkeley.edu/ Artificial Intelligence – A Modern Approach] {{Webarchive|url=https://web.archive.org/web/20110228023805/http://aima.cs.berkeley.edu/ |date=2011-02-28 }}''. Pearson, {{ISBN|9789332543515}}. {{ref-en}}
* {{нп|Рей Соломонов|Ray Solomonoff||Ray Solomonoff}}, ''An Inductive Inference Machine'', IRE Convention Record, Section on Information Theory, Part 2, pp., 56–62, 1957. {{ref-en}}
* {{нп|Рей Соломонов|Ray Solomonoff||Ray Solomonoff}}, ''[http://world.std.com/~rjs/indinf56.pdf An Inductive Inference Machine] {{Webarchive|url=https://web.archive.org/web/20110426161749/http://world.std.com/~rjs/indinf56.pdf |date=2011-04-26 }}'' A privately circulated report from the 1956 {{нп|Дартмутський семінар|Dartmouth Summer Research Conference on AI||Dartmouth workshop}}. {{ref-en}}
* Kevin P. Murphy (2021). ''[https://probml.github.io/pml-book/book1.html Probabilistic Machine Learning: An Introduction] {{Webarchive|url=https://web.archive.org/web/20210411153246/https://probml.github.io/pml-book/book1.html |date=2021-04-11 }}'', MIT Press. {{ref-en}}
{{Refend}}

== Посилання ==
{{Commonscat}}

* {{Wikiquote-inline}}
* [https://web.archive.org/web/20171230081341/http://machinelearning.org/ Міжнародна спільнота машинного навчання] {{ref-en}}
* [https://mloss.org/ ''mloss'']&nbsp;— академічна база даних відкритого програмного забезпечення для машинного навчання. {{ref-en}}

{{Диференційовні обчислення}}
{{Інформатика}}
{{Бібліоінформація}}

[[Категорія:Машинне навчання| ]]
[[Категорія:Кібернетика]]
[[Категорія:Навчання]]