Перегляд вихідного коду сторінки Пристосовування області визначення

{{short description|Область, пов'язана з машинним та передавальним навчанням}}
{{technical|дата=Квітень 2021}}

[[Файл:Transfer_learning_and_domain_adaptation uk.svg|міні| Відмінності між звичайною постановкою машинного навчання, та передавальним навчанням, і позиціювання пристосовування області визначення.]]
'''Пристосо́вування о́бласті ви́значення''' ({{lang-en|domain adaptation}})<ref>{{Cite book
|url=https://www.elsevier.com/books/advances-in-domain-adaptation-theory/redko/978-1-78548-236-6
|title=Advances in Domain Adaptation Theory
|last=Redko
|first=Ievgen
|last2=Morvant
|first2=Emilie
|last3=Habrard
|first3=Amaury
|last4=Sebban
|first4=Marc
|last5=Bennani
|first5=Younès
|date=2019
|publisher=ISTE Press - Elsevier
|pages=187
|isbn=9781785482366
|accessdate=12 квітня 2021
|archive-date=12 квітня 2021
|archive-url=https://web.archive.org/web/20210412231827/https://www.elsevier.com/books/advances-in-domain-adaptation-theory/redko/978-1-78548-236-6
}} {{ref-en}}</ref><ref>{{Cite book
|title=Conference on Neural Information Processing Systems (NIPS)
|last=Bridle
|first=John S.
|last2=Cox
|first2=Stephen J
|date=1990
|pages=234–240
|chapter=RecNorm: Simultaneous normalisation and classification applied to speech recognition
}} {{ref-en}}</ref><ref>{{Cite journal|last=Ben-David|first=Shai|last2=Blitzer|first2=John|last3=Crammer|first3=Koby|last4=Kulesza|first4=Alex|last5=Pereira|first5=Fernando|last6=Wortman Vaughan|first6=Jennifer|date=2010|title=A theory of learning from different domains|url=https://link.springer.com/content/pdf/10.1007/s10994-009-5152-4.pdf|journal=Machine Learning|volume=79|issue=1–2|pages=151–175|doi=10.1007/s10994-009-5152-4|accessdate=12 квітня 2021|archive-date=11 жовтня 2021|archive-url=https://web.archive.org/web/20211011091324/https://link.springer.com/content/pdf/10.1007/s10994-009-5152-4.pdf}} {{ref-en}}</ref>&nbsp;— це область, пов'язана з [[Машинне навчання|машинним]] та [[Передавальне навчання|передавальним навчанням]]. Цей сценарій виникає тоді, коли ми маємо на меті навчання з первинного розподілу даних ефективної моделі на іншому (але пов'язаному) цільовому розподілі даних. Наприклад, одна з підзадач поширеної [[Технології боротьби зі спамом|задачі фільтрування спаму]] полягає в пристосовуванні моделі від одного користувача (первинний розподіл) до нового користувача, який отримує суттєво відмінні електронні листи (цільовий розподіл). Пристосовування області визначення виявилося корисним і для навчання непов'язаних джерел.<ref name=":bmdl">{{Cite arXiv |eprint = 1810.09433|last1 = Hajiramezanali|first1 = Ehsan|title = Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data|author2 = Siamak Zamani Dadaneh|last3 = Karbalayghareh|first3 = Alireza|last4 = Zhou|first4 = Mingyuan|last5 = Qian|first5 = Xiaoning|class = stat.ML|year = 2018}} {{ref-en}}</ref> Зауважте, що, коли доступно більше одного первинного розподілу, цю задачу називають багатоджерельним пристосовуванням області визначення ({{lang-en|multi-source domain adaptation}}).<ref>{{Cite journal|last=Crammer|first=Koby|last2=Kearns|first2=Michael|last3=Wortman|first3=Jeniifer|date=2008|title=Learning from Multiple Sources|url=http://www.jmlr.org/papers/volume9/crammer08a/crammer08a.pdf|journal=Journal of Machine Learning Research|volume=9|pages=1757–1774|accessdate=12 квітня 2021|archive-date=12 квітня 2021|archive-url=https://web.archive.org/web/20210412233514/https://www.jmlr.org/papers/volume9/crammer08a/crammer08a.pdf}} {{ref-en}}</ref>

== Огляд ==
Пристосовування області визначення&nbsp;— це здатність застосовувати алгоритм, навчений в одній або декількох «первинних областях визначення» ({{lang-en|"source domains"}}), до іншої (але пов'язаної) «цільової області визначення» ({{lang-en|"target domain"}}). Пристосовування області визначення є підкатегорією передавального навчання. У пристосовуванні області визначення як первинні, так і цільові області визначення мають один і той же [[Ознака (машинне навчання)|простір ознак]] (але різні розподіли), а передавальне навчання, на відміну від цього, включає також і випадки, коли простір ознак цільової області визначення від первинного простору чи просторів ознак відрізняється.<ref name="survey multi-source">{{Cite journal|last=Sun|first=Shiliang|last2=Shi|first2=Honglei|last3=Wu|first3=Yuanbin|date=July 2015|title=A survey of multi-source domain adaptation|journal=Information Fusion|volume=24|pages=84–92|doi=10.1016/j.inffus.2014.12.003}} {{ref-en}}</ref>

=== Зсув області визначення ===
'''Зсув о́бласті ви́значення''' ({{lang-en|domain shift}}),<ref name="frustratingly">Sun, Baochen, Jiashi Feng, and Kate Saenko. «Return of frustratingly easy domain adaptation.» In Thirtieth AAAI Conference on Artificial Intelligence. 2016. {{ref-en}}</ref> або '''розпо́діловий зсув''' ({{lang-en|distributional shift}}),<ref>Amodei, Dario, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman, and Dan Mané. «Concrete problems in AI safety.» arXiv preprint arXiv:1606.06565 (2016). {{ref-en}}</ref>&nbsp;— це зміна в розподілі даних між тренувальним набором даних алгоритму та набором даних, з яким він стикається при розгортанні. Ці зсуви областей визначення є поширеними в практичному застосуванні штучного інтелекту. Звичайні алгоритми машинного навчання часто погано пристосовуються до зсувів областей визначення. Сучасна спільнота машинного навчання має багато різних стратегій намагання досягнення кращого пристосування області визначення.

=== Приклади ===

* Алгоритмові, натренованому на новинах, може довестися пристосовуватися до нового набору біомедичних документів.<ref>Daumé III, Hal. «Frustratingly easy domain adaptation.» arXiv preprint arXiv:0907.1815 (2009). {{ref-en}}</ref>
* Спамовий фільтр, натренований на певній групі користувачів електронної пошти під час тренування, при розгортанні мусить пристосовуватися до нового цільового користувача.<ref>Ben-David, Shai, John Blitzer, Koby Crammer, and Fernando Pereira. «Analysis of representations for domain adaptation.» In Advances in neural information processing systems, pp. 137—144. 2007. {{ref-en}}</ref>
* Застосування алгоритмів встановлювання діагнозу за допомогою ШІ, натренованих на мічених даних, пов'язаних із попередніми захворюваннями, до нових немічених даних, пов'язаних із [[Пандемія коронавірусної хвороби 2019|пандемією ''COVID''-19]].<ref>{{Cite journal|last=Hu|first=Yipeng|last2=Jacob|first2=Joseph|last3=Parker|first3=Geoffrey J. M.|last4=Hawkes|first4=David J.|last5=Hurst|first5=John R.|last6=Stoyanov|first6=Danail|date=June 2020|title=The challenges of deploying artificial intelligence models in a rapidly evolving pandemic|url=https://www.nature.com/articles/s42256-020-0185-2|journal=Nature Machine Intelligence|language=en|volume=2|issue=6|pages=298–300|doi=10.1038/s42256-020-0185-2|issn=2522-5839|doi-access=free|accessdate=12 квітня 2021|archive-date=25 лютого 2021|archive-url=https://web.archive.org/web/20210225060245/https://www.nature.com/articles/s42256-020-0185-2}} {{ref-en}}</ref>
* Раптові соціальні зміни, такі як спалах пандемії, можуть створювати зсув області визначення та спричинювати збої алгоритмів машинного навчання, натренованих на вже застарілих даних про споживачів, і вимагати втручання.<ref>{{Cite news|last=Matthews|first=Dylan|title=AI disaster won’t look like the Terminator. It’ll be creepier.|url=https://www.vox.com/future-perfect/2019/3/26/18281297/ai-artificial-intelligence-safety-disaster-scenarios|accessdate=21 червня 2020|work=Vox|date=26 березня 2019|language=en|archive-date=27 травня 2020|archive-url=https://web.archive.org/web/20200527084858/https://www.vox.com/future-perfect/2019/3/26/18281297/ai-artificial-intelligence-safety-disaster-scenarios}} {{ref-en}}</ref><ref>{{Cite news|title=Our weird behavior during the pandemic is messing with AI models|url=https://www.technologyreview.com/2020/05/11/1001563/covid-pandemic-broken-ai-machine-learning-amazon-retail-fraud-humans-in-the-loop/|accessdate=21 червня 2020|work=MIT Technology Review|date=11 травня 2020|language=en|archive-date=22 червня 2020|archive-url=https://web.archive.org/web/20200622023643/https://www.technologyreview.com/2020/05/11/1001563/covid-pandemic-broken-ai-machine-learning-amazon-retail-fraud-humans-in-the-loop}} {{ref-en}}</ref>

До інших застосувань належать встановлювання положення за Wi-Fi та багато аспектів [[Комп'ютерне бачення|комп'ютерного бачення]].<ref name="survey multi-source"/>

== Формальний виклад ==
Нехай <math>X</math> є простором входу (або простором опису, {{lang-en|input space, description space}}), і нехай <math>Y</math> є простором виходу (або простором міток, {{lang-en|output space, label space}}). Завданням алгоритму машинного навчання є навчитися математичної моделі (гіпотези) <math>h:X\to Y</math>, здатної приписувати мітку з <math>Y</math> прикладові з <math>X</math>. Навчання цієї моделі відбувається з навчальної вибірки <math>S=\{(x_i,y_i) \in (X \times Y)\}_{i=1}^m</math>.

Зазвичай за [[Кероване навчання|керованого навчання]] (без пристосовування області визначення) ми виходимо з того, що ці зразки <math>(x_i,y_i)\in S</math> витягуються [[н. о. р.]] з розподілу <math>D_S</math> носія <math>X\times Y</math> (невідомого та незмінного). Завдання відтак полягає в тім, щоби навчитися (з <math>S</math>) такої <math>h</math>, щоби вона припускалася найменшої можливої похибки при міченні нових зразків, що надходять із розподілу <math>D_S</math> .

Головна відмінність між керованим навчанням та пристосовуванням області визначення полягає в тім, що в другій ситуації ми вивчаємо два різні (але пов'язані) розподіли <math>D_S</math> і <math>D_T</math> на <math>X\times Y</math>{{cn|дата=Квітень 2021}}. Завдання пристосовування області визначення відтак складається з передавання знань з первинної області визначення <math>D_S</math> до цільової <math>D_T</math>. Метою відтак є навчитися такої <math>h</math> (з мічених або немічених зразків, що надходять із двох областей визначення), щоби вона припускалася якомога меншої похибки на цільовій області визначення <math>D_T</math>{{cn|дата=Квітень 2021}}.

Головною проблемою є наступна: якщо модель навчається з первинної області визначення, якою буде її здатність правильно мітити дані, що надходять із цільової області визначення?

== Різні типи пристосовування області визначення ==
Існує кілька контекстів пристосовування області визначення. Вони відрізняються інформацією, яка враховується для цільової області визначення.

# '''Спонта́нне пристосо́вування о́бласті ви́значення''' ({{lang-en|unsupervised domain adaptation}}): навчальна вибірка містить набір мічених первинних зразків, набір немічених первинних зразків, та набір немічених цільових зразків.
# '''Напівавтомати́чне присто́совування о́бласті ви́значення''' ({{lang-en|semi-supervised domain adaptation}}): у цій ситуації ми також розглядаємо «невеликий» набір мічених цільових зразків.
# '''Керо́ване пристосо́вування о́бласті ви́значення''' ({{lang-en|supervised domain adaptation}}): усі зразки, що розглядаються, мають бути міченими.

== Чотири алгоритмічні принципи ==

=== Алгоритми перезважування ===
Мета полягає в перезважуванні первинної міченої вибірки таким чином, щоби вона «виглядала як» цільова вибірка (з точки зору розгляданої міри похибки).<ref>{{Cite book
|title=Conference on Neural Information Processing Systems (NIPS)
|last=Huang
|first=Jiayuan
|last2=Smola
|first2=Alexander J.
|last3=Gretton
|first3=Arthur
|last4=Borgwardt
|first4=Karster M.
|last5=Schölkopf
|first5=Bernhard
|date=2006
|pages=601–608
|chapter=Correcting Sample Selection Bias by Unlabeled Data
}} {{ref-en}}</ref><ref>{{Cite journal|last=Shimodaira|first=Hidetoshi|date=2000|title=Improving predictive inference under covariate shift by weighting the log-likelihood function|url=https://www.researchgate.net/publication/230710850|journal=Journal of Statistical Planning and Inference|volume=90|issue=2|pages=227–244|doi=10.1016/S0378-3758(00)00115-4}} {{ref-en}}</ref>

=== Ітеративні алгоритми ===
Цей метод для пристосовування полягає в ітеративному «автоматичному міченні» цільових зразків. Принцип є простим:

# модель <math>h</math> навчається з мічених зразків;
# <math>h</math> автоматично мітить деякі цільові зразки;
# нова модель навчається з нових мічених зразків.

Зауважте, що існують й інші ітеративні підходи, але вони зазвичай потребують мічених цільових зразків.<ref>{{Cite conference|isbn=978-1-4503-5544-5}} {{ref-en}}</ref><ref>{{Cite journal|last=Arief-Ang|first=I.B.|last2=Hamilton|first2=M.|last3=Salim|first3=F.D.|date=2018-12-01|title=A Scalable Room Occupancy Prediction with Transferable Time Series Decomposition of CO2 Sensor Data|journal=ACM Transactions on Sensor Networks|volume=14|issue=3–4|pages=21:1–21:28|doi=10.1145/3217214}} {{ref-en}}</ref>

=== Пошук спільного простору подань ===
Метою є знайти або побудувати спільний простір подань ({{lang-en|common representation space}}) для двох областей визначення. Мета полягає в отриманні простору, в якому ці області визначення перебуватимуть близько одна до одної, за умови збереження доброї продуктивності в первинній задачі маркування. Цього можливо досягати за допомогою застосування методів {{нп|Змагальне машинне навчання|змагального машинного навчання|en|Adversarial machine learning}}, де подання ознак із вибірок у різних областях визначення заохочуються бути нерозрізненними.<ref name="Domain-Adversarial Training">{{Cite journal|last=Ganin|first=Yaroslav|last2=Ustinova|first2=Evgeniya|last3=Ajakan|first3=Hana|last4=Germain|first4=Pascal|last5=Larochelle|first5=Hugo|last6=Laviolette|first6=François|last7=Marchand|first7=Mario|last8=Lempitsky|first8=Victor|year=2016|title=Domain-Adversarial Training of Neural Networks|url=http://jmlr.org/papers/volume17/15-239/15-239.pdf|format=PDF|journal=Journal of Machine Learning Research|volume=17|pages=1–35|accessdate=12 квітня 2021|archive-date=12 квітня 2021|archive-url=https://web.archive.org/web/20210412225627/https://jmlr.org/papers/volume17/15-239/15-239.pdf}} {{ref-en}}</ref><ref name="ADA">{{Cite arXiv |eprint = 1703.01461|last1 = Hajiramezanali|first1 = Ehsan|title = Addressing Appearance Change in Outdoor Robotics with Adversarial Domain Adaptation|author2 = Siamak Zamani Dadaneh|last3 = Karbalayghareh|first3 = Alireza|last4 = Zhou|first4 = Mingyuan|last5 = Qian|first5 = Xiaoning|class = cs.RO|year = 2017}} {{ref-en}}</ref>

=== Ієрархічна баєсова модель ===
Метою є побудувати [[Баєсова ієрархічна модель|баєсову ієрархічну модель]] <math>p(n)</math>, що є по суті множниковою моделлю для чисел <math>n</math>, щоби вивести не залежні від області визначення латентні подання, які можуть містити як специфічні для областей визначення, так і глобально спільні латентні множники.<ref name=":bmdl"/>

== Примітки ==
{{Примітки}}

[[Категорія:Машинне навчання]]