Передавальне навчання

Шаблон:Короткий опис Передава́льне навча́ння (ПН, Шаблон:Lang-en) — це дослідницька задача в машинному навчанні (МН), зосереджена на зберіганні знань, отриманих під час розв'язання однієї задачі, та застосуванні їх до іншої, але пов'язаної задачі. Наприклад, знання, отримані під час навчання розпізнаванню легкових автомобілів, може бути застосовано при намаганні розпізнавати вантажівки. Цей напрямок досліджень має певне відношення до тривалої історії психологічної літератури з передавання навчання, хоча практичні зв'язки між цими двома напрямами є обмеженими. З практичної точки зору, повторне використання або передавання інформації з раніше навчених задач для навчання нових задач має потенціал значно покращувати ефективність вибірки агента навчання з підкріпленням.

Історія

1976 року Стево Бозіновський та Анте Фулгосі опублікували працю, в якій чітко розглянуто питання передавального навчання в тренуванні нейронних мереж. У цій праці наведено математичну та геометричну модель передавального навчання. 1981 року було зроблено звіт про застосування передавального навчання в тренуванні нейронної мережі на наборі зображень, що представляють літери комп'ютерних терміналів. Було експериментально продемонстровано як позитивне, так і негативне передавальне навчання.

1993 року Лоріен Пратт опублікував статтю про передавання в машиннім навчанні, сформулювавши алгоритм передавання на основі розрізнювальності (Шаблон:Lang-en).

1997 року Пратт та Себастьян Трун стали запрошеними редакторами спеціального випуску журналу «Machine Learning», присвяченого передавальному навчанню, а до 1998 року ця галузь розвинулася до включення Шаблон:Нп а також більш формального аналізу теоретичних основ. «Вчитися вчитися»Шаблон:Sfn під редакцією Труна та Пратта — це огляд цієї теми 1998 року.

Передавальне навчання знайшло застосування також і в когнітивістиці, а Пратта також запрошували 1996 року редагувати випуск журналу «Connection Science» про повторне використання нейронних мереж через передавання.

Ендрю Ин у своєму семінарі на NIPS 2016 сказав, щоби підкреслити важливість ПН, що воно буде наступним рушієм комерційного успіху МН після керованого навчання.

Визначення

Визначення передавального навчання задають у термінах областей визначення та задач. Область визначення $𝒟$ складається з простору ознак $𝒳$ та відособленого розподілу ймовірності $P(X)$, де $X=\{x_1,...,x_n\}\in 𝒳$. Для заданої конкретної області визначення $𝒟=\{𝒳,P(X)\}$ задача складається з двох складових: простору міток $𝒴$ та цільової передбачувальної функції $f:𝒳\to 𝒴$. Функцію $f$ використовують для передбачування відповідної мітки $f(x)$ нового примірника $x$. Цієї задачі, позначуваної через $𝒯=\{𝒴,f(x)\}$, навчаються з тренувальних даних, що складаються з пар $\{x_i,y_i\}$, де $x_i\in X$, а $y_i\in 𝒴$.

Для заданої первинної області визначення ${𝒟}_S$ та задачі навчання ${𝒯}_S$, цільової області визначення ${𝒟}_T$ та задачі навчання ${𝒯}_T$, де ${𝒟}_S\ne {𝒟}_T$, або ${𝒯}_S\ne {𝒯}_T$, передавальне навчання має на меті допомогти покращити навчання цільової передбачувальної функції $f_T(\cdot )$ в ${𝒟}_T$, використовуючи знання в ${𝒟}_S$ і ${𝒯}_S$.

Застосування

Існують доступні алгоритми для передавального навчання в Шаблон:Нп та баєсових мережах. Передавальне навчання також застосовували до виявляння підтипів раку, Шаблон:Нп, Шаблон:Нп, класифікації текстів, розпізнавання цифр, медичного унаочнювання та фільтрування спаму.

2020 року було виявлено, що, завдяки їхній подібній фізичній природі, є можливим передавальне навчання між електроміографічними (ЕМГ) сигналами від м'язів при класифікуванні поведінки електроенцефалографічних (ЕЕГ) мозкових хвиль з області Шаблон:Нп до області розпізнавання психічного стану. Було також зазначено, що цей взаємозв'язок працював і в зворотному напрямку, показуючи, що ЕЕГ також може подібним чином бути додатково використано для класифікування ЕМГ. Ці експерименти відзначали, що точність нейронних мереж та згорткових нейронних мереж покращилася завдяки передавальному навчанню як у першу епоху (до будь-якого тренування, тобто порівняно зі стандартним випадковим розподілом ваг), так і в асимптоті (у кінці процесу навчання). Тобто алгоритми вдосконалюються завдяки впливові іншої області визначення. Більше того, для досягнення кращої продуктивності кінцевий користувач попередньо натренованої моделі може змінювати структуру повноз'єднаних шарів.

Див. також

• Схрещування (генетичний алгоритм)
• Пристосовування області визначення
• Шаблон:Нп
• Шаблон:Нп
• Шаблон:Нп

Джерела

• Шаблон:Cite book Шаблон:Ref-en