Ймовірнісна класифікація

У машинному навчанні, ймові́рнісний класифіка́тор (Шаблон:Lang-en) — це класифікатор, здатний для заданого зразка входу передбачувати розподіл імовірності над множиною класів, а не просто видавати найправдоподібніший клас, до якого повинен був би належати цей зразок. Імовірнісні класифікатори забезпечують класифікацію зі ступенем упевненості, що може бути корисним як саме по собі, так і при поєднанні класифікаторів у ансамблі.

Типи класифікації

Формально, «звичайний» класифікатор є якимось правилом або функцією, яка призначає зразкові Шаблон:Mvar мітку класу Шаблон:Mvar:

$\hat{y}=f(x)$

Зразки походять із якоїсь множини Шаблон:Mvar (наприклад, множини всіх документів, або множини всіх зображень), тоді як мітки класів формують скінченну множину Шаблон:Mvar, визначену до тренування.

Ймовірнісні ж класифікатори узагальнюють це поняття класифікаторів: замість функцій, вони є умовними розподілами $\mathrm{Pr}(Y|X)$, що означає, що для заданого $x\in X$ вони призначають імовірності всім $y\in Y$ (і ці ймовірності дають у сумі одиницю). «Жорстка» класифікація тоді може здійснюватися шляхом застосуванням правила оптимального рішенняШаблон:Rp

$\hat{y}={\arg \max }_y\mathrm{Pr}(Y=y|X)$

або, українською, передбачуваний клас є тим, який має найвищу ймовірність.

Бінарні ймовірнісні класифікатори в статистиці також називають Шаблон:Нп. В економетрії ймовірнісну класифікацію в цілому називають дискретним вибором.

Деякі моделі класифікації, такі як наївний баєсів класифікатор, логістична регресія та багатошарові перцептрони (при тренуванні за відповідної функції втрат) є природно ймовірнісними. Інші моделі, такі як опорно-векторні машини, такими не є, але існують методи перетворення їх на ймовірнісні класифікатори.

Породжувальне та обумовлювальне тренування

Деякі моделі, такі як логістична регресія, є тренованими обумовлювально: вони оптимізують на тренувальному наборі безпосередньо умовну ймовірність $\mathrm{Pr}(Y|X)$ (див. мінімізацію емпіричного ризику). Інші класифікатори, такі як наївний баєсів, тренуються породжувально: під час тренування знаходяться розподіл обумовлення класами $\mathrm{Pr}(X|Y)$ та апріорне класів $\mathrm{Pr}(Y)$, а умовний розподіл $\mathrm{Pr}(Y|X)$ виводиться через правило Баєса.Шаблон:Rp

Калібрування ймовірності

Не всі класифікаційні моделі є природно ймовірнісними, а деякі, які є, зокрема, наївні баєсові класифікатори, дерева рішень та методи підсилювання, виробляють спотворені розподіли ймовірностей класів. У випадку дерев рішень, де Шаблон:Math є пропорцією тренувальних зразків з міткою Шаблон:Mvar у листку, де закінчується Шаблон:Math, ці спотворення виникають тому, що алгоритми навчання, такі як C4.5 або Шаблон:Нп, явно спрямовані на вироблення гомогенних листків (даючи ймовірності, близькі до нуля або одиниці, й відтак високий зсув) при одночасному використанні незначної кількості зразків для оцінки доречної пропорції (висока дисперсія).

Для класифікаційних моделей, які виробляють на своїх виходах якогось роду «бал» (такий як спотворений розподіл імовірності, або «знак відстані до гіперплощини» в опорно-векторній машині), існує кілька методів, які перетворюють ці бали на правильно Шаблон:Нп ймовірності приналежності до класів.

Для бінарного випадку загальний підхід полягає в застосуванні Шаблон:Нп, яке навчається моделі логістичної регресії на балах. Альтернативний метод із застосуванням Шаблон:Нп, як правило, перевершує метод Платта, коли доступно достатньо тренувальних даних.

У Шаблон:Нп випадку можна використовувати зведення до бінарних задач з наступним одновимірним калібруванням за описаним вище алгоритмом, і подальшим застосуванням алгоритму попарного з'єднання Гасті та Тібширані.

Оцінка ймовірнісної класифікації

До часто вживаних функцій втрат для ймовірнісної класифікації належать Шаблон:Нп та середньоквадратична похибка між передбаченими та справжніми розподілами ймовірності. Перша з них зазвичай використовується для тренування логістичних моделей.

Метод, який використовується для призначення балів парам передбачених імовірностей та фактичних результатів розподілів, так, що різні передбачувальні методи можна порівнювати, називається Шаблон:Нп.