Логістична регресія

Шаблон:Регресійний аналіз Логістична регресія (Шаблон:Lang-en) або лоґіт-регресія (Шаблон:Lang-en) — статистичний регресійний метод, що застосовують у випадку, коли залежна змінна є Шаблон:Нп, тобто може набувати тільки двох значень (0 або 1). При запровадженні порогового значення може знаходити застосування у класифікуванні.

Приклади

Прикладом може слугувати класифікація електронних листів на «спам» або «не спам». Метод також використовується у медицині, наприклад, для визначення чи є пухлина злоякісною, чи доброякісною.

Визначення логістичної моделі

Нехай є деяка випадкова величина $Y,$ що може набувати лише двох значень, які, як правило, позначаються цифрами 0 і 1. Нехай ця величина залежить від деякої множини пояснювальних змінних $x=(1,x_1,\dots ,x_n{)}^T.$ Залежність $Y,$ від $x_1,\dots ,x_n.$ можна визначити ввівши додаткову змінну y*, де $y^{*}={\theta }^{T}x={\theta }_0+{\theta }_1{x}_1+\dots +{\theta }_n{x}_n+\epsilon .$ Тоді:

$Y=\{\begin{array}{cc}0,& y^{*}⩽0\\ 1,& y^{*}>0\end{array}$

При визначенні логістичної моделі стохастичний доданок $\epsilon$ вважається випадковою величиною з логістичним розподілом ймовірностей. Відповідно для певних конкретних значень змінних $x^{*}=x_1^{*},\dots ,x_n^{*}$ одержується відповідне значення $y^{*}$ і ймовірність того, що $Y=1,$ така:

$p(Y=1)=p(y^{*}>0)=p({\theta }^T{x}^{*}+\epsilon >0)=p(\epsilon >-{\theta }^T{x}^{*})=p(\epsilon ⩽{\theta }^T{x}^{*})=\mathrm{\Lambda }({\theta }^T{x}^{*}).$

Передостання рівність випливає з симетричності логістичного розподілу, $\mathrm{\Lambda }$ позначає логістичну функцію — функцію розподілу логістичного розподілу:

$\mathrm{\Lambda }(x)=\frac{e^x}{1+e^x}=\frac{1}{1+e^{-x}}$

Таким чином для конкретного значення $x^i$ випадкова величина $Y^i,$ має розподіл Бернуллі: $Y^i\sim B(1,\mathrm{\Lambda }({\theta }^T{x}^i)).$

Логіт-модель задовольняє наступній умові:

$\ln \frac{p(1|X)}{1-p(1|X)}=\ln \frac{p(1|X)}{p(0|X)}=b_0+b_1{x}_1+...+b_J{x}_J$

Оцінка параметрів

Оцінка параметрів ${\theta }_0,{\theta }_1,...,{\theta }_n$ на основі деякої вибірки $(x^{(1)},Y^{(1)}),...,(x^{(m)},Y^{(m)})$, де $x^{(i)}\in {ℝ}^n$ — вектор значень незалежних змінних, а $Y^{(i)}\in \{0,1\}$ — відповідне їм значення $Y,$ як правило здійснюється за допомогою методу максимальної правдоподібності, згідно з яким вибираються параметри $\theta$, що максимізують значення функції правдоподібності на вибірці:

$\hat{\theta }={\text{argmax}}_{\theta }L(\theta )={\text{argmax}}_{\theta }\prod _{i=1}^m\mathrm{Pr}\{Y=Y^{(i)}|x=x^{(i)}\}.$

Максимізація функції правдоподібності еквівалентна максимізації її логарифма:

$\log L(\theta )=\sum _{i=1}^m\log \mathrm{Pr}\{Y=Y^{(i)}|x=x^{(i)}\}=\sum _{i=1}^m{Y}^{(i)}\log \mathrm{\Lambda }({\theta }^T{x}^{(i)})+(1-Y^{(i)})\log (1-\mathrm{\Lambda }({\theta }^T{x}^{(i)})).$

Для максимізації цієї функції може бути застосований, наприклад, метод градієнтного спуску, метод Ньютона чи стохастичний градієнтний спуск.

Примітки

Логістична функція: $\mathrm{\Lambda }(x)=\frac{1}{1+e^{-x}}$.

Див. також

• Логістичний розподіл

Література

• Alan. Agresti: Categorical Data Analysis. Wiley-Interscience, Nowy Jork, 2002. ISBN 0-471-36093-7.
• T. Amemiya: Advanced Econometrics. Harvard University Press, 1985. ISBN 0-674-00560-0.
• N. Balakrishnan: Handbook of the Logistic Distribution. Marcel Dekker, Inc., 1991. ISBN 978-0-8247-8587-1.
• William H. Green: Econometric Analysis, fifth edition. Prentice Hall, 2003. ISBN 0-13-066189-9.
• Hosmer, David W., Stanley Lemeshow (2000). Applied Logistic Regression, 2nd ed.. New York; Chichester, Wiley. ISBN 0-471-35632-8.
• Kleinbaum D.G., Logistic regression. A self-learning text, Springer-Verlag, 1994.

Шаблон:Статистика