Ядрова регресія

У статистиці ядрова регресія (Шаблон:Lang-en) — це Шаблон:Li методика оцінки умовного матсподівання випадкової величини. Завдання полягає в тому, щоб знайти нелінійну залежність між парою випадкових величин X і Y .

У будь-якій Шаблон:Li умовне сподівання змінної $Y$ відносно змінної $X$ можна записати:

$\mathrm{E}(Y\mid X)=m(X)$

де $m$ — невідомою функцією.

Ядрова регресія Надараї — Вотсона

Шаблон:Li та Шаблон:Li, обидва в 1964 році, запропонували оцінити $m$ як локально зважене середнє, використовуючи ядро як вагову функцію. Оцінка Надараї — Вотсона:

${\hat{m}}_h(x)=\frac{\sum _{i=1}^n{K}_h(x-x_i)y_i}{\sum _{i=1}^n{K}_h(x-x_i)}$

де $K_h(t)=\frac{1}{h}K\left(\frac{t}{h}\right)$ — ядро з пропускною спроможністю $h$ таке, що $K(\cdot )$ має порядок принаймні 1, тобто $\underset{-\mathrm{\infty }}{\overset{\mathrm{\infty }}{\int }}uK(u)du=0$ .

Виведення

Запишемо визначення умовного математичного сподівання,

$\mathrm{E}(Y\mid X=x)=\int yf(y\mid x)dy=\int y\frac{f(x,y)}{f(x)}dy$

ми оцінимо спільні розподіли $f(x,y)$ і $f(x)$ за допомогою ядрової оцінки густини з ядром K:

$\hat{f}(x,y)=\frac{1}{n}\sum _{i=1}^n{K}_h(x-x_i)K_h(y-y_i),$

$\hat{f}(x)=\frac{1}{n}\sum _{i=1}^n{K}_h(x-x_i),$

Отримуємо:

$\begin{array}{cc}\hat{\mathrm{E}}(Y\mid X=x)& =\int y\frac{\hat{f}(x,y)}{\hat{f}(x)}dy,\\ & =\int y\frac{\sum _{i=1}^n{K}_h(x-x_i)K_h(y-y_i)}{\sum _{j=1}^n{K}_h(x-x_j)}dy,\\ & =\frac{\sum _{i=1}^n{K}_h(x-x_i)\int y{K}_h(y-y_i)dy}{\sum _{j=1}^n{K}_h(x-x_j)},\\ & =\frac{\sum _{i=1}^n{K}_h(x-x_i)y_i}{\sum _{j=1}^n{K}_h(x-x_j)},\end{array}$

що і є оцінкою Надараї — Вотсона.

Ядрова оцінка Прістлі — Чао

${\hat{m}}_{PC}(x)=h^{-1}\sum _{i=2}^n(x_i-x_{i-1})K\left(\frac{x-x_i}{h}\right)y_i$

де $h$ це пропускна спроможність (або ж параметр згладжування).

Ядрова оцінка Гассера — Мюллера

${\hat{m}}_{GM}(x)=h^{-1}\sum _{i=1}^n\left[\underset{s_{i-1}}{\overset{s_i}{\int }}K\left(\frac{x-u}{h}\right)du\right]y_i$

де $s_i=\frac{x_{i-1}+x_i}{2}.$

Приклад

Оцінена регресійна функція

Цей приклад базується на канадських перехресних даних про заробітну плату, які складаються з випадкової вибірки, взятої із записів Канадського перепису громадського вжитку 1971 року для осіб чоловічої статі із загальною освітою (13 клас). Всього 205 спостереженьШаблон:Джерело.

На рисунку праворуч показано оцінену функцію регресії з використанням ядра Гауса другого порядку разом із межами асимптотичної мінливості.

Приклад з кодом

Наведені нижче команди мови програмування R використовують функцію npreg() для реалізації оптимального згладжування та створення рисунка, наведеного вище. Ці команди можна вводити в командному рядку просто скопіювавши.

install.packages("np")
library(np) # non parametric library
data(cps71)
attach(cps71)

m <- npreg(logwage~age)

plot(m, plot.errors.method="asymptotic",
     plot.errors.style="band",
     ylim=c(11, 15.2))

points(age, logwage, cex=.25)
detach(cps71)

Пов'язані

За словами Шаблон:Li, алгоритми, що використовуються в ядровій регресії, були незалежно розроблені та використані в нечітких системах: «З майже однаковим комп'ютерним алгоритмом нечіткі системи та ядрові регресії на основі густини, здається, були розроблені абсолютно незалежно одна від одної.»

Імплементація в статистичних пакетах

• Пакет математичних програм GNU Octave
• Julia: KernelEstimator.jl
• MATLAB: на цих сторінках доступний безкоштовний набір інструментів MATLAB із реалізацією ядрової регресії, ядрової оцінки густини, ядрової оцінки функції небезпеки та багатьох інших (цей набір інструментів є частиною книги ).
• Python: клас KernelReg для змішаних типів даних у підпакеті statsmodels.nonparametric (включає інші класи, пов'язані з густиною ядра), пакет kernel_regression як розширення scikit-learn (неефективний з точки зору пам'яті, корисний лише для невеликих наборів даних)
• R: функція npreg пакета np може виконувати ядрову регресію.
• Stata: npregress, kernreg2

Див. також

• Згладжувач ядра
• Шаблон:Li

Література

• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book
• Шаблон:Cite book

Посилання

• Scale-adaptive kernel regression (для Matlab).
• Tutorial of Kernel regression using spreadsheet (для Microsoft Excel).
• An online kernel regression demonstration Requires .NET 3.0 or later.
• Kernel regression with automatic bandwidth selection (в Python)