Ядрове згладжування

Ядрове згладжування або згладження (Шаблон:Lang-en) — це статистичний метод оцінки дійснозначної функції $f:{ℝ}^p\to ℝ$ як середньозважене значення сусідніх спостережених точок. Ваги задаються ядром, так щоб найближчі точки отримали найвищі ваги. Оцінювана функція є гладкою, а рівень гладкості задається єдиним параметром. Ядрове згладжування є типом зваженого рухомого середнього.

Означення

Нехай $K_{h_{\lambda }}(X_0,X)$ ядро, задане формулою

$K_{h_{\lambda }}(X_0,X)=D\left(\frac{\Vert X-X_0\Vert }{h_{\lambda }(X_0)}\right)$

де:

• $X,X_0\in {ℝ}^p$
• $\Vert \cdot \Vert$ - евклідова норма
• $h_{\lambda }(X_0)$ - параметр (радіус ядра)
• D ( t ) зазвичай позитивна дійсна функція, значення якої зменшується (або не зростає) зі збільшенням відстані між X і X₀ .

Популярні ядра, що використовуються для згладжування, включають параболічне (Епанечнікова), кубне та гауссове ядра.

Нехай $Y(X):{ℝ}^p\to ℝ$ - неперервною функцією від X. Для кожного $X_0\in {ℝ}^p$, ядро-зважене середнє Надарая-Ватсона (згладжена оцінка Y(X)) визначається

$\hat{Y}(X_0)=\frac{\sum _{i=1}^N{K}_{h_{\lambda }}(X_0,X_i)Y(X_i)}{\sum _{i=1}^N{K}_{h_{\lambda }}(X_0,X_i)}$

де:

• N – кількість спостережуваних точок
• Y ( X _i ) — спостереження в точках X_i .

Далі ми опишемо деякі окремі випадки ядрових згладжень.

Приклад ядрового згладження Ґауса

Ядрове згладження Ґауса

Ядро Ґауса є одним із найпоширеніших ядер і виражається за допомогою рівняння

$K(x^{*},x_i)=\exp (-\frac{(x^{*}-x_i{)}^2}{2b^2})$

Тут b — масштаб довжини для вхідного простору.

Ядрове згладження найближчих точок

Ідея ядрового згладження найближчого сусіда полягає в наступному. Для кожної точки X₀ беремо m найближчих сусідів і оцінюємо значення Y(X₀) шляхом усереднення значень цих сусідів.

Приклад ядрового згладження найближчих точок

Формально, $h_m(X_0)=\Vert X_0-X_{[m]}\Vert ,$ де $X_{[m]}$ є m-м найближчим до X₀ сусідом, і

$D(t)=\{\begin{array}{cc}1/m& \text{if }|t|\le 1\\ 0& \text{otherwise}\end{array}$

Приклад ядрового згладження найближчих точок зображено на малюнку ліворуч. У цьому прикладі X є одновимірним. Для кожного X₀, $\hat{Y}(X_0)$ є середнім значенням 16 найближчих до X₀ точок (позначено червоним кольором). Результат недостатньо гладкий.

Середньо ядрове згладження

Ідея середньо ядрового згладження полягає в наступному. Для кожної точки даних X₀ виберемо стале значення відстані λ (радіус ядра або ширину вікна для p = 1 вимір) і обчислимо зважене середнє для всіх точок даних, які ближче ніж $\lambda$ до X₀ (чим ближче до X₀ точки тим більшу вагу вони отримають).

Приклад середньо ядрового згладження

Формально, $h_{\lambda }(X_0)=\lambda =\text{constant},$ а D(t) — одне з популярних ядер.

Наприклад середньо ядрового згладження зображено на малюнку праворуч. Для кожного X₀ ширина вікна стала, а вага кожної точки у вікні схематично позначена жовтою тінню на графіку. Видно, що оцінка плавна, але граничні точки зміщені. Причиною цього є неоднакова кількість точок (справа і зліва до X₀ ) у вікні, коли X₀ знаходиться досить близько до межі.

Локальна лінійна регресія

У двох попередніх розділах закладалось, що базова функція Y(X) локально константа, що давало змогу використовувати середньозважене значення оцінки. Ідея локальної лінійної регресії полягає в тому, що функція локально відповідає прямій лінії (чи гіперплощині у випадку вищих порядків), а не константі (горизонтальній лінії). Після підгонки лінії оцінка $\hat{Y}(X_0)$ визначається значенням цієї лінії в точці X₀. Повторюючи цю процедуру для кожного X₀, можна отримати оцінку-функцію $\hat{Y}(X)$. Як і в розділі вище ширина вікна постійна $h_{\lambda }(X_0)=\lambda =\text{constant}.$ Формально локальна лінійна регресія обчислюється шляхом оптимізації зваженої задачі найменшого квадрата.

У одновимірному випадку ( p = 1):

$\begin{array}{cc}& \underset{\alpha (X_0),\beta (X_0)}{\min }\sum _{i=1}^N{K}_{h_{\lambda }}(X_0,X_i){(Y(X_i)-\alpha (X_0)-\beta (X_0)X_i)}^2\\ & \Downarrow \\ & \hat{Y}(X_0)=\alpha (X_0)+\beta (X_0)X_0\\ \end{array}$

Візуалізація локальна лінійної регресії

Розв'язок у вигляді формули:

$\hat{Y}(X_0)=(1,X_0){(B^{T}W(X_0)B)}^{-1}{B}^{T}W(X_0)y$

де:

• $y={(Y(X_1),\dots ,Y(X_N))}^T$
• $W(X_0)=\mathrm{diag}{(K_{h_{\lambda }}(X_0,X_i))}_{N\times N}$
• $B^T=\left(\begin{array}{cccc}1& 1& \dots & 1\\ X_1& X_2& \dots & X_N\end{array}\right)$

На рисунку наведена візуалізація локальної лінійної регресії. Отримана функція є гладкою, і проблема зі зміщеними граничними точками не настільки кричуща.

Локальну лінійну регресію можна застосувати у будь-якому просторі, хоча питання про те, що таке локальне сусідство ускладнюється. Зазвичай використовують k найближчих тренувальних точок до тестової точки, щоб відповідати локальній лінійній регресії. Це може призвести до великої дисперсії встановленої функції. Щоб обмежити дисперсію, набір навчальних точок повинен містити тестову точку у своїй опуклій оболонці (див. посилання на Gupta et al.).

Локальна поліноміальна регресія

Замість підгонки локально лінійних функцій можна допасувати поліноміальні функції.

Для p=1 слід розв'язати задачу мінімізації:

$\underset{\alpha (X_0),{\beta }_j(X_0),j=1,...,d}{\min }\sum _{i=1}^N{K}_{h_{\lambda }}(X_0,X_i){(Y(X_i)-\alpha (X_0)-\sum _{j=1}^d{\beta }_j(X_0)X_i^j)}^2$

з $\hat{Y}(X_0)=\alpha (X_0)+\sum _{j=1}^d{\beta }_j(X_0)X_0^j$

У загальному випадку (p>1) слід мінімізувати:

$\begin{array}{cc}& \hat{\beta }(X_0)=\underset{\beta (X_0)}{\arg \min }\sum _{i=1}^N{K_{h_{\lambda }}(X_0,X_i)(Y(X_i)-b(X_i{)}^T\beta (X_0))}^2\\ & b(X)=\left(\begin{array}{cccccc}1,& X_1,& X_2,...& X_1^2,& X_2^2,...& X_1{X}_2...\end{array}\right)\\ & \hat{Y}(X_0)=b(X_0{)}^T\hat{\beta }(X_0)\\ \end{array}$

Див. також

• Фільтр Савицького–Голея
• Ядрові методи
• Оцінка щільності ядра
• Локальна регресія
• Ядрова регресія

Список літератури

• Li, Q. and J.S. Racine. Nonparametric Econometrics: Theory and Practice. Princeton University Press, 2007, Шаблон:ISBN.
• T. Hastie, R. Tibshirani and J. Friedman, The Elements of Statistical Learning, Chapter 6, Springer, 2001. Шаблон:ISBNISBN 0-387-95284-5 (companion book site).
• M. Gupta, E. Garcia and E. Chin, "Adaptive Local Linear Regression with Application to Printer Color Management," IEEE Trans. Image Processing 2008.