Нейронний газ

Нейронний газ — це штучна нейронна мережа, натхненна самоорганізаційною картою і введена в 1991 році Шаблон:Не перекладено і Клаусом Шультеном. Нейронний газ є простим алгоритмом для знаходження оптимальних відображень даних на основі векторів ознак. Алгоритм був названий «нейронним газом» через схожість динаміки векторів ознак в процесі адаптації, які розподіляють себе як газ в просторі даних. Він застосовується там, де стиснення даних або Шаблон:Не перекладено є проблемою в таких областях, як розпізнавання мовлення, обробка зображень або розпізнавання образів. Кластеризація методом k-середніх також використовується для кластерного аналізу, як надійно збіжна альтернатива.

Алгоритм

Дано розподіл ймовірностей $P(x)$ векторів даних $x$ і скінченне число векторів ознак $w_i,i=1,\cdots ,N$.

З кожним кроком часу $t$,представлений вектор даних $x$ випадково вибирають з $P(x)$. Потім визначається порядок відстані векторів ознак до заданого вектора даних $x$. Нехай $i_0$ позначає індекс найближчого вектора ознаки, $i_1$ — індекс другого найближчого вектора ознак, а $i_{N-1}$ — індекс вектора ознак, найбільш віддаленого вектора $x$. Потім кожен вектор ознак адаптується відповідно до

$w_{i_k}^{t+1}=w_{i_k}^t+\epsilon \cdot e^{-k/\lambda }\cdot (x-w_{i_k}^t),k=0,\cdots ,N-1$

де $\epsilon$ — розмір етапу адаптації і $\lambda$ — так званий діапазон сусідства. Значення $\epsilon$ та $\lambda$ зменшуються зі збільшенням $t$. Після досить багатьох етапів адаптації вектори ознак охоплюють простір даних з мінімальною помилкою подання.

Етап адаптації нейронного газу можна інтерпретувати як градієнтний спуск за функцією втрат. Шляхом адаптації не тільки найближчого вектора ознак, але й усіх векторів зі зменшенням розміру кроку при збільшенні порядку відстані. У порівнянні з (онлайн) кластеризацією методом k-середніх можна досягти набагато більш надійної збіжності алгоритму. Модель нейронного газу не видаляє вузлів, також не створює нових вузлів.

Варіанти

У літературі існує ряд варіантів алгоритму нейронного газу, що дозволяє пом'якшити деякі його недоліки. Більш помітним є, можливо, зростаючий нейронний газ Бернда Фріцке, але також слід згадати подальші розробки, такі як зростаюча при необхідності мережа, а також додатковий зростаючий нейронний газ.

Зростаючий нейронний газ

Фрітцке описує зростаючий нейронний газ (ЗНГ) як модель інкрементної мережі, яка вивчає топологічні відносини, використовуючи «правило навчання, подібне до Хебба», на відміну від нейронного газу, він не має параметрів, які змінюються з часом, він здатний до безперервного навчання.

Зростаюча при необхідності мережа

Наявність мережі зі зростаючою множиною вузлів, подібно до того, що реалізовано алгоритмом ЗНГ, розглядалося як велика перевага, однак, деяке обмеження на навчання було помічено введенням параметра λ, в якому мережа зможе зростати тільки тоді, коли ітерації були б кратними цьому параметру. Пропозицією пом'якшити цю проблему був новий алгоритм — мережа «Зростаючий при необхідності» (ЗПН), яка дозволила б зрости мережу швидше, шляхом додавання вузлів якомога швидше, коли мережа виявила, що існуючі вузли не будуть досить добре описувати вхідні дані.

Інкрементно зростаючий нейронний газ

Іншим варіантом нейронного газу, натхненного алгоритмом ЗНГ, є інкрементно зростаючий нейронний газ (ІЗНГ). Авторами припускають, що основною перевагою цього алгоритму є «вивчення нових даних (пластичність) без погіршення раніше підготовленої мережі та забування старих вхідних даних (стабільності).»

Посилання

• DemoGNG.js Javascript симулятор нейронного газу (та інших мережевих моделей)
• Java Competitive Learning Applications Unsupervised Neural Networks (including Self-organizing map) in Java with source codes.
• формальний опис алгоритму нейронного газу
• ЗНГ та ЗПН реалізація класифікатора в Matlab