Теорема Цибенка

Теорема Цибенка, Універсальна теорема апроксимації — теорема, доведена Джорджем Цибенком (George Cybenko) в 1989 році, яка стверджує, що штучна нейронна мережа прямого зв'язку (Шаблон:Lang-en; у яких зв'язки не утворюють циклів) з одним прихованим шаром може апроксимувати будь-яку неперервну функцію багатьох змінних з будь-якою точністю. Умовами є достатня кількість нейронів прихованого шару, вдалий підбір ${𝐰}_1,{𝐰}_2,\dots ,{𝐰}_N,\mathit{\alpha },$ і $\mathit{\theta }$, де

• ${𝐰}_i$ — ваги між вхідними нейронами і нейронами прихованого шару
• $\mathit{\alpha }$ — ваги між зв'язками від нейронів прихованого шару і вихідним нейроном
• $\mathit{\theta }$ — коефцієнт «упередженості» для нейронів прихованого шару.

Формальне викладення

Нехай $\phi$ будь-яка непрервна сигмоїдна функція, наприклад, $\phi (\xi )=1/(1+e^{-\xi })$. Тоді, якщо дана будь-яка неперервна функція дійсних змінних $f$ на $[0,1{]}^n$ (або будь яка інша компактна підмножина $R^n$) і $\epsilon >0$, тоді існують вектори ${𝐰}_{\mathrm{𝟏}},{𝐰}_{\mathrm{𝟐}},\dots ,{𝐰}_{𝐍},\mathit{\alpha },\mathit{\theta }$ та параметризована функція $G(\mathbf{\cdot },𝐰,\mathit{\alpha },\mathit{\theta }):[0,1{]}^n\to R,$ така, що

$|G(𝐱,𝐰,\mathit{\alpha },\mathit{\theta })-f(𝐱)|<\epsilon$ для всіх $𝐱\in [0,1{]}^n,$

де

$G(𝐱,𝐰,\mathit{\alpha },\mathit{\theta })=\sum _{i=1}^N{\alpha }_i\phi ({𝐰}_i^T𝐱+{\theta }_i),$

та ${𝐰}_i\in R^n,{\alpha }_i,{\theta }_i\in R,𝐰=({𝐰}_1,{𝐰}_2,\dots {𝐰}_N),\mathit{\alpha }=({\alpha }_1,{\alpha }_2,\dots ,{\alpha }_N),$ та $\mathit{\theta }=({\theta }_1,{\theta }_2,\dots ,{\theta }_N)$.

Посилання

• Cybenko, G.V. (1989). Approximation by Superpositions of a Sigmoidal function, Mathematics of Control, Signals and Systems, vol. 2 no. 4 pp. 303-314.
• Hassoun, M. (1995) Fundamentals of Artificial Neural Networks MIT Press, p. 48

Див. також

• Теорема збіжності перцептрону
• Перцептрон
• Winner-take-all