Відліковий скетч

Відліковий скетч може використовуватися для зменшення обочислень при реалізації білінійного пулінгу в нейронній мережі

Відліковий скетч (Шаблон:Lang-en) — метод зменшення розмірності, що використовується у статистиці, машинному навчанні та алгоритмах обробки великих даних. Він може бути використаний для прискорення ядрових методів та білінійного пулінга у нейронних мережах, а також застосовується у багатьох числових алгоритмах лінійної алгебри.

Особливості

На відміну від тензорного скетчу відліковий скетч оперує так званим зовнішнім добутком векторів:

$𝐚\otimes {𝐛}^{𝐓}\to \left[\begin{array}{c}{a}_1\\ a_2\\ a_3\\ a_4\end{array}\right]\left[\begin{array}{ccc}{b}_1& b_2& b_3\end{array}\right]=\left[\begin{array}{ccc}{a}_1{b}_1& a_1{b}_2& a_1{b}_3\\ a_2{b}_1& a_2{b}_2& a_2{b}_3\\ a_3{b}_1& a_3{b}_2& a_3{b}_3\\ a_4{b}_1& a_4{b}_2& a_4{b}_3\end{array}\right]$,

де $\otimes$ означає добуток Кронекера.

Суттєво, що відліковий скетч від зовнішнього добутку двох векторів

$C(x\otimes x^T)$

еквівалентний векторній згортці

$C^{(1)}x\ast C^{(2)}{x}^T$,

де $C^{(1)}$ і $C^{(2)}$ є незалежними матрицями.

Для прискореного обчислення згортки відлікових скетчів може бути задіяне швидке перетворення Фур'є. У цьому випадку завдяки використанню торцевого добутку матриць для факторизації матриці скетчу відповідні структури можуть бути розраховані значно швидше.

Див. також

• Лема Джонсона-Лінденштрауса
• Тензорний скетч