Простір масштабів

Теорія про́стору масшта́бів (Шаблон:Lang-en) — це основа для багатомасштабного подання сигналів, розроблена спільнотами комп'ютерного бачення, обробки зображень та обробки сигналів з доповняльними мотивами з фізики та біологічного бачення. Це формальна теорія для роботи зі структурами зображень на різних Шаблон:Нп шляхом подавання зображення як однопараметрового сімейства згладжених зображень, масштабопросторо́вого подання́ (Шаблон:Lang-en), параметрованого розміром ядра Шаблон:Нп, яке використовують для пригнічування дрібномасштабних структур. Параметр $t$ у цьому сімействі називають параметром масштабу (Шаблон:Lang-en) з інтерпретацією, що у просторі масштабів структури зображення просторового розміру менше за приблизно $\sqrt{t}$ було значною мірою згладжено на масштабі $t$.

Основним типом простору масштабів є лінійний (гауссів) простір масштабів, який має широку застосовність, а також привабливу властивість можливості виведення з невеликого набору масштабопросторових аксіом. Відповідна масштабопросторова система охоплює теорію операторів гауссових похідних, які можливо використовувати як основу для вираження великого класу зорових операцій для комп'ютеризованих систем обробки зорової інформації. Ця система також дозволяє робити зорові операції масштабоінваріантними, що необхідно для роботи з варіаціями розміру, які можуть траплятися в даних зображень, оскільки реальні об'єкти можуть мати різні розміри, та й відстань між об'єктом і камерою може бути невідомою й може змінюватися залежно від обставин.

Визначення

Поняття простору масштабів застосовують до сигналів довільної кількості змінних. Найпоширеніший випадок у літературі стосується двовимірних зображень, що й подано тут. Для заданого зображення $f(x,y)$ його лінійне (гауссове) масштабопросторове подання — це сімейство похідних сигналів $L(x,y;t)$, визначене згорткою $f(x,y)$ таким двовимірним гауссовим ядром

$g(x,y;t)=\frac{1}{2\pi t}{e}^{-(x^2+y^2)/2t},$

що

$L(\cdot ,\cdot ;t)=g(\cdot ,\cdot ;t)*f(\cdot ,\cdot ),$

де крапка з комою в аргументі $L$ означає, що згортка виконується лише над змінними $x,y$, тоді як параметр масштабу $t$ після крапки з комою просто вказує, який рівень масштабу визначають. Це визначення $L$ працює для континууму масштабів $t\ge 0$, але зазвичай розглядають лише скінченний дискретний набір рівнів у масштабопросторовому поданні.

Параметр масштабу $t={\sigma }^2$ — це дисперсія гауссового фільтра, і в граничному випадку для $t=0$ фільтр $g$ стає імпульсною функцією, так що $L(x,y;0)=f(x,y),$ тобто масштабопросторове подання на рівні масштабу $t=0$ це саме зображення $f$. Зі збільшенням $t$, $L$ стає результатом згладжування $f$ все більшим і більшим фільтром, таким чином видаляючи все більше деталей, які містить зображення. Оскільки стандартним відхиленням фільтра є $\sigma =\sqrt{t}$, значно менші за це значення деталі значною мірою видаляються із зображення за параметра масштабу $t$, див. графічні ілюстрації в наступному рисунку та в .

• 
  Масштабопросторове подання $L(x,y;t)$ в масштабі $t=0$, що відповідає первинному зображенню $f$
• 
  Масштабопросторове подання $L(x,y;t)$ в масштабі $t=1$
• 
  Масштабопросторове подання $L(x,y;t)$ в масштабі $t=4$
• 
  Масштабопросторове подання $L(x,y;t)$ в масштабі $t=16$
• 
  Масштабопросторове подання $L(x,y;t)$ в масштабі $t=64$
• 
  Масштабопросторове подання $L(x,y;t)$ в масштабі $t=256$

Чому саме гауссів фільтр?

При стиканні із завданням створення багатомасштабного подання можна запитати: чи можливо використовувати для створення простору масштабів будь-який фільтр g на кшталт фільтру низьких частот із параметром t, який визначає його ширину? Відповідь — ні, оскільки дуже важливо, щоби згладжувальний фільтр не вносив нових паразитних структур на грубих масштабах, які не відповідають спрощенням відповідних структур у тонших масштабах. У літературі з простору масштабів було висловлено низку різних способів сформулювати цей критерій точними математичними термінами.

Висновок з кількох різних поданих аксіоматичних виведень полягає в тому, що гауссів простір масштабів становить канонічний спосіб породження лінійного простору масштабів, заснований на істотній вимозі, що при переході від тонкого до будь-якого грубішого масштабу не повинні створюватися нові структури. До умов, званих масштабопросторовими аксіомами, які використовували для виведення унікальності гауссового ядра, належать Шаблон:Нп, Шаблон:Нп, напівгрупова структура, непосилення локальних екстремумів, масштабова та Шаблон:Нп. У працях  цю унікальність, заявлену в аргументах на основі інваріантності щодо масштабу, піддають критиці, й пропонують альтернативні самоподібні масштабопросторові ядра. Гауссове ядро, проте, є унікальним вибором відповідно до масштабопросторової аксіоматики на основі причинності або непосилення локальних екстремумів.

Альтернативне визначення

Еквівалентно, масштабопросторове сімейство можливо визначити як розв'язок рівняння дифузії (наприклад, у термінах рівняння теплопровідності),

${\partial }_{t}L=\frac{1}{2}{\mathrm{\nabla }}^{2}L,$

з початковою умовою $L(x,y;0)=f(x,y)$. Це формулювання масштабопросторового подання L означає, що можливо інтерпретувати значення яскравості зображення f як «розподіл температури» в площині зображення, і що процес, який породжує масштабопросторове подання як функцію від t, відповідає дифузії тепла в площині зображення за час t (за припущення, що теплопровідність матеріалу дорівнює довільно обраній сталій ½). Хоча цей зв'язок може здатися поверховим читачеві, не знайомому з диференціальними рівняннями, насправді дійсно основне масштабопросторове формулювання в термінах непосилення локальних екстремумів виражається через умову знаку на частинні похідні в 2+1-вимірному об'ємі, породженому простором масштабів, відтак у рамках диференціальних рівнянь з частинними похідними. Крім того, детальний аналіз дискретного випадку показує, що рівняння дифузії забезпечує об'єднувальний зв'язок між безперервним і дискретним просторами масштабів, що також узагальнюється на нелінійні простори масштабів, наприклад, із застосуванням анізотропної дифузії. Отже, можна сказати, що основним способом породження простору масштабів є рівняння дифузії, і що гауссове ядро виникає як функція Гріна цього конкретного диференціального рівняння в частинних похідних.

Мотивації

Мотивація для породження масштабопросторового подання заданого набору даних походить від базового спостереження, що об'єкти реального світу складаються з різних структур на різних Шаблон:Нп. Це означає, що об'єкти реального світу, на противагу до ідеалізованих математичних об'єктів, таких як точки або прямі, можуть виглядати по-різному залежно від масштабу спостереження. Наприклад, поняття «дерево» доречне в масштабі метрів, тоді як такі поняття, як листя та молекули, доречніші в тонших масштабах. Для системи комп'ютерного бачення, яка аналізує невідому сцену, немає способу знати апріорі, які Шаблон:Нп підходять для опису цікавих структур у даних зображення. Отже, єдиним розумним підходом є розглядати описи в кількох масштабах, щоб мати можливість вловлювати невідомі варіації масштабу, які можуть мати місце. У граничному випадку масштабопросторове подання розглядає подання на всіх масштабах.

Інша мотивація концепції простору масштабів походить від процесу виконання фізичних вимірювань на реальних даних. Щоби виділяти будь-яку інформацію з процесу вимірювання, до даних необхідно застосовувати оператори нескінченно малого розміру. В багатьох галузях інформатики та прикладної математики розмір оператора вимірювання при теоретичному моделюванні задачі не враховується. З іншого боку, масштабопросторова теорія явним чином включає потребу в не нескінченно малому розмірі операторів зображення як невід'ємній частини будь-якого вимірювання, а також будь-якої іншої операції, яка залежить від вимірювання в реальному світі.

Існує тісний зв'язок між масштабопросторовою теорією та біологічним баченням. Багато масштабопросторових операцій демонструють високий ступінь подібності з профілями рецептивних полів, записаними на сітківці й перших етапах зорової кори ссавців. У цьому відношенні систему простору масштабів можливо розглядати як теоретично обґрунтовану парадигму для попередньої обробки зорової інформації, яку до того ж було ретельно перевірено алгоритмами та експериментами.

Гауссові похідні

На будь-якому масштабі в просторі масштабів ми можемо застосовувати до масштабопросторового подання оператори локальних похідних:

$L_{x^m{y}^n}(x,y;t)=\left({\partial }_{x^m{y}^n}L\right)(x,y;t).$

Через комутативну властивість між оператором похідної та оператором гауссового згладжування такі масштабопросторові похідні (Шаблон:Lang-en) можливо еквівалентно обчислювати шляхом згортання первинного зображення з операторами похідних гауссіанів. З цієї причини їх часто також називають гауссовими похідними (Шаблон:Lang-en):

$L_{x^m{y}^n}(\cdot ,\cdot ;t)={\partial }_{x^m{y}^n}g(\cdot ,\cdot ;t)*f(\cdot ,\cdot ).$

Унікальність операторів гауссових похідних як локальних операцій, виведених із масштабопросторового подання, можливо отримати аналогічними аксіоматичними виведеннями, які використовують для виведення унікальності гауссового ядра для масштабопросторового згладжування.

Зорова попередня обробка

Ці оператори гауссових похідних, своєю чергою, можливо об'єднувати за допомогою лінійних або нелінійних операторів у великий спектр різних типів виявлячів ознак, які в багатьох випадках можливо добре моделювати за допомогою диференціальної геометрії. Зокрема, інваріантність (або, точніше, коваріантність) до локальних геометричних перетворень, таких як обертання або локальні афінні перетворення, можливо отримати шляхом розгляду диференціальних інваріантів за відповідного класу перетворень або, як варіант, шляхом унормовування операторів гауссових похідних на локально визначену систему координат, визначену, наприклад, з бажаного спрямування в області зображення, або шляхом застосування бажаного локального афінного перетворення до локального фрагмента зображення (докладніше див. у статті про афінне пристосовування форми).

Коли оператори гауссових похідних та диференціальні інваріанти використовують таким чином як виявлячі базових ознак у кількох масштабах, ці незавершені перші етапи зорової обробки часто називають зоровою попередньою обробкою (Шаблон:Lang-en). Цю загальну систему застосовували до широкого спектру задач комп'ютерного бачення, включно з виявлянням та класифікуванням ознак, сегментуванням та зіставлянням зображень, оцінюванням руху, обчисленням сигналів про форму, та Шаблон:Нп. Набір операторів гауссових похідних до певного порядку часто називають N-струменем, він становить базовий тип ознак масштабопросторової системи.

Приклади виявлячів

Дотримуючись ідеї вираження зорових операцій у термінах диференціальних інваріантів, обчислюваних на кількох масштабах із застосуванням операторів гауссових похідних, ми можемо виразити виявляч контурів із набору точок, який задовольняє вимогу, щоби величина градієнта

$L_v=\sqrt{L_x^2+L_y^2}$

набувала локального максимуму в напрямку градієнта

$\mathrm{\nabla }L=(L_x,L_y{)}^T.$

Шляхом диференціальногеометричних розробок можливо показати, що цей диференціальний виявляч контурів можливо еквівалентно виразити з перетинів нуля диференціальним інваріантом другого порядку

${\tilde{L}}_v^2=L_x^2{L}_{xx}+2L_x{L}_y{L}_{xy}+L_y^2{L}_{yy}=0$

які задовольняють таку умові знаку на диференціальному інваріанті третього порядку:

${\tilde{L}}_v^3=L_x^3{L}_{xxx}+3L_x^2{L}_y{L}_{xxy}+3L_x{L}_y^2{L}_{xyy}+L_y^3{L}_{yyy}<0.$

Аналогічно, багатомасштабні виявлячі плям на будь-якому заданому фіксованому масштабі можливо отримати з локальних максимумів та мінімумів або оператора Лапласа (що також називають лапласіаном гауссіана)

${\mathrm{\nabla }}^{2}L=L_{xx}+L_{yy}$

або визначника матриці Гессе

$\det HL(x,y;t)=(L_{xx}{L}_{yy}-L_{xy}^2).$

Аналогічним чином виявлячі кутів та виявлячі хребтів і долин можливо виразити як локальні максимуми, мінімуми або перетини нуля багатомасштабних диференціальних інваріантів, визначених із гауссових похідних. Алгебричні вирази для операторів виявляння кутів і хребтів, проте, є дещо складнішими, й читача відсилають по додаткові відомості до статей про виявляння кутів і хребтів.

Масштабопросторові операції також часто використовують для вираження грубо—точних методів (Шаблон:Lang-en), зокрема для таких завдань, як зіставляння та багатомасштабне сегментування зображень.

Обирання масштабу

Подана на даний момент теорія описує добре обґрунтовану систему для подавання структур зображень у кількох масштабах. Проте в багатьох випадках також необхідно обирати локально доречні масштаби для подальшого аналізу. Така потреба в обиранні масштабу (Шаблон:Lang-en) постає з двох основних причин: (i) об'єкти реального світу можуть мати різний розмір, і цей розмір може бути невідомим системі бачення, та (ii) відстань між об'єктом та камерою може змінюватися, й ця інформація про відстань також може бути невідомою апріорно. Дуже корисною властивістю масштабопросторового подання є те, що подання зображень можливо робити інваріантними до масштабів шляхом автоматичного обирання локального масштабу на основі локальних максимумів (або мінімумів) над масштабами масштабонормованих похідних

$L_{{\xi }^m{\eta }^n}(x,y;t)=t^{(m+n)\gamma /2}{L}_{x^m{y}^n}(x,y;t)$

де $\gamma \in [0,1]$ — параметр, пов'язаний з розмірністю ознаки зображення. Цей алгебричний вираз для операторів масштабонормованих гауссових похідних походить із введення $\gamma$-нормованих похідних відповідно до

${\partial }_{\xi }=t^{\gamma /2}{\partial }_x$ і ${\partial }_{\eta }=t^{\gamma /2}{\partial }_y.$

Може бути теоретично показано, що модуль обирання масштабу, який працює за цим принципом, задовольнятиме такій властивості коваріантності щодо масштабу (Шаблон:Lang-en): якщо для певного типу ознаки зображення передбачається локальний максимум у певному зображенні на певному масштабі $t_0$, то за масштабування зображення коефіцієнтом масштабу $s$ цей локальний максимум над масштабами у зміненому зображенні зміниться до рівня масштабу $s^2{t}_0$.

Масштабоінваріантне виявляння ознак

Шаблон:Див. також Дотримуючись цього підходу гамма-нормованих похідних, можливо показати, що можливо виразити різні типи масштабопристосованих та масштабоінваріантних виявлячів ознак для таких завдань як виявляння плям, кутів, хребтів, контурів та просторово-часових особливих точок (докладний опис формулювання цих масштабоінваріантних виявлячів ознак див. у конкретних статтях на ці теми). Крім того, рівні масштабу, отримувані автоматичним обиранням, можливо використовувати, щоби визначати особливі області для подальшого Афінне пристосовування форми для отримання афінноінваріантних особливих точок, або для визначення рівнів масштабу для обчислення пов'язаних Шаблон:Нп, таких як локально масштабопристосовані N-струмені.

Нещодавні праці показали, що таким чином можливо виконувати й складніші операції на кшталт масштабонезалежного Шаблон:Нп, обчислюючи локальні описувачі зображення (N-струмені чи локальні гістограми спрямування градієнтів) у масштабопристосованих особливих точках, отриманих із масштабопросторових екстремумів нормованого оператора Лапласа (див. також масштабоінваріантне ознакове перетворення) або визначника матриці Гессе (див. також прискорені стійкі ознаки); див. також статтю Scholarpedia про масштабоінваріантне ознакове перетворення про загальніший погляд на підходи до розпізнавання об'єктів на основі відгуків рецептивних полів у термінах операторів гауссових похідних або їхніх наближень.

Пов'язані багатомасштабні подання

Піраміда зображення — це дискретне подання, в якому простір масштабів дискретизують як у просторі, так і в масштабі. Для масштабоінваріантності коефіцієнти масштабу слід вибирати експоненційно, наприклад, як цілі степені 2 або Шаблон:Math. За правильної побудови, відношення частот дискретизації у просторі та масштабі залишають сталим, тоді імпульсний відгук ідентичний на всіх рівнях піраміди. Існують швидкі, Ο(N), алгоритми для обчислювання масштабоінваріантної піраміди зображення, в якій зображення або сигнал багаторазово згладжується, і відтак субдискретизується. Значення для простору масштабів між зразками в піраміді можливо легко оцінювати, застосовуючи інтерполяцію в межах масштабів і між ними, й уможливлюючи оцінки масштабу та положення з екстрароздільністю.

У масштабопросторовому поданні існування безперервного параметра масштабу дозволяє відстежувати перетини нуля над масштабами, що дає так звану глибоку структуру (Шаблон:Lang-en). Для ознак, визначених як Шаблон:Нп диференціальними інваріантами, теорема про неявну функцію безпосередньо визначає траєкторії крізь масштаби, і на тих масштабах, де відбуваються розгалуження, локальну поведінку можливо моделювати за допомогою Шаблон:Нп.

Розширення теорії лінійного простору масштабів стосуються формулювання нелінійних масштабопросторових концепцій, краще пристосованих до конкретних цілей. Ці Шаблон:Нпні (Шаблон:Lang-en) часто починаються з еквівалентного дифузійного формулювання концепції простору масштабів, яке згодом розширюють нелінійним чином. Таким чином було сформульовано велику кількість еволюційних рівнянь, умотивованих різними специфічними вимогами (додаткову інформацію див. у вищезгаданій літературі). Проте слід зазначити, що не всі ці нелінійні простори масштабів задовольняють подібним «приємним» теоретичним вимогам, як і концепція лінійного гауссового простору масштабів. Тож іноді можуть виникати несподівані артефакти, і слід бути дуже обережними, щоби не використовувати термін «масштабопросторове» для взагалі будь-якого типу однопараметрових сімейств зображень.

Розширення першого порядку ізотропного гауссового простору масштабів забезпечує афінний (гауссів) простір масштабів. Один із мотивів цього розширення витікає із загальної потреби в обчисленні описувачів зображень для об'єктів реального світу, які розглядають за Шаблон:Нпні. Щоб обробляти такі нелінійні деформації локально, часткової інваріантності (або, правильніше, Шаблон:Нп) до локальних Шаблон:Нп може бути досягнуто шляхом розгляду афінних гауссових ядер, форми яких визначаються локальною структурою зображення; теорію та алгоритми див. у статті про афінне пристосовування форми. Справді, цей афінний простір масштабів також можливо виразити з неізотропного розширення лінійного (ізотропного) рівняння дифузії, все ще перебуваючи в класі лінійних диференціальних рівнянь з частинними похідними.

Існує загальніше розширення гауссової масштабопросторової моделі на афінні та просторово-часові простори масштабів. На додачу до змінюваності над масштабами, для обробки яких було розроблено первинну масштабопросторову теорію, ця узагальнена масштабопросторова теорія (Шаблон:Lang-en) охоплює також й інші типи змінюваності, викликанні геометричними перетвореннями в процесі формування зображення, включно зі змінюваністю в напрямку огляду, наближуваною локальними афінними перетвореннями, та відносним рухом об'єктів світу та спостерігача, наближуваним локальними перетвореннями Галілея. Ця узагальнена масштабопросторова теорія веде до передбачень щодо профілів рецептивних полів, які мають добре якісне узгодження з профілями рецептивних полів, вимірюваними за допомогою записів нейронів у біологічному зорі.

Існують тісні взаємозв'язки між масштабопросторовою та вейвлетною теоріями, хоч ці два поняття багатомасштабного подання й було розроблено з дещо різних посилок. Була також робота й над іншими багатомасштабними підходами, такими як піраміди та різноманітні інші ядра, які не використовують або не вимагають тих же вимог, що й справжні масштабопросторові описи.

Відношення до біологічного зору та слуху

Існують цікаві зв'язки між масштабопросторовим поданням та біологічним зором і слухом. Нейрофізіологічні дослідження біологічного зору показали, що існують профілі рецептивних полів у сітківці й зоровій корі ссавців, які можливо добре моделювати лінійними операторами гауссових похідних, у деяких випадках також доповненими неізотропною афінною масштабопросторовою моделлю, просторово-часовою масштабопросторовою моделлю, та/або нелінійними комбінаціями таких лінійних операторів.

Стосовно біологічного слуху, існують профілі рецептивних полів у Шаблон:Нп та Шаблон:Нп, які можливо добре моделювати спектрально-часовими рецептивними полями, які можливо добре моделювати гауссовими похідними над логарифмічними частотами та віконними перетвореннями Фур'є над часом, де віконні функції є часовими масштабопросторовими ядрами.

Глибоке навчання та простір масштабів

У сфері класичного комп'ютерного зору масштабопросторова теорія зарекомендувала себе як теоретична основа для попередньої зорової обробки, при цьому гауссові похідні становлять канонічну модель для першого шару рецептивних полів. З появою глибокого навчання також розпочалася робота над використанням гауссових похідних або гауссових ядер як загальної основи для рецептивних полів у глибоких мережах. Використовуючи перетворювальні властивості гауссових похідних та гауссових ядер при масштабувальних перетвореннях, можливо отримати масштабову коваріантність/еквіваріантність та масштабоінваріантність глибокої мережі для обробки структур зображення в різних масштабах теоретично обґрунтованим чином. Також було розроблено підходи для отримання масштабової коваріантності/еквіваріантності та масштабоінваріантності за допомогою навчених фільтрів у поєднанні з декількома масштабовими каналами. Зокрема, використовуючи поняття масштабової коваріантності/еквіваріантності та масштабоінваріантності, можливо забезпечувати надійне функціювання глибоких мереж на масштабах, не охоплених тренувальними даними, таким чином забезпечуючи масштабове узагальнювання.

Нюанси втілювання

При втілюванні масштабопросторового згладжування на практиці існує низка різних підходів, які можливо застосовувати в термінах безперервного або дискретного гауссового згладжування, втілення в області Фур'є, в термінах пірамід на основі біноміальних фільтрів, що наближують гауссів, або з використанням рекурсивних фільтрів. Докладніше це висвітлено в окремій статті про Втілення простору масштабів.

Див. також

• Різниця гауссіанів
• Функція Гаусса
• MIP-текстурування

Література

• Шаблон:Cite encyclopedia Шаблон:Ref-en
• Lindeberg, Tony: Scale-space theory: A basic tool for analysing structures at different scales, in J. of Applied Statistics, 21(2), pp. 224–270, 1994. (довший pdf-посібник з простору масштабів) Шаблон:Ref-en
• Lindeberg, Tony: Scale-space: A framework for handling image structures at multiple scales, Proc. CERN School of Computing, 96(8): 27-38, 1996. Шаблон:Ref-en
• Romeny, Bart ter Haar: Introduction to Scale-Space Theory: Multiscale Geometric Image Analysis, Tutorial VBC ’96, Hamburg, Germany, Fourth International Conference on Visualization in Biomedical Computing. Шаблон:Ref-en
• Florack, Luc, Romeny, Bart ter Haar, Viergever, Max, & Koenderink, Jan: Linear scale space, Journal of Mathematical Imaging and Vision volume 4: 325–351, 1994. Шаблон:Ref-en
• Lindeberg, Tony, "Principles for automatic scale selection", In: B. Jähne (et al., eds.), Handbook on Computer Vision and Applications, volume 2, pp 239—274, Academic Press, Boston, USA, 1999. (посібник із підходів до автоматичного обирання масштабу) Шаблон:Ref-en
• Lindeberg, Tony: "Scale-space theory" In: Encyclopedia of Mathematics, (Шаблон:Нп, ed) Kluwer, 1997. Шаблон:Ref-en
• Web archive backup: Lecture on scale-space at the University of Massachusetts (pdf) Шаблон:Ref-en

Посилання

• Степені десяти, інтерактивний Java-посібник на вебсайті Molecular Expressions Шаблон:Ref-en
• Шаблон:Cite web Шаблон:Ref-en
• Виявляння піків в одновимірних даних з використанням масштабопросторового підходу, з ліцензією BSD MATLAB