Інформативність ознак

Інформати́вність озна́к — величина, яка кількісно характеризує придатність ознак (або їх набору) X для розпізнавання класів об'єктів. При цьому передбачається, що пред'явлені для розпізнавання об'єкти представляються сигналами х в просторі ознак $X$.

У розпізнаванні образів як інформативність ознак використовуються умовна ентропія, ймовірність помилки розпізнавання, дивергенція Кульбака, дисперсійна міра і інші величини. Найчастіше зустрічається умовна ентропія $H$:

$H(K/X)=-\sum _{x}p(x)\sum _{k}P(k/x)\log P(k/x)$,

де $K$ — множина класів,

$X$ — ознаки,

$k$ — номер класу,

$x$ — сигнал в просторі ознак $X$,

$p(x)$ — густина ймовірності появи сигналу $x$,

$P(k/x)$ — апостеріорна ймовірність класу $k$ за умови спостереження сигналу $x$.

У разі, коли ознаки $X$ дозволяють безпомилково указувати клас, умовна ентропія дорівнює нулю. При порівнянні двох наборів ознак інформативнішим є той, який характеризується меншою умовною ентропією. На практиці використовування інформативності ознак ускладнене через невідому ймовірність $p(x)$ і $P(k/x)$.

При виборі інформативних ознак частіше за все виходять з властивостей тих сигналів, які збираються класифікувати. Облік властивостей сигналів дозволяє приблизно судити про розподіли $p(x)$) і $P(k/x)$ і знаходити достатньо інформативні ознаки. Інформативність набору ознак слід відрізняти від інформативності окремих ознак набору.

Тільки у тому випадку, коли ознаки незалежні за умови окремих класів, інформативність набору ознак рівна сумі інформативності окремих ознак. В цьому випадку на підставі інформативності окремих ознак можна складати самі інформативні набори. Якщо ознаки залежні, інформативність ознак не виражається через інформативність окремих ознак, а вибір самих інформативних наборів по інформативності окремих ознак стає неможливим.

Див. також

• Теорія розпізнавання образів
• ТЕІ (ініціатива кодування тексту)

Література

1. Шаблон:ЕК
2. Ковалевский В. А. Задача распознавания образов с точки зрения математической статистики. В кн.: Читающие автоматы и распознавание образов. К., 1965;
3. Кульбак С. Теория информации и статистика. Пер. с англ. М., 1967 [библиогр. с. 364—381].

Т. К. Винцюк.