Перегляд вихідного коду сторінки Інформативність ознак

'''Інформати́вність озна́к'''&nbsp;— величина, яка кількісно характеризує придатність [[Ознака (машинне навчання)|ознак]] (або їх набору) X для розпізнавання [[клас]]ів [[об'єкт]]ів. При цьому передбачається, що пред'явлені для [[розпізнавання]] об'єкти представляються сигналами х в просторі ознак <math>\!X</math>. 

У [[розпізнавання образів|розпізнаванні образів]] як інформативність ознак використовуються [[умовна ентропія]], [[ймовірність]] помилки розпізнавання, [[дивергенція Кульбака]], [[дисперсійна міра]] і інші величини. Найчастіше зустрічається умовна ентропія <math>\!H</math>:


:::<math>\!H(K/X)=-\sum\limits_{x}{p(x)}\sum\limits_{k}{P(k/x)}\log \,P(k/x)</math>,

:де <math>\!K</math>&nbsp;— [[множина]] класів, 
:<math>\!X</math>&nbsp;— ознаки, 
:<math>\!k</math>&nbsp;— номер класу, 
:<math>\!x</math>&nbsp;— [[сигнал]] в просторі ознак <math>\!X</math>, 
:<math>\!p(x)</math>&nbsp;— [[густина ймовірності]] появи сигналу <math>\!x</math>, 
:<math>\!P(k/x)</math>&nbsp;— апостеріорна ймовірність класу <math>\!k</math> за умови спостереження сигналу <math>\!x</math>. 

У разі, коли ознаки <math>\!X</math> дозволяють безпомилково указувати клас, умовна ентропія дорівнює [[нуль|нулю]]. При порівнянні двох наборів ознак інформативнішим є той, який характеризується меншою [[Умовна ентропія|умовною ентропією]]. На практиці використовування інформативності ознак ускладнене через невідому ймовірність <math>\!p(x)</math> і <math>\!P(k/x)</math>. 

При виборі інформативних ознак частіше за все виходять з властивостей тих сигналів, які збираються класифікувати. Облік властивостей сигналів дозволяє приблизно судити про розподіли <math>\!p(x)</math>) і <math>\!P(k/x)</math> і знаходити достатньо інформативні ознаки. Інформативність набору ознак слід відрізняти від інформативності окремих ознак набору. 

Тільки у тому випадку, коли ознаки незалежні за умови окремих класів, інформативність набору ознак рівна сумі інформативності окремих ознак. В цьому випадку на підставі інформативності окремих ознак можна складати самі інформативні набори. Якщо ознаки залежні, інформативність ознак не виражається через інформативність окремих ознак, а вибір самих інформативних наборів по інформативності окремих ознак стає неможливим.

== Див. також ==
*[[Теорія розпізнавання образів]]
*[[Text Encoding Initiative|ТЕІ (ініціатива кодування тексту)]]
=== Література ===

# {{ЕК}}
# ''Ковалевский&nbsp;В.&nbsp;А.'' Задача распознавания образов с точки зрения математической статистики. В кн.: Читающие автоматы и распознавание образов. К., 1965;
# ''Кульбак&nbsp;С.'' Теория информации и статистика. Пер. с англ. М., 1967 [библиогр. с.&nbsp;364—381].

''Т.&nbsp;К.&nbsp;Винцюк.''

[[Категорія:Розпізнавання образів]]

{{Вікіфікувати|дата=Вересень 2010}}