Власна інформація

В теорії інформації вла́сна інформ́ація (Шаблон:Lang-en), або несподі́ваність (Шаблон:Lang-en), — це міра кількості інформації, пов'язаної з подією в імовірнісному просторі, або зі значенням дискретної випадкової величини. Вона виражається в одиницях інформації, наприклад, в бітах, натах або гартлі, залежно від основи логарифма, який застосовується в обчисленнях.

Термін власна інформація іноді використовують як синонім такого пов'язаного поняття теорії інформації, як ентропія. Ці два значення не тотожні, і ця стаття описує лише перший сенс.

Визначення

За визначенням, кількість власної інформації, яка міститься в імовірнісній події, залежить лише від імовірності цієї події: що меншою є її ймовірність, то більшою є власна інформація, пов'язана з отриманням інформації про те, що ця подія дійсно відбулася.

Далі, за визначенням, міра власної інформації є додатною та адитивною. Якщо подія $C$ є перетином двох незалежних подій $A$ та $B$, то кількість інформації при оголошенні про те, що подія $C$ сталася, дорівнює сумі кількостей інформації в оголошеннях про подію $A$ та подію $B$ відповідно:

$\mathrm{I}(A\cap B)=\mathrm{I}(A)+\mathrm{I}(B)$.

Із врахуванням цих властивостей, власною інформацією $\mathrm{I}({\omega }_n)$, пов'язаною з виходом ${\omega }_n$ з імовірністю $\mathrm{P}({\omega }_n)$, є

$\mathrm{I}({\omega }_n)=\log \left(\frac{1}{\mathrm{P}({\omega }_n)}\right)=-\log (\mathrm{P}({\omega }_n))$

Це визначення відповідає наведеним вище умовам. У наведеному визначенні не вказано основу логарифма: при застосуванні основи 2 одиницями $I({\omega }_n)$ будуть біти. При застосуванні логарифма за основою $e$ одиницею буде нат. Для логарифма за основою 10 одиницею буде гартлі.

Як швидке пояснення, кількістю інформації, пов'язаною з випадінням 4 аверсів (або будь-якого конкретного виходу) в 4 послідовних підкиданнях монети, буде 4 біти (ймовірність 1/16), а кількістю інформації, пов'язаною з отриманням результату, відмінного від вказаного, буде 0.09 біт (імовірність 15/16). Див. докладніші приклади нижче.

Інформаційна ентропія випадкової події — це математичне сподівання її власної інформації.

Власна інформація є прикладом Шаблон:Нп.

Приклади

• При підкиданні монети шансом «реверсу» є 0.5. Коли проголошується, що справді випав «реверс», то це дає кількість

Шаблон:Math біт інформації.

• При викиданні правильного грального кубика ймовірність «четвірки» становить 1/6. Коли проголошується, що випала «четвірка», то кількістю власної інформації є

Шаблон:Math бітів власної інформації.

• При незалежному викиданні двох гральних кубиків кількість інформації, пов'язаної з {викидання 1 = «два» і викидання 2 = «чотири»}, дорівнює

Шаблон:Math біт.
Цей вихід дорівнює сумі окремих кількостей власної інформації, пов'язаних із {викидання 1 = «два»} і {викидання 2 = «чотири»}; а саме, 2.585 + 2.585 = 5.170 біт.

• В тій самій ситуації з двома гральними кубиками ми можемо розглядати інформацію, присутню в твердженні «Сумою двох гральних кубиків є п'ять»

Шаблон:Math біт. Причиною (4/36) є те, що існує чотири варіанти з 36 можливих, щоби два кубики давали в сумі 5. Це показує, що складніші або неоднозначніші події теж можуть давати інформацію.

Власна інформація розбиття

Власною інформацією розбиття елементів у межах множини (або кластерування) є математичне сподівання інформації перевірного об'єкту; якщо ми обираємо елемент навмання, і спостерігаємо, в якому розділі/кластері він перебуває, то яку кількість інформації ми сподіваємося отримати? Інформацією розбиття $C$, в якому $\mathrm{P}(k)$ позначає частку елементів у межах розділу $k$, є

$\mathrm{I}(C)=\mathrm{E}(-\log (\mathrm{P}(C)))=-\sum _{k=1}^n\mathrm{P}(k)\log (\mathrm{P}(k))$

Відношення до ентропії

Ентропія — це математичне сподівання власної інформації значень дискретної випадкової величини. Іноді й саму ентропію називають «власною інформацією» випадкової величини, можливо, тому, що ентропія задовольняє $\mathrm{H}(X)=\mathrm{I}(X;X)$, де $\mathrm{I}(X;X)$ є взаємною інформацією $X$ із самою собою.

Література

• C.E. Shannon, A Mathematical Theory of Communication, Bell Syst. Techn. J., Vol. 27, pp 379–423, (Part I), 1948. Шаблон:Ref-en
• Підручник «Теорія Інформації та Кодування» В. М. Плотніков

Посилання

• Приклади мір несподіваності Шаблон:Webarchive Шаблон:Ref-en
• Запис про «несподіваність» у глосарії молекулярної теорії інформації Шаблон:Ref-en
• Баєсова теорія несподіваності Шаблон:Webarchive Шаблон:Ref-en