Ентропійна швидкість

Шаблон:Теорія інформації У математичній теорії ймовірності шви́дкість ентропі́ї або шви́дкість джерела́ інформа́ції (Шаблон:Lang-en) стохастичного процесу — це, неформально, часова густина усередненої інформації в стохастичному процесі. Для стохастичних процесів зі зліченним індексом швидкістю ентропії Η(X) є границя спільної ентропії n членів процесу X_k, поділена на n, при прямуванні n до нескінченності:

$\mathrm{H}(X)=\underset{n\to \mathrm{\infty }}{\lim }\frac{1}{n}\mathrm{H}(X_1,X_2,\dots X_n)$

коли ця границя існує. Альтернативною, пов'язаною величиною є

${\mathrm{H}}^{\prime }(X)=\underset{n\to \mathrm{\infty }}{\lim }\mathrm{H}(X_n|X_{n-1},X_{n-2},\dots X_1)$

Для строго стаціонарних стохастичних процесів $\mathrm{H}(X)={\mathrm{H}}^{\prime }(X)$. Швидкість ентропії можна розглядати як загальну властивість стохастичних джерел; це є Шаблон:Нп.

Швидкість ентропії для марковських ланцюгів

Оскільки стохастичний процес, визначений марковським ланцюгом, що є нерозкладним, аперіодичним і позитивно рекурентним, має стаціонарний розподіл, швидкість ентропії не залежить від початкового розподілу.

Наприклад, для такого марковського ланцюга Y_k, визначеного на зліченному числі станів, за заданої матриці переходів P_ij, H(Y) задається як

$\mathrm{H}(Y)=-\sum _{ij}{\mu }_i{P}_{ij}\log P_{ij}$

де μ_i є Шаблон:Нп цього ланцюга.

Простим наслідком цього визначення є те, що н. о. р. стохастичний процес має таку же швидкість ентропії, як і ентропія будь-якого з окремих членів цього процесу.

Див. також

• Шаблон:Нп
• Шаблон:Нп
• Шаблон:Нп

Джерела

• Cover, T. and Thomas, J. (1991) Elements of Information Theory, John Wiley and Sons, Inc., ISBN 0-471-06259-6 [1] Шаблон:Ref-en