Ланцюги Маркова з неперервним часом

У теорії ймовірностей ланцюгом Маркова з неперервним часом називається випадковий процес { X(t) : t ≥ 0 } визначений у неперервному часовому проміжку, що приймає значення у деякій скінченній чи зліченній множині і задовольняє властивість Маркова. Відмінність цього виду ланцюгів Маркова від дискретних ланцюгів Маркова полягає в тому, що переходи між станами можуть відбуватися в будь-які моменти часу і час наступного переходу теж є випадковою величиною.

Формальне означення

Випадковий процес $\{X_t{\}}_{t⩾0}$, що приймає значення в деякій скінченній чи зліченній множині називається ланцюгом Маркова (з неперервним часом), якщо

$\mathbb{P}(X_{t+h}=x_{t+h}\mid X_s=x_s,0<s⩽t)=\mathbb{P}(X_{t+h}=x_{t+h}\mid X_t=x_t)$.

Ланцюг Маркова з неперервним часом називається однорідним якщо:

$\mathbb{P}(X_{t+h}=x_{t+h}\mid X_t=x_t)=\mathbb{P}(X_h=x_h\mid X_0=x_0)$.

Матриця перехідних функцій і рівняння Колмогорова — Чепмена

Як і у дискретному випадку Ланцюги Маркова з неперервним часом повністю визначаються заданням початкового розподілу

$𝐩=(p_1,p_2,\dots {)}^{\mathrm{\top }},p_i=\mathbb{P}(X_0=i),i=1,2,\dots$

іматрицею перехідних функцій (перехідних ймовірностей)

$𝐏(h)=(P_{ij}(h))=\mathbb{P}(X_h=j\mid X_0=i)$.

Матриця перехідних ймовірностей задовільняє рівнянню Колмогорова — Чепмена: $𝐏(t+s)=𝐏(t)𝐏(s)$ або

$P_{ij}(t+s)=\sum _k{P}_{ik}(t)P_{kj}(s)$.

Матриця інтенсивностей

За визначенням , матриця інтенсивностей $𝐐=\underset{h\to 0}{\lim }\frac{𝐏(h)-𝐈}{h}$

чи еквівалентно:

$𝐐=(q_{ij})={\left(\frac{d{P}_{ij}(h)}{dh}\right)}_{h=0}$.

Із рівняння Колмогорова-Чепмена випливають:

• Пряме рівняння Колмогорова

  $\frac{d𝐏(t)}{dt}=𝐏(t)𝐐,$

• Обернене рівняння Колмогорова

  $\frac{d𝐏(t)}{dt}=𝐐𝐏(t).$

Для обох рівнянь початковим наближенням є $𝐏(0)=𝐈$. Відповідний розв'язок рівний: $𝐏(t)=\exp (𝐐t).$

Див. також

• Ланцюги Маркова
• Марківський процес

Література

• S. P. Meyn and R. L. Tweedie. Markov Chains and Stochastic Stability. London: Springer-Verlag, 1993. ISBN 0-387-19832-6.
• J. R. Norris. Markov Chains. Cambridge University Press, 1997. ISBN ISBN 0-521-48181-3