Марковський процес відновлення

Марковські процеси відновлення — це клас випадкових процесів у теорії ймовірності та статистиці, які узагальнюють клас марковських стрибкоподібних процесів. Інші класи випадкових процесів, такі як ланцюги Маркова та процеси Пуассона, є частинними випадками процесів марковського відновлення, які в свою чергу є окремими частинними випадками серед більш загального класу процесів відновлення.

Означення

Ілюстрація марковського процесу відновлення

Нехай випадкові величини $X_n$приймають значення у просторі станів $\mathrm{S}$, а виадкові величини $T_n$ є невід'ємними та не спадають за $n$. Рзглянемо послідовність $(X_n,T_n)$, де $T_n$ представляє випадкові моменти стрибків, а $X_n$ представляє стани, що відповідають цим стрибкам (див. малюнок). Визначимо послідовність моментів очікування між стрибками ${\tau }_n=T_n-T_{n-1}$. Для того щоб послідовність $(X_n,T_n)$ називалася процесом марковського відновлення, має виконуватися така умова. Для усіх $n\ge 1$, $t\ge 0$, $i,j\in \mathrm{S}$:

$\begin{array}{cc}& \mathrm{Pr}({\tau }_{n+1}\le t,X_{n+1}=j\mid (X_0,T_0),(X_1,T_1),\dots ,(X_n=i,T_n))\\ & =\mathrm{Pr}({\tau }_{n+1}\le t,X_{n+1}=j\mid X_n=i).\end{array}$

Зв'язок з іншими випадковими процесами

1. Нехай $X_n$та $T_n$ визначені як раніше. Визначимо новий процес $Y_t:=X_n$ для $t\in [T_n,T_{n+1})$. Тоді процес $Y_t$ називається напівмарковським процесом. Такий процес задовольняє марковську властивість лише в конкретні моменти стрибків, звідки походить і назва напівмарковський.
2. Напівмарковський процес (визначений в пункті 1.), у якого усі моменти очікування ${\tau }_n$ мають експоненційний розподіл називається ланцюгом Маркова з неперервним часом. Іншими словами, якщо 1) моменти очікування експоненційно розподілені та 2) якщо час очікування в стані та наступний стан незалежні, то процес є ланцюгом Маркова з неперервним часом. Для усіх $n\ge 1,t\ge 0,i,j\in \mathrm{S},i\ne j$:

   $\begin{array}{cc}& \mathrm{Pr}({\tau }_{n+1}\le t,X_{n+1}=j\mid (X_0,T_0),(X_1,T_1),\dots ,(X_n=i,T_n))\\ & =\mathrm{Pr}({\tau }_{n+1}\le t,X_{n+1}=j\mid X_n=i)\\ & =\mathrm{Pr}(X_{n+1}=j\mid X_n=i)(1-e^{-{\lambda }_{i}t}).\end{array}$

3. Послідовність $X_n$ у процесі марковського відновлення є ланцюгом Маркова із дискретним часом. Іншими словами, якщо часові змінні вилучити з властивості марковського процесу відновлення, отримаємо ланцюг Маркова з дискретним часом. Для усіх $n\ge 1,i,j\in \mathrm{S}:$

   $\mathrm{Pr}(X_{n+1}=j\mid X_0,X_1,\dots ,X_n=i)=\mathrm{Pr}(X_{n+1}=j\mid X_n=i).$

4. Якщо послідовність ${\tau }_n$ складається з незалежних та однаково розподілених випадкових величин та якщо їх розподіл не залежить від стану $X_n$, то процес є процесом відновлення. Формально $\mathrm{\forall }n\ge 1,t\ge 0$

   $\mathrm{Pr}({\tau }_{n+1}\le t\mid T_0,T_1,\dots ,T_n)=\mathrm{Pr}({\tau }_{n+1}\le t).$

Дивіться також

• Марковський процес
• Теорія відновлення