马尔可夫过程

用手机看条目

出自 MBA智库百科(https://wiki.mbalib.com/)

马尔可夫过程（Markov Process）

什么是马尔可夫过程

　　1、马尔可夫性(无后效性)

　　过程或（系统）在时刻 $t 0$ 所处的状态为已知的条件下，过程在时刻 $t > t 0$ 所处状态的条件分布，与过程在时刻 $t 0$ 之前处的状态无关的特性称为马尔可夫性或无后效性。

　　即：已知过程“现在”的情况，过程“将来”的情况与“过去”的情况是无关的。

　　2、马尔可夫过程的定义

　　具有马尔可夫性的随机过程称为马尔可夫过程。

　　用分布函数表述马尔可夫过程：

　　设I：随机过程{X(t),t\in T}的状态空间，如果对时间t的任意n个数值:

　　 $P{X(t_n)\le x_n|X(t_1)=x_1,X(t_2)=x_2,\cdots ,X(t_{n-1})=x_{n-1}}$ （注： $X (t n)$ 在条件 $X (t i) = x i$ 下的条件分布函数）

　　 $=P{X(t_n\le x_n|X(t_{n-1})=x_{n-1}},x_n\in R$ (注： $X (t n)$ )在条件 $X (t n - 1) = x n - 1$ 下的条件分布函数）

　　或写成：

　　 $F_{t_n|t_1\cdots t_{n-1}}(x_n,t_n|x_1,x_2,\cdots,x_{n-1};t_1,t_2,\cdots,t_{n-1})$

　　 $F_{t_n|t_{n-1}}(x_n,t_n|x_{n-1},t_{n-1})$

　　这时称过程 $X(t),t\in T$ 具马尔可夫性或无后性，并称此过程为马尔可夫过程。

　　3、马尔可夫链的定义

　　时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为 ${X_n=X(n),n=0,1,2,\cdots}$ 。

[编辑]

马尔可夫过程的概率分布

　　研究时间和状态都是离散的随机序列: ${X_n=X(n),n=0,1,2,\cdots}$ ,状态空间为 $I={a_1,a_2,\cdots},a_i\in R$

　　1、用分布律描述马尔可夫性

　　对任意的正整数n,r和 $0\le t_1<t_2<\cdots <t_r<m;t_i,m,n+m\in T_i$ ，有：

　　 $P{X_{m+n}=a_j|X_{t_1}=a_{i_1},X_{t_2}=a_{i_2},\cdots,X_{t_r}=a_{i_r},X_m=a_i}$

　　 $P X m + n = a j | X m = a i$ ，其中 $a_i\in I$ 。

　　2、转移概率

　　称条件概率 $P i j (m, m + n) = P X m + n = a j | X m = a i$ 为马氏链在时刻m处于状态 $a i$ 条件下，在时刻m+n转移到状态 $a j$ 的转移概率。

　　说明：转移概率具胡特点：

　　 $\sum_{j=1}^\infty P_{ij}(m,m+n)=1,i=1,2,\cdots$ 。

　　由转移概率组成的矩阵称为马氏链的转移概率矩阵。它是随机矩阵。

　　3、平稳性

　　当转移概率 $P i j (m, m + n)$ 只与i,j及时间间距n有关时，称转移概率具有平稳性。同时也称些链是齐次的或时齐的。

　　此时，记 $P i j (m, m + n) = P i j (n), P i j (n) = P X m + n = a j | X m = a i$ (注：称为马氏链的n步转移概率)

　　 $P (n) = (P i j (n))$ 为n步转移概率矩阵。

　　特别的, 当 k=1 时,

　　一步转移概率： $P i j = P i j (1) = P X m + 1 = a j | X m = a i$ 。

　　一步转移概率矩阵：P(1)

[编辑]

马尔可夫过程的应用举例

　　设任意相继的两天中，雨天转晴天的概率为1/3，晴天转雨天的概率为1/2，任一天晴或雨是互为逆事件。以0表示晴天状态，以1表示雨天状态， $X n$ 表示第n天状态（0或1）。试定出马氏链 $X_n,n\ge 1$ 的一步转移概率矩阵。又已知5月1日为晴天，问5月3日为晴天，5月5日为雨天的概率各等于多少？