馬爾可夫過程

用手机看条目

出自 MBA智库百科(https://wiki.mbalib.com/)

馬爾可夫過程（Markov Process）

什麼是馬爾可夫過程

　　1、馬爾可夫性(無後效性)

　　過程或（系統）在時刻 $t 0$ 所處的狀態為已知的條件下，過程在時刻 $t > t 0$ 所處狀態的條件分佈，與過程在時刻 $t 0$ 之前處的狀態無關的特性稱為馬爾可夫性或無後效性。

　　即：已知過程“現在”的情況，過程“將來”的情況與“過去”的情況是無關的。

　　2、馬爾可夫過程的定義

　　具有馬爾可夫性的隨機過程稱為馬爾可夫過程。

　　用分佈函數表述馬爾可夫過程：

　　設I：隨機過程{X(t),t\in T}的狀態空間，如果對時間t的任意n個數值:

　　 $P{X(t_n)\le x_n|X(t_1)=x_1,X(t_2)=x_2,\cdots ,X(t_{n-1})=x_{n-1}}$ （註： $X (t n)$ 在條件 $X (t i) = x i$ 下的條件分佈函數）

　　 $=P{X(t_n\le x_n|X(t_{n-1})=x_{n-1}},x_n\in R$ (註： $X (t n)$ )在條件 $X (t n - 1) = x n - 1$ 下的條件分佈函數）

　　或寫成：

　　 $F_{t_n|t_1\cdots t_{n-1}}(x_n,t_n|x_1,x_2,\cdots,x_{n-1};t_1,t_2,\cdots,t_{n-1})$

　　 $F_{t_n|t_{n-1}}(x_n,t_n|x_{n-1},t_{n-1})$

　　這時稱過程 $X(t),t\in T$ 具馬爾可夫性或無後性，並稱此過程為馬爾可夫過程。

　　3、馬爾可夫鏈的定義

　　時間和狀態都是離散的馬爾可夫過程稱為馬爾可夫鏈, 簡記為 ${X_n=X(n),n=0,1,2,\cdots}$ 。

[編輯]

馬爾可夫過程的概率分佈

　　研究時間和狀態都是離散的隨機序列: ${X_n=X(n),n=0,1,2,\cdots}$ ,狀態空間為 $I={a_1,a_2,\cdots},a_i\in R$

　　1、用分佈律描述馬爾可夫性

　　對任意的正整數n,r和 $0\le t_1<t_2<\cdots <t_r<m;t_i,m,n+m\in T_i$ ，有：

　　 $P{X_{m+n}=a_j|X_{t_1}=a_{i_1},X_{t_2}=a_{i_2},\cdots,X_{t_r}=a_{i_r},X_m=a_i}$

　　 $P X m + n = a j | X m = a i$ ，其中 $a_i\in I$ 。

　　2、轉移概率

　　稱條件概率 $P i j (m, m + n) = P X m + n = a j | X m = a i$ 為馬氏鏈在時刻m處於狀態 $a i$ 條件下，在時刻m+n轉移到狀態 $a j$ 的轉移概率。

　　說明：轉移概率具胡特點：

　　 $\sum_{j=1}^\infty P_{ij}(m,m+n)=1,i=1,2,\cdots$ 。

　　由轉移概率組成的矩陣稱為馬氏鏈的轉移概率矩陣。它是隨機矩陣。

　　3、平穩性

　　當轉移概率 $P i j (m, m + n)$ 只與i,j及時間間距n有關時，稱轉移概率具有平穩性。同時也稱些鏈是齊次的或時齊的。

　　此時，記 $P i j (m, m + n) = P i j (n), P i j (n) = P X m + n = a j | X m = a i$ (註：稱為馬氏鏈的n步轉移概率)

　　 $P (n) = (P i j (n))$ 為n步轉移概率矩陣。

　　特別的, 當 k=1 時,

　　一步轉移概率： $P i j = P i j (1) = P X m + 1 = a j | X m = a i$ 。

　　一步轉移概率矩陣：P(1)

[編輯]

馬爾可夫過程的應用舉例

　　設任意相繼的兩天中，雨天轉晴天的概率為1/3，晴天轉雨天的概率為1/2，任一天晴或雨是互為逆事件。以0表示晴天狀態，以1表示雨天狀態， $X n$ 表示第n天狀態（0或1）。試定出馬氏鏈 $X_n,n\ge 1$ 的一步轉移概率矩陣。又已知5月1日為晴天，問5月3日為晴天，5月5日為雨天的概率各等於多少？