馬爾可夫過程

用手机看条目

出自 MBA智库百科(https://wiki.mbalib.com/)

馬爾可夫過程(Markov Process)

目錄

什麼是馬爾可夫過程

  1、馬爾可夫性(無後效性)

  過程或(系統)在時刻t0所處的狀態為已知的條件下,過程在時刻t > t0所處狀態的條件分佈,與過程在時刻t0之前處的狀態無關的特性稱為馬爾可夫性或無後效性。

  即:已知過程“現在”的情況,過程“將來”的情況與“過去”的情況是無關的。

  2、馬爾可夫過程的定義

  具有馬爾可夫性的隨機過程稱為馬爾可夫過程。

  用分佈函數表述馬爾可夫過程:

  設I:隨機過程{X(t),t\in T}的狀態空間,如果對時間t的任意n個數值:

  P{X(t_n)\le x_n|X(t_1)=x_1,X(t_2)=x_2,\cdots ,X(t_{n-1})=x_{n-1}}(註:X(tn)在條件X(ti) = xi下的條件分佈函數)

  =P{X(t_n\le x_n|X(t_{n-1})=x_{n-1}},x_n\in R(註:X(tn))在條件X(tn − 1) = xn − 1下的條件分佈函數)

  或寫成:

  F_{t_n|t_1\cdots t_{n-1}}(x_n,t_n|x_1,x_2,\cdots,x_{n-1};t_1,t_2,\cdots,t_{n-1})

  F_{t_n|t_{n-1}}(x_n,t_n|x_{n-1},t_{n-1})

  這時稱過程X(t),t\in T具馬爾可夫性或無後性,並稱此過程為馬爾可夫過程。

  3、馬爾可夫鏈的定義

  時間和狀態都是離散的馬爾可夫過程稱為馬爾可夫鏈, 簡記為{X_n=X(n),n=0,1,2,\cdots}

馬爾可夫過程的概率分佈

  研究時間和狀態都是離散的隨機序列:{X_n=X(n),n=0,1,2,\cdots},狀態空間為I={a_1,a_2,\cdots},a_i\in R

  1、用分佈律描述馬爾可夫性

  對任意的正整數n,r和0\le t_1<t_2<\cdots <t_r<m;t_i,m,n+m\in T_i,有:

  P{X_{m+n}=a_j|X_{t_1}=a_{i_1},X_{t_2}=a_{i_2},\cdots,X_{t_r}=a_{i_r},X_m=a_i}

  PXm + n = aj | Xm = ai,其中a_i\in I

  2、轉移概率

  稱條件概率Pij(m,m + n) = PXm + n = aj | Xm = ai為馬氏鏈在時刻m處於狀態ai條件下,在時刻m+n轉移到狀態aj轉移概率

  說明:轉移概率具胡特點:

  \sum_{j=1}^\infty P_{ij}(m,m+n)=1,i=1,2,\cdots

  由轉移概率組成的矩陣马尔可夫过程稱為馬氏鏈的轉移概率矩陣。它是隨機矩陣。

  3、平穩性

  當轉移概率Pij(m,m + n)只與i,j及時間間距n有關時,稱轉移概率具有平穩性。同時也稱些鏈是齊次的或時齊的。

  此時,記Pij(m,m + n) = Pij(n),Pij(n) = PXm + n = aj | Xm = ai(註:稱為馬氏鏈的n步轉移概率)

  P(n) = (Pij(n))為n步轉移概率矩陣

  特別的, 當 k=1 時,

  一步轉移概率:Pij = Pij(1) = PXm + 1 = aj | Xm = ai

  一步轉移概率矩陣:P(1)

马尔可夫过程

馬爾可夫過程的應用舉例

  設任意相繼的兩天中,雨天轉晴天的概率為1/3,晴天轉雨天的概率為1/2,任一天晴或雨是互為逆事件。以0表示晴天狀態,以1表示雨天狀態,Xn表示第n天狀態(0或1)。試定出馬氏鏈X_n,n\ge 1的一步轉移概率矩陣。又已知5月1日為晴天,問5月3日為晴天,5月5日為雨天的概率各等於多少?

  解:由於任一天晴或雨是互為逆事件且雨天轉晴天的概率為1/3,晴天轉雨天的概率為1/2,故一步轉移概率和一步轉移概率矩陣分別為:

  P{X_n=j|X_{n-1}=i}=\begin{cases}\frac{1}{3},i=1,j=0\\\frac{2}{3},i=1,j=1\\\frac{1}{2},i=0,j=0\\\frac{1}{2},i=0,j=1\end{cases}

马尔可夫过程

  故5月1日為晴天,5月3日為晴天的概率為:

  P_{00}(2)=\frac{5}{12}=0.4167

  又由於:马尔可夫过程

  故5月1日為晴天,5月5日為雨天的概率為:P01(4) = 0.5995   

本條目對我有幫助123
MBA智库APP

扫一扫,下载MBA智库APP

分享到:
  如果您認為本條目還有待完善,需要補充新內容或修改錯誤內容,請編輯條目

本条目由以下用户参与贡献

Zfj3000,Cabbage,Vulture,Angle Roh,Dan,Yixi,刘东,罗贵阳.

評論(共1條)

提示:評論內容為網友針對條目"馬爾可夫過程"展開的討論,與本站觀點立場無關。
106.39.189.* 在 2016年3月6日 17:59 發表

比百度強太多,求排版改善

回複評論

發表評論請文明上網,理性發言並遵守有關規定。

打开APP

以上内容根据网友推荐自动排序生成

闽公网安备 35020302032707号