亲爱的MBA智库百科用户:


过去的17年,百科频道一直以免费公益的形式为大家提供知识服务,这是我们团队的荣幸和骄傲。 然而,在目前越来越严峻的经营挑战下,单纯依靠不断增加广告位来维持网站运营支出,必然会越来越影响您的使用体验,这也与我们的初衷背道而驰。 因此,经过审慎地考虑,我们决定推出VIP会员收费制度,以便为您提供更好的服务和更优质的内容。


MBA智库百科VIP会员,您的权益将包括: 1、无广告阅读; 2、免验证复制。


当然,更重要的是长期以来您对百科频道的支持。诚邀您加入MBA智库百科VIP会员,共渡难关,共同见证彼此的成长和进步!



MBA智库百科项目组
2023年8月10日
百科VIP
未登录
无广告阅读
免验证复制
1年VIP
¥ 9.9
支付方式:
微信支付
支付宝
PayPal
购买数量:
1
应付金额:
9.9
汇率换算:
9.9
美元(USD)

按当月汇率换算,

包含手续费

打开手机微信 扫一扫继续付款
立即开通
PayPal支付后,可能会遇到VIP权益未及时开通的情况,请您耐心等待,或者联系百科微信客服:mbalib888。
温馨提示:当无法进去支付页面时,可刷新后重试或更换浏览器
开通百科会员即视为同意《MBA智库·百科会员服务规则》

支付成功

全球专业中文经管百科,由121,994位网友共同编写而成,共计436,064个条目

马尔可夫过程

用手机看条目

出自 MBA智库百科(https://wiki.mbalib.com/)

马尔可夫过程(Markov Process)

目录

[隐藏]

什么是马尔可夫过程

  1、马尔可夫性(无后效性)

  过程或(系统)在时刻t0所处的状态为已知的条件下,过程在时刻t > t0所处状态的条件分布,与过程在时刻t0之前处的状态无关的特性称为马尔可夫性或无后效性。

  即:已知过程“现在”的情况,过程“将来”的情况与“过去”的情况是无关的。

  2、马尔可夫过程的定义

  具有马尔可夫性的随机过程称为马尔可夫过程。

  用分布函数表述马尔可夫过程:

  设I:随机过程{X(t),t\in T}的状态空间,如果对时间t的任意n个数值:

  P{X(t_n)\le x_n|X(t_1)=x_1,X(t_2)=x_2,\cdots ,X(t_{n-1})=x_{n-1}}(注:X(tn)在条件X(ti) = xi下的条件分布函数)

  =P{X(t_n\le x_n|X(t_{n-1})=x_{n-1}},x_n\in R(注:X(tn))在条件X(tn − 1) = xn − 1下的条件分布函数)

  或写成:

  F_{t_n|t_1\cdots t_{n-1}}(x_n,t_n|x_1,x_2,\cdots,x_{n-1};t_1,t_2,\cdots,t_{n-1})

  F_{t_n|t_{n-1}}(x_n,t_n|x_{n-1},t_{n-1})

  这时称过程X(t),t\in T具马尔可夫性或无后性,并称此过程为马尔可夫过程。

  3、马尔可夫链的定义

  时间和状态都是离散的马尔可夫过程称为马尔可夫链, 简记为{X_n=X(n),n=0,1,2,\cdots}

马尔可夫过程的概率分布

  研究时间和状态都是离散的随机序列:{X_n=X(n),n=0,1,2,\cdots},状态空间为I={a_1,a_2,\cdots},a_i\in R

  1、用分布律描述马尔可夫性

  对任意的正整数n,r和0\le t_1<t_2<\cdots <t_r<m;t_i,m,n+m\in T_i,有:

  P{X_{m+n}=a_j|X_{t_1}=a_{i_1},X_{t_2}=a_{i_2},\cdots,X_{t_r}=a_{i_r},X_m=a_i}

  PXm + n = aj | Xm = ai,其中a_i\in I

  2、转移概率

  称条件概率Pij(m,m + n) = PXm + n = aj | Xm = ai为马氏链在时刻m处于状态ai条件下,在时刻m+n转移到状态aj转移概率

  说明:转移概率具胡特点:

  \sum_{j=1}^\infty P_{ij}(m,m+n)=1,i=1,2,\cdots

  由转移概率组成的矩阵马尔可夫过程称为马氏链的转移概率矩阵。它是随机矩阵。

  3、平稳性

  当转移概率Pij(m,m + n)只与i,j及时间间距n有关时,称转移概率具有平稳性。同时也称些链是齐次的或时齐的。

  此时,记Pij(m,m + n) = Pij(n),Pij(n) = PXm + n = aj | Xm = ai(注:称为马氏链的n步转移概率)

  P(n) = (Pij(n))为n步转移概率矩阵

  特别的, 当 k=1 时,

  一步转移概率:Pij = Pij(1) = PXm + 1 = aj | Xm = ai

  一步转移概率矩阵:P(1)

马尔可夫过程

马尔可夫过程的应用举例

  设任意相继的两天中,雨天转晴天的概率为1/3,晴天转雨天的概率为1/2,任一天晴或雨是互为逆事件。以0表示晴天状态,以1表示雨天状态,Xn表示第n天状态(0或1)。试定出马氏链X_n,n\ge 1的一步转移概率矩阵。又已知5月1日为晴天,问5月3日为晴天,5月5日为雨天的概率各等于多少?

  解:由于任一天晴或雨是互为逆事件且雨天转晴天的概率为1/3,晴天转雨天的概率为1/2,故一步转移概率和一步转移概率矩阵分别为:

  P{X_n=j|X_{n-1}=i}=\begin{cases}\frac{1}{3},i=1,j=0\\\frac{2}{3},i=1,j=1\\\frac{1}{2},i=0,j=0\\\frac{1}{2},i=0,j=1\end{cases}

马尔可夫过程

  故5月1日为晴天,5月3日为晴天的概率为:

  P_{00}(2)=\frac{5}{12}=0.4167

  又由于:马尔可夫过程

  故5月1日为晴天,5月5日为雨天的概率为:P01(4) = 0.5995   

本条目对我有帮助141
MBA智库APP

扫一扫,下载MBA智库APP

分享到:
  如果您认为本条目还有待完善,需要补充新内容或修改错误内容,请编辑条目投诉举报

本条目由以下用户参与贡献

Zfj3000,Cabbage,Vulture,Angle Roh,Dan,Yixi,刘东,罗贵阳.

评论(共1条)

提示:评论内容为网友针对条目"马尔可夫过程"展开的讨论,与本站观点立场无关。
106.39.189.* 在 2016年3月6日 17:59 发表

比百度强太多,求排版改善

回复评论

发表评论请文明上网,理性发言并遵守有关规定。

打开APP

以上内容根据网友推荐自动排序生成

官方社群
下载APP
告MBA智库百科用户的一封信
亲爱的MBA智库百科用户: 过去的17年,百科频道一直以免费公益的形式为大家提供知识服务,这是我们团队的荣幸和骄傲。 然而,在目前越来越严峻的经营挑战下,单纯依靠不断增加广告位来维持网站运营支出,必然会越来越影响您的使用体验,这也与我们的初衷背道而驰。 因此,经过审慎地考虑,我们决定推出VIP会员收费制度,以便为您提供更好的服务和更优质的内容。 MBA智库百科VIP会员(9.9元 / 年,点击开通),您的权益将包括: 1、无广告阅读; 2、免验证复制。 当然,更重要的是长期以来您对百科频道的支持。诚邀您加入MBA智库百科VIP会员,共渡难关,共同见证彼此的成长和进步!
MBA智库百科项目组
2023年8月10日

闽公网安备 35020302032707号

添加收藏

    新建收藏夹

    编辑收藏夹

    20