亲爱的MBA智库百科用户:


过去的17年,百科频道一直以免费公益的形式为大家提供知识服务,这是我们团队的荣幸和骄傲。 然而,在目前越来越严峻的经营挑战下,单纯依靠不断增加广告位来维持网站运营支出,必然会越来越影响您的使用体验,这也与我们的初衷背道而驰。 因此,经过审慎地考虑,我们决定推出VIP会员收费制度,以便为您提供更好的服务和更优质的内容。


MBA智库百科VIP会员,您的权益将包括: 1、无广告阅读; 2、免验证复制。


当然,更重要的是长期以来您对百科频道的支持。诚邀您加入MBA智库百科VIP会员,共渡难关,共同见证彼此的成长和进步!



MBA智库百科项目组
2023年8月10日
百科VIP
未登录
无广告阅读
免验证复制
支付方式:
微信支付
支付宝
PayPal
购买数量:
1
应付金额:
10
汇率换算:
10
美元(USD)

按当月汇率换算,

包含手续费

打开手机微信 扫一扫继续付款
立即开通
PayPal支付后,可能会遇到VIP权益未及时开通的情况,请您耐心等待,或者联系百科微信客服:mbalib888。
温馨提示:当无法进去支付页面时,可刷新后重试或更换浏览器
开通百科会员即视为同意《MBA智库·百科会员服务规则》

支付成功

全球专业中文经管百科,由121,994位网友共同编写而成,共计436,064个条目

离散信源

用手机看条目

出自 MBA智库百科(https://wiki.mbalib.com/)

离散信源(Discrete Information Source)

目录

[隐藏]

什么是离散信源[1]

  离散信源是指信源输出符号为离散随机变量的信源。

  设离散信源输出随机变量X的值域R为一离散集合R={a_1,a_2,\cdots,a_n},其中,n可以是有限正数,也可以是可数的无限大正数。若已知R上每一消息发生的概率分布为

P(a_1),P(a_2),\cdots,P(a_n)

  则离散信源X的概率空间

[R,P]=[X,P]=\begin{bmatrix} a_1 & a_2 & \cdots & a_n \\ P(a_1) & P(a_2) & \cdots & P(a_n) \end{bmatrix}

  其中,信源输出消息的概率P(a_i)(i=1,2,\cdots,n)满足:

\begin{cases}P(a_i) \ge 0,i=1,2,\cdots,n\\\sum^n_{i=1}P(a_i)=1 \end{cases}

离散信源的信息量[2]

  离散信源产生的消息状态是可数的或者离散的,离散消息中所包含的信息的多少(即信息量)应该怎么样来衡量呢?

  经验告诉人们,当某个消息出现的可能性越小的时候,该消息所包含的信息量就越多。消息中所包含的信息的多少与消息出现的概率密切相关。

  为此,哈特莱首先提出了信息的度量关系。

  对于离散消息xi来讲,其信息量I可表示为

I=log_a \frac{1}{p(x_i)}

  其中,p(xi)表示离散消息xi出现的概率。

  根据a的取值不同,信息量的单位也不同。当a取2时,信息量的单位为比特(bit);当a取e时,信息量的单位为奈特;当a取10时,信息量的单位为哈特莱。通常口的取值都是2,即用比特作为信息量的单位。

离散信源的熵[2]

  当离散消息中包含的符号比较多时,利用符号出现概率来计算该消息中的信息量往往是比较麻烦的。为此,可以用平均信息量(H)来表征,即

H(X)=- \sum^m_{i=1}p(x_i)log_2 p(x_i)

  其中,m表示消息中的符号个数。

离散信源的分类[3]

  根据输出符号问的依赖关系,离散信源可以分为无记忆信源和有记忆信源,输出符号间相互独立的称为无记忆信源,而输出符号之间具有相关性的,称为有记忆信源。最简单的无记忆信源的例子就是掷骰子试验,其中每次抛掷结果都独立于其他抛掷结果。如果骰子是均匀的,那么我们就认为每次抛掷出现某点数的概率是相等的,即等于1/6。有记忆信源的最典型的例子就是自然语言。例如,书写的文章或讲话中每一个词或字、字母都和它前后的符号有关。最简单的有记忆信源就是马尔可夫信源,自然语言可以用马尔可夫信源近似。

  统计特性不随时问起点改变的信源称为平稳信源,反之称为非平稳信源。

参考文献

  1. 平西建,童莉,巩克现等编著.信息论与编码.西安电子科技大学出版社,2009
  2. 2.0 2.1 张玉平主编.通信原理与技术.化学工业出版社,2009
  3. 田宝玉,杨洁,贺志强等编著.信息论基础.人民邮电出版社,2008
本条目对我有帮助3
MBA智库APP

扫一扫,下载MBA智库APP

分享到:
  如果您认为本条目还有待完善,需要补充新内容或修改错误内容,请编辑条目投诉举报

本条目由以下用户参与贡献

KAER,Tracy.

评论(共0条)

提示:评论内容为网友针对条目"离散信源"展开的讨论,与本站观点立场无关。

发表评论请文明上网,理性发言并遵守有关规定。

打开APP

以上内容根据网友推荐自动排序生成

官方社群
下载APP
告MBA智库百科用户的一封信
亲爱的MBA智库百科用户: 过去的17年,百科频道一直以免费公益的形式为大家提供知识服务,这是我们团队的荣幸和骄傲。 然而,在目前越来越严峻的经营挑战下,单纯依靠不断增加广告位来维持网站运营支出,必然会越来越影响您的使用体验,这也与我们的初衷背道而驰。 因此,经过审慎地考虑,我们决定推出VIP会员收费制度,以便为您提供更好的服务和更优质的内容。 MBA智库百科VIP会员(9.9元 / 年,点击开通),您的权益将包括: 1、无广告阅读; 2、免验证复制。 当然,更重要的是长期以来您对百科频道的支持。诚邀您加入MBA智库百科VIP会员,共渡难关,共同见证彼此的成长和进步!
MBA智库百科项目组
2023年8月10日

闽公网安备 35020302032707号

添加收藏

    新建收藏夹

    编辑收藏夹

    20