信息熵

用手机看条目

出自 MBA智库百科(https://wiki.mbalib.com/)

信息熵(Information Entropy)

目录

什么是信息熵

  信息熵是一个数学上颇为抽象的概念,在这里不妨把信息熵理解成某种特定信息的出现概率(离散随机事件的出现概率)。一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。信息熵也可以说是系统有序化程度的一个度量。

信息熵的计算

  根据Charles H. Bennett对Maxwell's Demon的解释,对信息的销毁是一个不可逆过程,所以销毁信息是符合热力学第二定律的。而产生信息,则是为系统引入负(热力学)熵的过程。所以信息熵的符号与热力学熵应该是相反的。一般而言,当一种信息出现概率更高的时候,表明它被传播得更广泛,或者说,被引用的程度更高。我们可以认为,从信息传播的角度来看,信息熵可以表示信息的价值。这样我们就有一个衡量信息价值高低的标准,可以做出关于知识流通问题的更多推论。

  信源的平均不定度。在信息论中信源输出是随机量,因而其不定度可以用概率分布来度量。记 H(X)=H(P1,P2,…,Pn)=P(xi)logP(xi),这里P(xi),i=1,2,…,n为信源取第i个符号的概率。P(xi)=1,H(X)称为信源的信息熵。

  熵的概念来源于热力学。在热力学中熵的定义是系统可能状态数的对数值,称为热熵。它是用来表达分子状态杂乱程度的一个物理量。热力学指出,对任何已知孤立的物理系统的演化,热熵只能增加,不能减少。然而这里的信息熵则相反,它只能减少,不能增加。所以热熵和信息熵互为负量。且已证明,任何系统要获得信息必须要增加热熵来补偿,即两者在数量上是有联系的。

  可以从数学上加以证明,只要H(X)满足下列三个条件:

  ①连续性:H(P,1-P)是P的连续函数(0≤P≤1);

  ②对称性:H(P1,…,Pn)与P1,…,Pn的排列次序无关;

  ③可加性:若Pn=Q1+Q2>0,且Q1,Q2≥0,则有H(P1,…,Pn-1,Q1,Q2)=H(P1,…,Pn-1)+PnH;则一定有下列唯一表达形式:H(P1,…,Pn)=-CP(xi)logP(xi)

  其中C为正整数,一般取C=1,它是信息熵的最基本表达式。

  信息熵的单位与公式中对数的底有关。最常用的是以2为底,单位为比特(bit);在理论推导中常采用以e为底,单位为奈特(Nat);还可以采用其他的底和单位,并可进行互换。

  信息熵除了上述三条基本性质外,还具有一系列重要性质,其中最主要的有:

  ①非负性:H(P1,…,Pn)≥0;

  ②确定性:H(1,0)=H(0,1)=H(0,1,0,…)=0;

  ③扩张性:Hn-1(P1,…,Pn-ε,ε)=Hn(P1,…,Pn);

  ④极值性:P(xi)logP(xi)≤P(xi)logQ(xi);这里Q(xi)=1;

  ⑤上凸性:H[λP +(1-λ)Q]>λH(P)+(1-λ)H(Q),式中0<λ<1。

本条目对我有帮助166
MBA智库APP

扫一扫,下载MBA智库APP

分享到:
  如果您认为本条目还有待完善,需要补充新内容或修改错误内容,请编辑条目

本条目由以下用户参与贡献

Kuxiaoxue,Huluan,Vulture,Yixi,Tracy,LuyinT.

评论(共5条)

提示:评论内容为网友针对条目"信息熵"展开的讨论,与本站观点立场无关。
27.19.201.* 在 2011年4月1日 08:27 发表

顶一下

回复评论
14.111.76.* 在 2013年10月23日 22:03 发表

谢谢分享!

回复评论
59.46.215.* 在 2014年3月13日 08:42 发表

谢谢

回复评论
114.80.87.* 在 2016年1月8日 14:16 发表

上凸性和可加性是否冲突?

回复评论
202.111.192.* 在 2017年2月15日 12:20 发表

114.80.87.* 在 2016年1月8日 14:16 发表

上凸性和可加性是否冲突?

不知道

回复评论

发表评论请文明上网,理性发言并遵守有关规定。

打开APP

以上内容根据网友推荐自动排序生成