信息熵

出自 MBA智库百科(https://wiki.mbalib.com/)

信息熵(Information Entropy)

　　信息熵是一個數學上頗為抽象的概念，在這裡不妨把信息熵理解成某種特定信息的出現概率（離散隨機事件的出現概率）。一個系統越是有序，信息熵就越低；反之，一個系統越是混亂，信息熵就越高。信息熵也可以說是系統有序化程度的一個度量。

　　根據Charles H. Bennett對Maxwell's Demon的解釋，對信息的銷毀是一個不可逆過程，所以銷毀信息是符合熱力學第二定律的。而產生信息，則是為系統引入負（熱力學）熵的過程。所以信息熵的符號與熱力學熵應該是相反的。一般而言，當一種信息出現概率更高的時候，表明它被傳播得更廣泛，或者說，被引用的程度更高。我們可以認為，從信息傳播的角度來看，信息熵可以表示信息的價值。這樣我們就有一個衡量信息價值高低的標準，可以做出關於知識流通問題的更多推論。

　　信源的平均不定度。在資訊理論中信源輸出是隨機量，因而其不定度可以用概率分佈來度量。記 H(X)＝H(P1，P2，…，Pn)＝-P(xi)logP(xi)，這裡P(xi)，i＝1，2，…，n為信源取第i個符號的概率。P(xi)=1，H(X)稱為信源的信息熵。

　　熵的概念來源於熱力學。在熱力學中熵的定義是系統可能狀態數的對數值，稱為熱熵。它是用來表達分子狀態雜亂程度的一個物理量。熱力學指出，對任何已知孤立的物理系統的演化，熱熵只能增加，不能減少。然而這裡的信息熵則相反，它只能減少，不能增加。所以熱熵和信息熵互為負量。且已證明，任何系統要獲得信息必須要增加熱熵來補償，即兩者在數量上是有聯繫的。

　　可以從數學上加以證明，只要H(X)滿足下列三個條件：

　　①連續性：H(P，1－P)是P的連續函數(0≤P≤1)；

　　②對稱性：H(P1，…，Pn)與P1，…，Pn的排列次序無關；

　　③可加性：若Pn＝Q1+Q2＞0，且Q1，Q2≥0，則有H(P1，…，Pn-1，Q1，Q2)＝H(P1，…，Pn-1)+PnH；則一定有下列唯一表達形式：H(P1，…，Pn)＝-CP(xi)logP(xi)

　　其中C為正整數，一般取C＝1，它是信息熵的最基本表達式。

　　信息熵的單位與公式中對數的底有關。最常用的是以2為底，單位為比特(bit)；在理論推導中常採用以e為底，單位為奈特(Nat)；還可以採用其他的底和單位，並可進行互換。

　　信息熵除了上述三條基本性質外，還具有一系列重要性質，其中最主要的有：

　　①非負性：H(P1，…，Pn)≥0；

　　②確定性：H(1，0)＝H(0，1)＝H(0，1，0，…)＝0；

　　③擴張性：Hn-1(P1，…，Pn-ε，ε)＝Hn(P1，…，Pn)；

　　④極值性：P(xi)logP(xi)≤P(xi)logQ(xi)；這裡Q(xi)＝1；

　　⑤上凸性：H[λP +(1-λ)Q]＞λH(P)+(1-λ)H(Q)，式中0＜λ＜1。