相對熵

用手机看条目

出自 MBA智库百科(https://wiki.mbalib.com/)

相對熵(Relative Entropy; KL散度; Kullback–Leibler divergence; KLD; 信息散度; 信息增益)

目錄

什麼是相對熵

  相對熵是指兩個概率分佈P和Q差別的非對稱性的度量。 相對熵是用來 度量使用基於Q的編碼來編碼來自P的樣本平均所需的額外的比特個數。典型情況下,P表示數據的真實分佈,Q表示數據的理論分佈,模型分佈,或P的近似分佈。

相對熵的定義

  對於離散隨機變數,其概率分佈PQ的相對熵可按下式定義為 D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \ln \frac{P(i)}{Q(i)}。即按概率P求得的PQ的對數差的平均值。相對熵僅當概率PQ各自總和均為1,且對於任何i皆滿足Q(i) > 0P(i) > 0時,才有定義。式中出現0ln0的情況,其值按0處理。

  對於連續隨機變數,其概率分佈PQ可按積分方式定義為 [1]

  D_{\mathrm{KL}}(P\|Q) = \int_{-\infty}^\infty p(x) \ln \frac{p(x)}{q(x)} \, {\rm d}x,其中pq分別表示分佈PQ的密度。   更一般的,若PQ為集合X的概率測度,且Q關於P絕對連續|絕對連續,則從PQ的相對熵定義為 D_{\mathrm{KL}}(P\|Q) = -\int_X \ln \frac{{\rm d}Q}{{\rm d}P} \,{\rm d}P, 其中,假定右側的表達形式存在,則\frac{{\rm d}Q}{{\rm d}P}Q關於P的拉東-尼科迪姆定理|R–N導數。

  相應的,若P關於Q絕對連續|絕對連續,則

 D_{\mathrm{KL}}(P\|Q) = \int_X \ln \frac{{\rm d}P}{{\rm d}Q} \,{\rm d}P = \int_X \frac{{\rm d}P}{{\rm d}Q} \ln\frac{{\rm d}P}{{\rm d}Q}\,{\rm d}Q,

  即為P關於Q的相對熵。

相對熵的特性

  相對熵的值為非負數:

 D_{\mathrm{KL}}(P\|Q) \geq 0

  由吉布斯不等式可知,當且僅當P = QDKL(P||Q)為零。

  儘管從直覺上相對熵是個度量|度量或距離函數, 但是它實際上並不是一個真正的度量或距離。因為相對熵不具有對稱性:從分佈PQ的距離(或度量)通常並不等於從QP的距離(或度量)。

 D_{\mathrm{KL}}(P\|Q) \neq D_{\mathrm{KL}}(Q\|P)

相對熵和其它量的關係

  自信息和相對熵

  I(m) = DKLim | pi),

  互信息和相對熵

I(X;Y) = DKL(P(X,Y) | | P(X)P(Y)) = EXDKL(P(Y | X) | | P(Y)) = EYDKL(P(X | Y) | | P(X))

  信息熵和相對熵

H(X) = ExI(x) = logNDKL(P(X) | | PU(X))

  條件熵和相對熵

H(X | Y) = logNDKL(P(X,Y) | | PU(X)P(Y)) = (i)logNDKL(P(X,Y) | | P(X)(Y)) − DKL(P(X) | | PU(X)) = H(X) − I(X;Y) = iilogNEYDKLP(X | Y) | | PU(X)

  交叉熵和相對熵

  H(p,q) = Ep[ − logq] = H(p) + DKL(p | q)

參考文獻

  1. C. Bishop (2006). Pattern Recognition and Machine Learning. p. 55.

  

本條目對我有幫助5
MBA智库APP

扫一扫,下载MBA智库APP

分享到:
  如果您認為本條目還有待完善,需要補充新內容或修改錯誤內容,請編輯條目

本条目由以下用户参与贡献

Tracy.

評論(共0條)

提示:評論內容為網友針對條目"相對熵"展開的討論,與本站觀點立場無關。

發表評論請文明上網,理性發言並遵守有關規定。

打开APP

以上内容根据网友推荐自动排序生成