貝葉斯決策理論

用手机看条目

出自 MBA智库百科(https://wiki.mbalib.com/)

貝葉斯決策理論(Bayesian Decision Theory)

目錄

貝葉斯決策理論概述

  貝葉斯決策理論是主觀貝葉斯派歸納理論的重要組成部分。

  貝葉斯決策就是在不完全情報下,對部分未知的狀態用主觀概率估計,然後用貝葉斯公式對發生概率進行修正,最後再利用期望值和修正概率做出最優決策

  貝葉斯決策理論方法是統計模型決策中的一個基本方法,其基本思想是:

  • 根據後驗概率大小進行決策分類

貝葉斯公式

   設D1,D2,……,Dn為樣本空間S的一個劃分,如果以P(Di)表示事件Di發生的概率,且P(Di)>0(i=1,2,…,n)。對於任一事件x,P(x)>0,則有

  P(D_j/x)=\frac{p(x/D_j)P(D_j)}{\sum^{n}_{i=1}P(X/D_i)P(D_i)}

貝葉斯決策理論分析

  (1)如果我們已知被分類類別概率分佈的形式和已經標記類別的訓練樣本集合,那我們就需要從訓練樣本集合中來估計概率分佈的參數。在現實世界中有時會出現這種情況。(如已知為正態分佈了,根據標記好類別的樣本來估計參數,常見的是極大似然率和貝葉斯參數估計方法)

  (2)如果我們不知道任何有關被分類類別概率分佈的知識,已知已經標記類別的訓練樣本集合和判別式函數的形式,那我們就需要從訓練樣本集合中來估計判別式函數的參數。在現實世界中有時會出現這種情況。(如已知判別式函數為線性或二次的,那麼就要根據訓練樣本來估計判別式的參數,常見的是線性判別式和神經網路

  (3)如果我們既不知道任何有關被分類類別概率分佈的知識,也不知道判別式函數的形式,只有已經標記類別的訓練樣本集合。那我們就需要從訓練樣本集合中來估計概率分佈函數的參數。在現實世界中經常出現這種情況。(如首先要估計是什麼分佈,再估計參數。常見的是非參數估計)

  (4)只有沒有標記類別的訓練樣本集合。這是經常發生的情形。我們需要對訓練樣本集合進行聚類,從而估計它們概率分佈的參數。(這是無監督的學習)

  (5)如果我們已知被分類類別的概率分佈,那麼,我們不需要訓練樣本集合,利用貝葉斯決策理論就可以設計最優分類器。但是,在現實世界中從沒有出現過這種情況。這裡是貝葉斯決策理論常用的地方。

  問題:假設我們將根據特征矢量x 提供的證據來分類某個物體,那麼我們進行分類的標準是什麼?decide wj,if(p(wj|x)>p(wi|x))(i不等於j)應用貝葉斯展開後可以得到p(x|wj)p(wj)>p(x|wi)p(wi)即或然率p(x|wj)/p(x|wi)>p(wi)/p(wj),決策規則就是似然率測試規則。

  結論:

  對於任何給定問題,可以通過似然率測試決策規則得到最小的錯誤概率。這個錯誤概率稱為貝葉斯錯誤率,且是所有分類器中可以得到的最好結果。最小化錯誤概率的決策規則就是最大化後驗概率判據。

貝葉斯決策判據

  貝葉斯決策理論方法是統計模式識別中的一個基本方法。貝葉斯決策判據既考慮了各類參考總體出現的概率大小,又考慮了因誤判造成的損失大小,判別能力強。貝葉斯方法更適用於下列場合:

  (1) 樣本(子樣)的數量(容量)不充分大,因而大子樣統計理論不適宜的場合。

  (2) 試驗具有繼承性,反映在統計學上就是要具有在試驗之前已有先驗信息的場合。用這種方法進行分類時要求兩點:

  第一,要決策分類的參考總體的類別數是一定的。例如兩類參考總體(正常狀態Dl和異常狀態D2),或L類參考總體D1,D2,…,DL(如良好、滿意、可以、不滿意、不允許、……)。

  第二,各類參考總體的概率分佈是已知的,即每一類參考總體出現的先驗概率P(Di)以及各類概率密度函數P(x/Di)是已知的。顯然,0≤P(Di)≤1,(i=l,2,…,L),∑P(Di)=1。

  對於兩類故障診斷問題,就相當於在識別前已知正常狀態D1的概率戶(D1)和異常狀態0:的概率P(D2),它們是由先驗知識確定的狀態先驗概率。如果不做進一步的仔細觀測,僅依靠先驗概率去作決策,那麼就應給出下列的決策規則:若P(D1)>P(D2),則做出狀態屬於D1類的決策;反之,則做出狀態屬於D2類的決策。例如,某設備在365天中,有故障是少見的,無故障是經常的,有故障的概率遠小於無故障的概率。因此,若無特B,j明顯的異常狀況,就應判斷為無故障。顯然,這樣做對某一實際的待檢狀態根本達不到診斷的目的,這是由於只利用先驗概率提供的分類信息太少了。為此,我們還要對系統狀態進行狀態檢測,分析所觀測到的信息。

本條目對我有幫助41
MBA智库APP

扫一扫,下载MBA智库APP

分享到:
  如果您認為本條目還有待完善,需要補充新內容或修改錯誤內容,請編輯條目投訴舉報

評論(共8條)

提示:評論內容為網友針對條目"貝葉斯決策理論"展開的討論,與本站觀點立場無關。
218.25.58.* 在 2007年10月30日 20:07 發表

I don't down!!!!!!!!

回複評論
202.109.189.* 在 2007年11月29日 20:01 發表

it's too simple!

回複評論
116.21.91.* 在 2008年6月11日 15:18 發表

簡單的東西用起來不一定簡單

回複評論
59.62.99.* 在 2010年2月2日 20:31 發表

以前學過 I FORGET IT NOW!!!!!!!!

回複評論
124.160.88.* 在 2010年10月16日 09:32 發表

~~~~~~好多東西都不會~~~~

回複評論
119.78.214.* 在 2011年3月7日 12:54 發表

關鍵是要會用

回複評論
222.175.103.* 在 2011年7月14日 13:37 發表

整本模式分類就講了這麼個東西,受不了啊!這是篇好文章啊

回複評論
58.50.139.* 在 2012年8月5日 17:46 發表

尼瑪,什麼破理論!!!

回複評論

發表評論請文明上網,理性發言並遵守有關規定。

打开APP

以上内容根据网友推荐自动排序生成

闽公网安备 35020302032707号