貝葉斯統計

出自 MBA智库百科(https://wiki.mbalib.com/)

貝葉斯統計(Bayesian statistics; Bayesian statistic)

　　英國學者T.貝葉斯1763年在《論有關機遇問題的求解》中提出一種歸納推理的理論，後被一些統計學者發展為一種系統的統計推斷方法，稱為貝葉斯方法。採用這種方法作統計推斷所得的全部結果，構成貝葉斯統計的內容。認為貝葉斯方法是唯一合理的統計推斷方法的統計學者，組成數理統計學中的貝葉斯學派，其形成可追溯到 20世紀 30 年代。到50～60年代，已發展為一個有影響的學派。時至今日，其影響日益擴大。

　　貝葉斯統計中的兩個基本概念是先驗分佈和後驗分佈。

　　①先驗分佈。總體分佈參數θ的一個概率分佈。貝葉斯學派的根本觀點，是認為在關於總體分佈參數θ的任何統計推斷問題中，除了使用樣本所提供的信息外，還必須規定一個先驗分佈，它是在進行統計推斷時不可缺少的一個要素。他們認為先驗分佈不必有客觀的依據，可以部分地或完全地基於主觀信念。

　　②後驗分佈。根據樣本分佈和未知參數的先驗分佈，用概率論中求條件概率分佈的方法，求出的在樣本已知下，未知參數的條件分佈。因為這個分佈是在抽樣以後才得到的，故稱為後驗分佈。貝葉斯推斷方法的關鍵是任何推斷都必須且只鬚根據後驗分佈，而不能再涉及樣本分佈。

　　貝葉斯統計(Bayesian statistics)，推斷統計理論的一種。英國學者貝葉斯在1763年發表的論文《有關機遇問題求解的短論》中提出。依據獲得樣本 (Xl，X2，…，Xn)之後θ的後驗分佈π（θ|X1，X2，…，Xn)對總體參數θ作出估計和推斷。它不是由樣本分佈作出推斷。其理論基礎是先驗概率和後驗分佈，即在事件概率時，除樣本提供的後驗信息外，還會憑藉自己主觀已有的先驗信息來估計事件的概率。而以R．A．費希爾為首的經典統計理論對事件概率的解釋是頻率解釋，即通過抽取樣本，由樣本計算出事件的頻率，而樣本提供的信息完全是客觀的，一切推斷的結論或決策不允許加入任何主觀的先驗的信息。以對神童出現的概率P的估計為例。按經典統計的做法，完全由樣本提供的信息(即後驗信息)來估計，認為參數p是一個“值”。貝葉斯統計的做法是，除樣本提供的後驗信息外，人類的經驗對p有了一個瞭解，如p可能取pl與戶p2，且取p1的機會很大，取p2機會很小。先驗信息關於參數p的信息是一個“分佈”，如P(p=p1)=0．9，P(p=p2)=0．1，即在抽樣之前已知道(先驗的)p取p1的可能性為0．9。若不去抽樣便要作出推斷，自然會取p=p1。但若抽樣後，除非後驗信息(即樣本提供的信息)包含十分有利於“p—=p2”的支持論據，否則採納先驗的看法“p=p1”。20世紀 50年代後貝葉斯統計得到真正發展，但在發展過程中始終存在著與經典統計之間的爭論。

　　貝葉斯統計的歷史可以上溯到 16 世紀。1713 年，James Bernoulli 意識到在可用於機會游戲的演繹邏輯和每日生活中的歸納邏輯之間的區別，他提出一個著名的問題：前者的機理如何能幫助處理後面的推斷。托馬斯.貝葉斯（ThomasBayes， 1702－1761）是長老會的牧師。他對這個問題產生濃厚的興趣，並且對這個問題進行認真的研究，期間，他寫了一篇文章來回答Bernoulli 的問題，提出了後來以他的名字命名的公式：貝葉斯公式。但是，直到貝葉斯死後才由他的朋友Richard Price 在 1763 年發表了這篇文章，對Bernoulli 的問題提供了回答。這篇文章標志著貝葉斯統計的產生。但貝葉斯統計的思想在開始時並沒有得到重視。後來，Laplace 本人重新發現了貝葉斯公式，而且闡述得比貝葉斯更為清晰。由於貝葉斯統計對於概率的觀點過於主觀，與當時的主流統計觀點相左，此外也很難應用當時嚴謹的數學理論解釋。

　　例如貝葉斯統計中的先驗概率的觀點，一直以來都是貝葉斯統計學派和非貝葉斯統計學派爭論的焦點之一。在歷史上，貝葉斯統計長期受到排斥，受到當時主流的數學家們的拒絕。例如，近代優秀的統計學家R. A. Fisher 就是貝葉斯統計的反對者。然而，隨著科學的進步，貝葉斯統計在實際應用上取得的成功慢慢改變了人們的觀點。貝葉斯統計慢慢的受到人們的重視，目前貝葉斯統計已經成為統計學中一門很熱門的研究課題。

　　從貝葉斯為了回答James Bernoulli 的問題而寫的那一篇論文，提出著名的貝葉斯統計思想以來，經過幾百年的發展，目前關於貝葉斯統計的論文和學術專著有很多。目前統計界公認比較權威的貝葉斯統計的著作是James O. Berger 的作品：StatisticalDecision theory and Bayesian Analysis。國內有其中譯本：《統計決策論及貝葉斯分析》，它是由賈乃光主譯，吳喜之校譯，中國統計出版社出版。