統計顯著性檢驗
出自 MBA智库百科(https://wiki.mbalib.com/)
統計顯著性檢驗(Statistical Significance Testing)
目錄 |
統計顯著性檢驗是指用於檢驗在零假設為真的情況下出現某個結果或更極端結果的概率。
統計顯著性檢驗的內容[1]
統計顯著性檢驗的本質是統計顯著性檢驗是一個系統的程式，用於判定基於樣本的某項研究的結果是否支持針 對總體的某個理論或實踐創新。這是比較籠統的解釋。更為準確的理解是，統計顯著性檢驗指以隨機化（包括隨機取樣和隨機分配）為前提、在零假設為真的情況下，根據給定的樣本確定出現某個結果的概率的程式。
該定義涉及以下要素：
(1)統計顯著性檢驗結果是概率描述，時常根據概率是否大於或小於某個水平而表現為二元對立；
(2)檢驗的基礎是假定零假設為真；
(3)隨機化(randomization)是使用顯著性檢驗的基本前提；
(4)樣本容量是關鍵因素，因為研究結果的統計顯著性取決於它所依據的個案數。
在最簡單的意義上，統計顯著性檢驗用於檢驗在零假設為真的情況下出現某個結果或更極端結果的概率。顯著性檢驗中要用到4對基本的概念：樣本與總體，零假設與備擇假設，顯著性水平(水平)與顯著性概率(p值)，第一類錯誤與第二類錯誤。
統計顯著性檢驗的不足及補充手段[1]
統計顯著性檢驗僅用於發現在零假設前提下出現某個統計值或更極端值的概率，並以此為證據做出拒絕或不拒絕零假設的判斷。它不能回答研究發現的實際意義等其他問題。因此，在研究中，僅僅依靠顯著性檢驗結果做出決策是有危險的。本節在指出顯著性檢驗不足的同時，建議研究中利用效應量(efect size)檢驗、統計效力檢驗、置信區間估計或重覆試驗等補充手段。
1．效應量檢驗。以t檢驗為例。統計顯著性只能說明真正的參數值與零假設中的參數值有差異，卻不能明示差異的實際意義。一個小的P值，比如0．O1，構成拒絕零假設的有力證據。但是，它絕不意味著在實際意義上有一個重要的發現。尤其在樣本容量很大的情況下，即便點估計值(point estimate)接近零假設中的參數值，也有可能達到小的P值。從“顯著性與重要性的混淆”節 檢驗的計算公式中可以看出，即使樣本平均數 與零假設的參數值。很小，如果樣本容量(n)很大，t統計量也會很大，極易達到統計上的顯著性。統計顯著性只表示有效應存在。在研究中，當研究結果具有統計上的顯著意義時，建議利用總體效應量(population effect size，簡稱ES)來輔助判斷結果的實際意義。效應量是對總體平均數差異的測量，有助於決定統計上具有顯著性的差異是否具有實際意義或重要性。
2．統計效力。檢驗樣本很大時，如果效應很小，統計顯著性的結果可能只有理論意義，沒有實際意義。樣本很小時，即便效應很大，也有可能得不到統計顯著性的結果。統計效力是在研究假設為真的情況下，某研究產生統計顯著性結果的概率，即拒絕錯誤的零假設的概率。效力越大，犯第二類錯誤的概率就越小；效力越小，犯第二類錯誤的概率就越大。常用的參考規則是研究中統計的效力要達到0．80。統計效力的大小主要與效應量、樣本容量和顯著性水平等因素有關。在其他條件不變的情況下，效應越大，統計效力就越大；樣本越大，統計效力就越大；顯著性水平越高，統計效力就越大。
3．置信區間。除了統計效力之外，置信區間也是一種補充手段。置信區間和顯著性檢驗從兩個不同的方面描述同樣的東西，具有互補性：顯著性檢驗利用P值判斷零假設中的某個參數值是否合理(plausible)，置信區間則提供一系列可信的參數值。置
4．重覆性試驗。在一次試驗中，我們不可能100％地確信某個假設為真或為假。在拒絕零假設時，我們會犯第一類型的錯誤，儘管我們能將錯誤率控制在0．05或0．01等水平上。另外，即便我們得到了顯著性檢驗結果，那也未必就意味著是處理效應的結果，因為樣本的取樣(sampling)、分配(assignment)和樣本量等都會影響試驗結果。在接受錯誤的零假設時，我們會犯第二類錯誤。除非樣本容量很大，犯第二類錯誤的概率通常比犯第一類錯誤的概率要高得多，因此，只依靠基於小樣本的統計顯著性檢驗來發現重要的科學結果，失敗的可能性常常是很大的
