估計量

用手机看条目

出自 MBA智库百科(https://wiki.mbalib.com/)

估計量(estimator)

什麼是估計量

　　估計量是指一個公式或方法,它告訴人們怎樣用手中樣本所提供的信息去估計總體參數。在一項應用中,依據估計量算出的一個具體的數值,稱為估計值。

估計量的優良性準則^[1]

　　1．無偏性

　　估計量 $\widehat{\theta}(X_1, X_2,..., X_n)$ 是一個隨機變數，對一次具體的觀察或試驗的結果，估計值可能較真實的參數值有一定偏離，但一個好的估計量不應總是偏小或偏大，在多次試驗中所得估計量的平均值應與參數的真值相吻合，這正是無偏性的要求。

　　【定義1】設 $(X 1, X 2,..., X n)$ 為來自總體X的樣本， $\theta \in \Theta$ 為總體的未知參數， $\widehat{\theta}(X_1, X_2,..., X_n)$ 為 $θ$ 的一個估計量．若對於任意 $\theta \in \Theta$ 有

　　 $E(\widehat{\theta}(X_1, X_2,..., X_n))=\theta$ (1)

　　則稱 $\widehat{\theta}(X_1, X_2,..., X_n)$ 為 $θ$ 的無偏估計量．記

　　 $b_n=E(\widehat{\theta}(X_1, X_2,..., X_n))-\theta$

　　稱 $b n$ 以 $\widehat{\theta}(X_1, X_2,..., X_n)$ 作為 $θ$ 的估計的偏差，當 $b_n \ne 0$ 時，稱 $\widehat{\theta}(X_1, X_2,..., X_n)$ 為 $θ$ 的有偏估計量，若 $\lim_{n \to \infty}b_n=0$ 則稱 $\widehat{\theta}(X_1, X_2,..., X_n)$ 是 $θ$ 的漸近無偏估計．

　　無偏性的意義是，用一個估計量 $\widehat{\theta}(X_1, X_2,..., X_n)$ 去估計未知參數 $θ$ ，有時候可能偏高，有時候可能偏低，但是平均來說它等於未知參數 $θ$ 。

　　【定理1】設對總體X，有 $E (X) = μ$ ， $D (X) = σ 2$ 從總體X中抽取樣本 $X 1, X 2,..., X n$ 用 $\overline{X}$ ， $S 2$ 分別表示樣本均值和樣本修正方差，則

　　(1) $\overline{X}$ 是 $μ$ 的無偏估計量；

　　(2) $S 2$ 是 $σ 2$ 的無偏估計量．

　　證由題設， $E (X i) = μ, D (X i) = σ 2 (i = 1,2,..., n)$ ，且諸 $X i$ 獨立。於是有

　　(1) $E(\overline{X})=E(\frac{1}{n} \sum^n_{i=1} X_i)= \frac{1}{n} \sum^n_{i=1} E(X_i) = \frac{1}{n} \sum^n_{i=1} \mu = \frac{1}{n} \times n\mu = \mu$ ,即 $\overline{X}$ 是總體均值 $μ$ 的無偏估計量。

　　(2)因總體X的期望 $E (X) = μ$ 和方差 $D (X) = σ 2$ 存在，則

　　 $E(\overline{X}) = E (\frac{1}{N} \sum^n_{i=1} X_i) = \frac{1}{n} \sum^n_{i=1} (X_i) = \mu$

　　 $D(\overline{X})=D(\frac{1}{n} \sum^n_{i=1} X_i) = \frac{1}{n^2} \sum^n_{i=1} D(X_i) = \frac{\sigma^2}{n}$

　　 $E(S^2)=\frac{1}{n-1} E[\sum^n_{i=1} (X_i - \overline{X})^2]$

　　 $=\frac{1}{n-1} E [\sum^n_{i=1} X^2_i - n \overline{X}^2]$

　　 $=\frac{1}{n-1} [\sum^n_{i=1} E(X^2_i) - nE (\overline{X}^2)]$

　　 $=\frac{1}{n-1} \sum^n_{i=1} \left\{D(X_i) + [E(X_i)]^2 \right\} - \frac{n}{n-1} \left\{D(\overline{X}) + [E(\overline{X})]^2 \right\}$

　　 $=\frac{1}{n-1} \sum^n_{i=1} (\sigma^2 + \mu^2) - \frac{n}{n-1} (\frac{\sigma^2}{n} + \mu^2) = \sigma^2$

　　故 $S 2$ 是總體方差 $σ 2$ 的無偏估計量．

　　但對 $S^2_n = \frac{1}{n} \sum^n_{i=1} (X_i - \overline{X})^2$ ，有

　　 $E(S^2_n) = E(\frac{1}{n} \sum (X_i - \overline{X})^2) = \frac{1}{n}(n-1) \sigma^2 = \frac{n-1}{n} \sigma^2 < \sigma^2$

　　若n很大時，則 $\frac{n-1}{n}$ 很接近1，表明 $S^2_n = \frac{1}{n} \sum^n_{i=1} (X_i - \overline{X})^2$ 不是 $σ 2$ 的無偏估計，而是 $σ 2$ 的漸近無偏估計。

　　【例1】設總體X的k階矩 $\mu k = E(X^k)(k \ge 1)$ 存在， $(X 1, X 2,..., X n)$ 為來

　　自總體X的樣本，試證明不論總體X服從什麼分佈，k階樣本矩 $A_K = \frac{1}{n} \sum^n_{i=1} X^k_i$ 是k階總體矩 $μ k$ 的無偏估計．

　　證　 $X 1, X 2,..., X n$ 與X同分佈，故有

　　 $E(X^k_i)= E(X^k) = \mu k (i=1,2,...,n)$

　　即有

　　 $E(A_k) = \frac{1}{n} \sum^n_{i=1} E(X^k_i) = \mu k$

　　【例2】設總體X服從參數為 $λ$ 的指數分佈，其概率密度為 $f(x) = \begin{cases} \lambda e^{\lambda x}, & x > 0 \\ 0, & x \le 0 \end{cases}$

　　　　其中參數 $λ > 0$ 但未知，又設 $X 1, X 2,..., X n$ 為來自總體X的樣本，試證 $\overline{X}$ 和 $n Z = n [m i n (X 1, X 2,..., X n)]$ 都是 $1 / λ$ 的無偏估計．

　　證　因E $(\overline{x})=E(X)=1 / \lambda$ ，所以 $\overline{x}$ 是 $1 / λ$ 的無偏估計量．而 $Z = [m i n (X 1, X 2,..., X n)]$ 具有概率密度

　　 $f(x) = \begin{cases} n\lambda e^{-n\lambda x}, & x > 0 \\ 0, & x \le 0 \end{cases}$

　　故知 $E (Z) = 1 / n λ$ ，從而 $E (n Z) = 1 / λ$ ，即nZ也是 $1 / λ$ 的無偏估計量

　　此例結果表明，一個未知參數可以有不同的無偏估計量．值得註意，若 $\widehat{\theta}$ 是 $θ$ 的無偏估計， $g (θ)$ 是 $θ$ 的函數， $g(\widehat{\theta})$ 不一定是 $g (θ)$ 的無偏估計．

　　【例3】試證樣本標準差S不是總體標準差 $σ$ 的無偏估計．

　　證　因為 $σ 2 = E (S 2) = D (S) + [E (S)] 2$ ，註意到 $D(S) \ge o$ ，所以 $\sigma^2 \ge [E(S)]^2$ ，於是 $E(S) \le \sigma$ ，這表明儘管 $S 2$ 是 $σ 2$ 的無偏估計，但S不是總體標準差 $σ$ 的無偏估計．用樣本標準差S去估計總體的標準差 $σ$ ，平均來說是偏低了．

　　 2．有效性

　　用樣本統計量作為總體參數的估計量，其無偏性是重要的，但同一參數的無偏估計不是唯一的，還應該從中選取最好的．例如，從總體X中抽取樣本 $X 1, X 2, X 3$ ,則 $\overline{X} = \frac{1}{3}(X_1 + X_2 + X_3)$ 是總體均值 $μ$ 的無偏估計．考慮 $E (X i) = μ$ ，則每個 $X i$ 也都是 $μ$ 的無偏估計．還有 $\frac{1}{5} X_1 + \frac{2}{5} X_2 + \frac{2}{5} X_3$ , 其數學期望也是 $μ$ ，它也是 $μ$ 的無偏估計。

　　一般只要 $\sum^n_{i=1} c_i = 1$ , $\sum^n_{i=1} c_i X_i$ 就是 $μ$ 的無偏估計．這麼多無偏估計中哪一個更好一些呢?這就有了有效性的概念．

　　對於參數 $θ$ 的無偏估計量，其取值應在真值附近波動，我們自然希望它與真值之間的偏差越小越好，也就是說無偏估計量的方差越小越好．

　　【定義2】設 $\widehat{\theta_1} = \widehat{\theta_1}(X_1,X_2,...,X_n)$ 與 $\widehat{\theta_2}= \widehat{\theta_2}(X_1,X_2,...,X_n)$ 均為未知參數 $θ$ 的無偏估計量，若

　　 $D(\widehat{\theta_1}) \le D(\widehat{\theta_2})$ (2)

　　則稱 $\widehat{\theta_1}$ 比 $\widehat{\theta_2}$ 有效

　　【定理2】總體均值 $μ$ 的所有線性無偏估計中，以 $\overline{X} = \frac{1}{n} \sum^n_{i=1} x_i$ 最為有效。

　　證　 $μ$ 的所有線性無偏估計 $\sum^n_{i=1} c_i X_i$ ，中 $\sum^n_{i=1} = 1$ 其方差

　　 $D(\sum^n_{i=1} c_i X_i) = \sum^n_{i=1} D(c_i X_i) = \sum^n_{i=1} c^2_i D(X_i) = \sum^n_{i=1} c^2_i \sigma^2 = \sigma^2 \sum^n_{i=1} c^2_i$

　　要求這個方差的最小值，相當於求函數 $f(c_1 , c_2 , ..., c_n) = \sum^n_{i=1} c^2_i$ ，在條件 $\sum^n_{i=1} c_i = 1$ 下的最小值．這是一個條件極值問題，用拉格朗日乘數法，令

　　 $f(c_1 , c_2 , ..., c_n) = \sum^n_{i=1} c^2_i - 2 \lambda (\sum^n_{i=1} c_i - 1)$

　　由 $\begin{cases} \frac{ \partial f}{\partial c_1} = 2c_1 -2\lambda = 0 \\ ...... \\ \frac{ \partial f}{\partial c_n} = 2c_n -2\lambda = 0 \end{cases}$

　　得 $\begin{cases} c_1 = \lambda \\ ......\\ c_n = \lambda \end{cases}$

　　即 $c 1 = c 2 = ... = c n$

　　代入 $\sum^n_{i=1} c_i =1$ ，則 $c_i = \frac{1}{n} (i=1,2,...,n)$ 。

　　這是唯一駐點，應是極小值點，亦是最小值點，即當 $c_1 = C_2 =...= c_n = \frac{1}{n}$ 時， $D(\sum^n_{i=1} c_i X_i)$ 達到最小，即

　　 $D(\sum^n_{i=1} \frac{1}{n} X_i) = D (\frac{1}{n} \sum^n_{i=1} X_i) = D(\overline{X}) = \frac{\sigma^2}{n}$

　　為方差最小值．這表明在總體均值 $μ$ 的所有線性無偏估計中，以 $\overline{x}$ 最為有效．

　　【例4】(續例2)在例2的條件下，試證當 $n \ge 2$ 時， $θ$ 的無偏估計量 $\overline{X}$ 比無偏估計量nZ有效．

　　證　因為 $D(X) = \frac{1}{\lambda^2}$ ，所以 $D(\overline{X})=\frac{1}{n \lambda^2}$ ．再由Z的密度函數可得 $D(Z)=\frac{1}{n^2 \lambda^2}$ ，故有 $D(nZ)=\frac{1}{\lambda^2}$ 。當 $n \ge 2$ 時 $D(nZ)>D(\overline{X})$ ，故 $\overline{X}$ 比 $n Z$ 有效．

　　在 $θ$ 的所有無偏估計量中，若 $\widehat{\theta_0}(X_1, X_2, ..., X_n)$ 是具有最小方差的無偏估計量，則稱 $\widehat{\theta_0}(X_1, X_2, ..., X_n)$ 為 $θ$ 的一致最小方差無偏估計量最優無偏估計量．

　　可以證明，無偏估計量 $\widehat{\theta}$ 的方差 $D(\widehat{\theta})$ 的下界 $D 0 (θ)$ 為

　　 $D(\widehat{\theta}) \ge D_0 (\theta) = \frac{1}{nE[\frac{\partial}{\partial \theta} lnf (X, \theta)]^2} > 0$

　　當 $D(\widehat{\theta})=D_0(\theta)$ 時， $\widehat{\theta}$ 就是 $θ$ 的最優無偏估計量．這裡， $f (x,θ)$ 表示連續型隨機變數的概率密度或離散型隨機變數的概率函數．

　　【例5】設總體X服從參數為 $λ$ 的泊松分佈， $X 1, X 2,..., X n$ 是來自該總體的一個樣本，求參數 $λ$ 的極大似然估計量 $\widehat{\lambda}$ ，並證明 $\widehat{\lambda}$ 是參數 $λ$ 的最優估計量．

　　解　設樣本的一個觀察值為 $X 1, X 2,..., X n$ ，則似然函數

　　 $L(\lambda) = \prod_{i=1}^{n} \frac{\lambda^{x_i}}{x_i !}e^{-\lambda} = e^{-n\lambda} \prod_{i=1}^n \frac{\lambda^{x_i}}{x_i !}$

　　 $\ln L(\lambda) = -n \lambda + (\sum_{i=1}^n x_i) \ln \lambda - \sum_{i=1}^n \ln (x_i !)$

　　令

　　 $\frac{d \ln L(\lambda)}{d \lambda} = -n + \frac{1}{\lambda} \sum_{i=1}^n x_i = 0$

　　得 $\widehat{\lambda}= \frac{1}{n} \sum_{i=1}^n x_i = \overline{X}$

　　由於 $E(\widehat{\lambda}) = E(\overline{X}) = \lambda$ ，故 $\widehat{\lambda}$ 是參數 $λ$ 的無偏估計量．

　　又因

　　 $D(\widehat{\lambda}) = D(\overline{X}) = \frac{1}{n^2} \sum_{i=1}^n D(X_i) = \frac{\lambda}{n}$

　　 $f(x; \lambda) = P \left\{X = x \right\} = \frac{\lambda^x}{x !} e^{-\lambda}$

　　 $ln f (x;λ) = - λ + x lnλ - ln(x!)$

　　 $E \left\{[\frac{\partial}{\partial \lambda} \ln f(X; \lambda)]^2 \right\} = E[ \frac{1}{\lambda^2}(X - \lambda)^2] = \frac{1}{\lambda^2} E[X-E(X)]^2 = \frac{1}{\lambda^2} D(X) =\frac{1}{\lambda}$

　　所以

　　 $D_0(\widehat{\lambda}) = \frac{1}{nE \left\{ [\frac{\partial}{\partial \lambda} \ln f(X; \lambda)]^2 \right\}} = \frac{\lambda}{n}$

　　因此， $D(\widehat{\lambda})=D_0(\lambda)=\frac{\lambda}{n}$ ，即 $\widehat{\lambda} = \overline{X}$ 是參數 $λ$ 的最優估計量

　　3．一致性

　　上面從無偏性和有效性兩個方面討論了選擇估計量的標準，但它們都是在固定樣本容量竹的前提下提出的．容易想象，如果樣本容量越大，樣本所含的總體分佈的信息應該越多，我們希望隨著樣本容量的增大，估計量的值能夠穩定於待估參數的真值，估計量的這種性質稱為一致性．

　　【定義3】設 $\widehat{\theta}(X_1,X_2,...,X_n)$ 為參數 $θ$ 的估計量，若對於任意 $\theta \in \Theta$ 及任意 $ε > O$ ，有

　　 $\lim_{n \to \infty} P \left\{| \widehat{\theta}(X_1,X_2,...,X_n) - \theta| < \epsilon \right\} = 1$ (3)

　　即 $\widehat{\theta}(X_1,X_2,...,X_n)$ 依概率收斂於 $θ$ ，則稱 $\widehat{\theta}(X_1,X_2,...,X_n)$ 為 $θ$ 的一致估計量(或相合估計量)．

　　【例6】證明樣本k階原點矩 $A_K = \frac{1}{n} \sum_{i=1}^n X^k_i$ 是總體k階原點矩 $\mu k = E (X^k) (k \ge 1)$ 的一致估計．

　　證由於 $X 1, X 2,..., X n$ 相互獨立與X同分佈，所以對任意 $(k \ge 1)$ , $X_1^k,X_2^k,...,X_n^k$ 也相互獨立與 $X k$ 同分佈．因此，由大數定律，對於任意 $ε > 0$ ，有

　　 $\lim_{n \to \infty} P \left\{|\frac{1}{n} \sum_{i=1}^n X^k_i - E(X^k_i)| < \epsilon \right\} = 1$

　　此表明 $A k$ 是 $μ k$ 的一致估計量．

　　進而，若待估參數 $θ = g (μ 1,μ 2,...,μ k)$ ，其中g(·)為連續函數，則 $θ$ 的估計量 $\widehat{\theta} = \widehat{g}(\mu_1 , \mu_2 , ... , \mu_k) = g(A_1, A_2, ..., A_k)$ (這裡 $A k$ 為樣本k階原點矩)是 $θ$ 的一致估計量。由此可證，樣本方差 $S 2$ 是總體方差 $σ 2$ 的一致估計量。

[編輯]

參考文獻

↑ 陳榮江,王建平主編.概率論與數理統計.科學出版社,2012.03

取自"https://wiki.mbalib.com/zh-tw/%E4%BC%B0%E8%AE%A1%E9%87%8F"

打开MBA智库App, 阅读完整内容打开App

如果您認為本條目還有待完善，需要補充新內容或修改錯誤內容，請編輯條目或投訴舉報。

本条目由以下用户参与贡献

李漠,Dan,苦行者,寒曦.

頁面分類: 統計術語

評論(共0條)

提示:評論內容為網友針對條目"估計量"展開的討論，與本站觀點立場無關。

發表評論請文明上網，理性發言並遵守有關規定。

查看

工具▼

估計量

出自 MBA智库百科(https://wiki.mbalib.com/)

目錄

什麼是估計量

估計量的優良性準則^[1]

參考文獻

温馨提示

本条目相关课程

本条目由以下用户参与贡献

評論(共0條)

導航

意见反馈

查看

工具▼

估計量

出自 MBA智库百科(https://wiki.mbalib.com/)

目錄

什麼是估計量

估計量的優良性準則[1]

參考文獻

温馨提示

本條目相關文檔

本条目相关课程

本条目由以下用户参与贡献

評論(共0條)

導航

意见反馈

估計量的優良性準則^[1]