2021年12月4日 · science · 5分钟阅读

一致最小方差无偏估计 UMVUE 的求法归纳

#数理统计#UMVUE

一致最小方差无偏估计估计 UMVUE 是参数估计中的重难点内容，也是很多高校考研专业课喜欢考察的问题. 但在很多教材中的介绍并不全面，主要问题在于本科生教材浅尝辄止，研究生教材有些晦涩，所以我归纳整理了求解 UMVUE 的背景知识和常用解法，供大家参阅批评. 转载注明出处！

1 一致最小方差无偏估计（UMVUE）

1.1 均方误差

在参数的点估计中，需要对各个估计量的好坏进行评价. 均方误差 (Mean Squared Error) 是在小样本量下对点估计进行评价的常用标准，定义为 MSE(θ^)=E(θ^−θ)2\text{MSE}(\hat\theta) = E(\hat\theta - \theta)^2，其中 θ^\hat\theta 代表对参数真值 θ\theta 的点估计量. 显然，估计的 MSE 越小越好.

对于无偏估计量 E(θ^)=θE(\hat\theta)=\theta，有

MSE(θ^)=E[(θ^−Eθ^)+(Eθ^−θ)]2=E(θ^−Eθ^)2+E(Eθ^−θ)2+2E[(θ^−Eθ^)(Eθ^−θ)]=Var(θ^)\begin{aligned} \text{MSE}(\hat\theta) & = E[(\hat\theta - E\hat\theta)+(E\hat\theta-\theta)]^2 \\ & = E(\hat\theta-E\hat\theta)^2 + E(E\hat\theta-\theta)^2 + 2E[(\hat\theta-E\hat\theta)(E\hat\theta-\theta)] \\ & = \text{Var}(\hat\theta) \end{aligned}

即，无偏估计的均方误差即为其方差.

1.2 一致最小均方误差估计

定义1 设有样本 X1,X2,⋯ ,XnX_1,X_2,\cdots,X_n，对待估参数 θ\theta，有一个估计类，称 θ^(X1,X2,⋯ ,Xn)\hat\theta(X_1,X_2,\cdots,X_n) 是该估计类中 θ\theta 的一致最小均方误差估计，如果对该估计类中另外任意一个 θ\theta 的估计 θ~\widetilde\theta，在参数空间 Θ\Theta 上都有MSEθ(θ^)⩽MSEθ(θ~)\text{MSE}_\theta(\hat\theta)\leqslant\text{MSE}_\theta(\widetilde\theta)

一致最小均方误差估计通常在一个确定的估计类中考虑，若不加限制，一致最小均方误差估计通常是不存在的（[1]287）.

1.3 一致最小方差无偏估计

当在参数 θ\theta 的无偏估计类中考虑一致最小均方误差估计时，由（1）式知，一致最小均方误差估计变为一致最小方差无偏估计.

定义2 对参数估计问题，设 θ^\hat\theta 是 θ\theta 的一个无偏估计，如果对另外任意一个 θ\theta 的无偏估计 θ~\widetilde\theta，在参数空间 Θ\Theta 上都有 Varθ(θ^)⩽Var(θ~)\text{Var}_\theta(\hat\theta)\leqslant\text{Var}(\widetilde\theta)，则称 θ^\hat\theta 是 θ\theta 的一致最小方差无偏估计 (Uniform Minimum-Variance Unbiased Estimator)，记为 UMVUE.

定理1 设 X=(x1,x2,⋯ ,xn)X=(x_1,x_2,\cdots,x_n) 是来自总体样本的一个样本，θ^=θ^(X)\hat\theta=\hat\theta(\mathbf X) 是 θ\theta 的一个无偏估计，Var(θ^)<∞\text{Var}(\hat\theta) < \infty. 则 θ^\hat\theta 是 θ\theta 的 UMVUE 的充要条件是，对任意一个满足 E(φ(X))=0E(\varphi(\mathbf X))=0 和 Var(φ(X))<∞\text{Var}(\varphi(\mathbf X))<\infty 的 φ(X)\varphi(\mathbf X)，都有 Covθ(θ^,φ)=0,∀θ∈Θ.\text{Cov}_\theta(\hat\theta,\varphi)=0, \forall \theta \in \Theta.

证明 充分性：对于 θ\theta 的任意一个无偏估计 θ~\widetilde\theta，令 φ=θ~−θ^\varphi = \widetilde\theta - \hat\theta，则 E(φ)=0E(\varphi)=0. 于是

Var(θ~)=E(θ~−θ)2=E[(θ~−θ^)+(θ^−θ)]2=E(φ2)+Var(θ^)+2Cov(φ,θ^)⩾Var(θ^)\begin{aligned} \text{Var}(\widetilde \theta) &= E(\widetilde\theta - \theta)^2 \\ &= E[(\widetilde\theta - \hat\theta) + (\hat\theta - \theta)]^2 \\ &= E(\varphi^2) + \text{Var}(\hat\theta)+2\text{Cov}(\varphi, \hat\theta) \\ &\geqslant \text{Var}(\hat\theta) \end{aligned}

得证 θ^\hat\theta 为 θ\theta 的 UMVUE. 必要性证明见参考文献[1]第288页.

2 充分完备统计量

2.1 充分统计量

定义3 设样本 X\mathbf{X} 的分布族为 {f(θ,x),θ∈Θ}\{f(\boldsymbol\theta,x), \boldsymbol\theta \in \Theta\}，Θ\Theta 是参数空间. 对于统计量 T(X)\boldsymbol T(\boldsymbol X) ，若在已知 T\boldsymbol T 的条件下，样本 X\mathbf X 的条件分布与参数 θ\boldsymbol\theta 无关，则称 T\boldsymbol T 为 θ\boldsymbol\theta 的充分统计量 (Sufficient Statistic).

定理2 (因子分解定理) 设 X=(X1,X2,⋯ ,Xn)\boldsymbol{X} = (X_1,X_2,\cdots,X_n) 是随机向量，T(x)\boldsymbol T(\boldsymbol x) 是已知函数. 则 T=T(X)T = T(\boldsymbol X) 为充分统计量的充分必要条件是：存在两个函数 g(T(x),θ)g\left(\boldsymbol T(\boldsymbol{\boldsymbol x}),\boldsymbol \theta \right) 和 h(x)h(\boldsymbol{x}) 使得对任意的 θ\boldsymbol\theta 和任一组观测值 x\boldsymbol{x}，有联合概率函数 (简便起见，将连续变量的概率密度函数和离散变量的概率分布列统称为概率函数，下同)

f(x,θ)=g(T(x),θ)h(x)f(\boldsymbol{x},\boldsymbol\theta) = g\big(\boldsymbol T(\boldsymbol{x}),\boldsymbol\theta\big)h(\boldsymbol{x})

其中 g(t,θ)g(\boldsymbol t,\boldsymbol\theta) 是 t,θ\boldsymbol t,\boldsymbol \theta 的函数，T(x)=(T1(x),T2(x),⋯ ,Tm(x))\boldsymbol T(\boldsymbol x)=(T_1(\boldsymbol x), T_2(\boldsymbol x),\cdots,T_m(\boldsymbol x)) 和 h(x)h(\boldsymbol x) 是 x=(x1,x2,⋯ ,xn)\boldsymbol x = (x_1,x_2,\cdots,x_n) 的函数.

例1 设 X1,⋯ ,XnX_1,\cdots,X_n 为来自正态总体 N(μ,σ2)N(\mu,\sigma^2) 的 i.i.d 样本，求 μ,σ2\mu, \sigma^2 的充分统计量.

解 样本的联合概率函数为 f(x,μ,σ2)=(2πσ)−nexp[−∑i=1n(xi−μ)22σ2]f(\boldsymbol{x},\mu,\sigma^2) = (\sqrt{2\pi}\sigma)^{-n}\mathrm{exp}\left[-\frac{\sum\limits_{i=1}^n(x_i - \mu)^2}{2\sigma^2}\right]，整理可得

f(x,μ,σ2)=(2πσ)−nexp[−∑i=1nxi2−2μ∑i=1nxi+nμ22σ2]f(\boldsymbol{x},\mu,\sigma^2)=(\sqrt{2\pi}\sigma)^{-n}\mathrm{exp}\left[-\frac{\sum\limits_{i=1}^nx_i^2-2\mu\sum\limits_{i=1}^nx_i + n\mu^2}{2\sigma^2}\right]

由因子分解定理 T=(∑i=1nXi,∑i=1nXi2)\boldsymbol T = (\sum\limits_{i=1}^n X_i, \sum\limits_{i=1}^n X_i^2) 是参数 (μ,σ2)(\mu, \sigma^2) 的充分统计量. 进一步整理得

f(x,μ,σ2)=(2πσ)−nexp[n(xˉ−μ)2+(n−1)s22σ2]f(\boldsymbol{x},\mu,\sigma^2)=(\sqrt{2\pi}\sigma)^{-n}\mathrm{exp}\left[\frac{n(\bar x - \mu)^2 + (n-1)s^2}{2\sigma^2}\right]

说明 (Xˉ,S2)(\bar X,S^2) 也是参数 (μ,σ2)(\mu, \sigma^2) 得充分统计量. 事实上 (∑i=1nXi,∑i=1nXi2)(\sum\limits_{i=1}^n X_i, \sum\limits_{i=1}^n X_i^2) 与 (Xˉ,S2)(\bar X,S^2) 是一一对应的.

定理2 Rao–Blackwell 定理：假设 g(X)g(\boldsymbol X) 是 θ\theta 的一个任意估计，T(X)T(\boldsymbol{X}) 是一个充分统计量；那么 g(X)g(\boldsymbol{X}) 相对于给定 T(X)T(\boldsymbol X) 的条件期望 g~=E(g(X)∣T)\widetilde{g}=E\big(g(\boldsymbol{X})|T\big) 是一个比 g(X)g(\boldsymbol X) 更好的估计量（至少不差于），即 Var(g~)⩽Var(g)\mathrm{Var}(\widetilde{g})\leqslant\mathrm{Var}(g).

证明 由定义3知 g~=E(g(X)∣T)\widetilde{g}=E\big(g(\boldsymbol{X})|T\big) 与参数 θ\theta 无关，故 g~\widetilde{g} 可作为 θ\theta 的估计量，并可表示为充分统计量 TT 的函数，记为 g~=g~(T)\widetilde{g} = \widetilde{g}(T). 由重期望公式得 E(g~)=E(g)E(\widetilde{g}) =E(g)，不妨记为 θ0\theta_0. Var(g)=E[(g−g~)+(g~−θ0)]2=E(g−g~)2+E(g~−θ0)2+2E[(g−g~)(g~−θ0)]\mathrm{Var}(g) = E\left[(g-\widetilde g)+(\widetilde{g}-\theta_0)\right]^2=E(g-\widetilde{g})^2+E(\widetilde{g}-\theta_0)^2+2E\left[(g-\widetilde{g})(\widetilde{g}-\theta_0)\right]，其中

E[(g−g~)(g~−θ0)]=E{E[(g−g~)(g~−θ0)∣T]}=E{(g~−θ0)E[(g−g~)∣T]}=E{(g~−θ0)[E(g∣T)−E(g~∣T)]}=E[(g~−θ0)(g~−g~)]=0\begin{aligned} E\left[(g-\tilde g)(\tilde g - \theta_0)\right] &= E\left\{E\left[(g-\tilde g)(\tilde g - \theta_0)|T\right]\right\} \\ &= E\left\{(\tilde g-\theta_0)E\left[(g-\tilde g)|T\right]\right\} \\ & = E\left\{(\tilde g-\theta_0) \left[E(g|T)-E(\tilde g|T)\right] \right\} \\ & = E\left[(\tilde g-\theta_0) (\tilde g-\tilde g) \right] \\ &=0 \end{aligned}

故 Var(g)=E(g−g~)2+Var(g~)\mathrm{Var}(g) = E(g-\widetilde{g})^2 + \mathrm{Var}(\widetilde{g}), 则 Var(g~)⩽Var(g)\mathrm{Var}(\widetilde{g}) \leqslant \mathrm{Var}(g).

由 Rao–Blackwell 定理可知，若参数得 UMVUE 存在，则一定是充分统计量或充分统计量的函数.

2.2 完备统计量

定义4 设总体 XX 的分布函数是 F(x;θ)F(x;\theta)，Θ\Theta 是参数空间，T=T(X)\mathbf T=\mathbf T(\mathbf X) 是基于 XX 的样本 X1,X2,⋯ ,XnX_1, X_2, \cdots, X_n 的统计量. 如果对于任何函数 g(t)g(\mathbf t)，条件

Eθg(T)=0,∀θ∈ΘE_\theta g(\boldsymbol T) = 0,\forall \boldsymbol\theta \in \Theta

蕴涵 Pθ(g(T))=0)=1(∀θ∈Θ)P_\theta(g(\mathbf T))=0) = 1(\forall \boldsymbol\theta \in \Theta)，则称 T(X)\mathbf T(\mathbf X) 是完全统计量或完备统计量 (Complete Statistic).

既是充分的又是完备的统计量称为充分完备统计量.

3 指数型分布族

3.1 指数分布族

定义5 设 X=(X1,X2,⋯ ,Xn)\boldsymbol X = (X_1, X_2, \cdots, X_n) 是随机向量，h(x),Ti(x)h(\boldsymbol x), T_i(\boldsymbol x) 是 x=(x1,x2,⋯ ,xn)\boldsymbol x = (x_1, x_2, \cdots, x_n) 的实值函数，C(θ),Qi(θ)C(\boldsymbol \theta), Q_i(\boldsymbol \theta) 是 θ\boldsymbol \theta 的函数. 如果 X\boldsymbol X 有联合概率函数

f(x,θ)=C(θ)exp[∑i=1mQi(θ)Ti(x)]h(x),θ∈Θf(x,\boldsymbol\theta) = C(\boldsymbol\theta)\mathrm{exp}\left[\sum\limits_{i=1}^mQ_i(\boldsymbol\theta)T_i(\boldsymbol x)\right]h(\boldsymbol x),\boldsymbol\theta\in\Theta

则称 X\boldsymbol X 服从指数族分布，其分布族称为指数型分布族.

3.2 自然形式

定义6 对于上述指数型分布族，引入新参数

ηi=Qi(θ),i=1,2,⋯ ,m.\eta_i = Q_i(\boldsymbol\theta), i = 1,2,\cdots,m.

如果能从 (18)(18) 中解出唯一 θi=hi(η)(1⩽i⩽m)\theta_i = h_i(\boldsymbol\eta)(1\leqslant i \leqslant m)，其中 η=(η1,η2,⋯ ,ηm)\boldsymbol \eta = (\eta_1, \eta_2,\cdots,\eta_m)，则有 C(θ)=C~(η)C(\boldsymbol \theta) = \widetilde C(\boldsymbol \eta)，这就得到指数族分布的自然形式

C~(η)exp[∑i=1mηiTi(x)]h(x)\tilde C(\boldsymbol\eta)\mathrm{exp}\left[\sum_{i=1}^m\eta_iT_i(\boldsymbol x)\right]h(\boldsymbol x)

则称 (19)(19) 为自然指数族或标准指数族，称

Θ~={η∣η=(Q1(θ),Q2(θ),⋯ ,Qm(θ)),θ∈Θ}\widetilde{\Theta} = \{\boldsymbol{\eta}|\boldsymbol{\eta} = \big(Q_1(\boldsymbol\theta),Q_2(\boldsymbol{\theta}),\cdots,Q_m(\boldsymbol{\theta})\big), \boldsymbol{\theta}\in\Theta\}

为自然参数空间或标准参数空间.

例2 证明 Ga(α,λ)\mathrm{Ga}(\alpha, \lambda) 的样本分布服从指数型分布，并写出其自然形式.

解 记 Θ=(θ1,θ2)=(α,λ)\boldsymbol\Theta = (\theta_1, \theta_2) = (\alpha, \lambda)，则样本随机变量 X=(X1,X2,⋯ ,Xn)X=(X_1,X_2,\cdots, X_n) 的联合密度为

f(x,Θ)=λnαΓn(α)exp[(α−1)∑i=1nln⁡xi−λ∑i=1nxi]=C(Θ)exp[Q1(θ)T1(x)+Q2(θ)T2(x)]h(x)\begin{aligned} f(\boldsymbol x,\boldsymbol{\Theta}) &= \frac{\lambda^{n\alpha}}{\Gamma^n(\alpha)}\mathrm{exp}\left[(\alpha-1)\sum_{i=1}^n\ln x_i-\lambda\sum_{i=1}^nx_i\right] \\ & = C(\boldsymbol\Theta)\mathrm{exp}\left[Q_1(\boldsymbol\theta)T_1(\boldsymbol{x}) + Q_2(\boldsymbol{\theta})T_2(\boldsymbol{x})\right]h(\boldsymbol{x}) \end{aligned}

其中 C(Θ)=θ2nθ1Γn(θ1),Q1(θ)=θ1−1,Q2(θ)=−θ2,h(x)=1.C(\Theta) = \frac{\theta_2^{n\theta_1}}{\Gamma^n(\theta_1)}, Q_1(\boldsymbol{\theta}) = \theta_1 - 1, Q_2(\boldsymbol{\theta}) = -\theta_2, h(\boldsymbol{x}) = 1. (θ1,θ2)(\theta_1, \theta_2)的参数空间是

Θ={θ=(θ1,θ2)∣θ1>0,θ2>0}.\Theta = \left\{\boldsymbol{\theta}=(\theta_1,\theta_2)|\theta_1>0,\theta_2>0 \right\}.

所以 X\boldsymbol{X} 服从指数分布. 下面取 η1=Q1(θ)=θ1−1,η2=Q2(θ)=−θ2\eta_1 = Q_1(\boldsymbol{\theta}) = \theta_1 - 1, \eta_2 = Q_2(\boldsymbol{\theta}) = -\theta_2，则唯一解出

θ1=η1+1,θ2=−η2,C~(η)=(−η2)n(η1+1)Γn(η1+1)\theta_1 = \eta_1 + 1, \theta_2 = -\eta_2, \widetilde{C}(\boldsymbol{\eta}) = \frac{(-\eta_2)^{n(\eta_1 + 1)}}{\Gamma^n(\eta_1 + 1)}

所以 XX 分布的自然形式为

C~(η)exp[η1T1(x)+η2T2(x)]h(x)\tilde C(\boldsymbol\eta)\mathrm{exp}\left[\eta_1T_1(\boldsymbol{x})+\eta_2T_2(\boldsymbol{x})\right]h(\boldsymbol x)

且自然参数空间为

Θ~={η=(η1,η2)∣η1>−1,η2<0},\widetilde{\Theta} = \left\{\boldsymbol{\eta}=(\eta_1,\eta_2) | \eta_1>-1, \eta_2<0\right\},

定理3 如果 X\boldsymbol X 的概率分布族能写成指数分布的自然形式 (19)(19)，且自然参数空间 Θ~\widetilde\Theta 有内点，则

T(X)=(T1(X),T2(X),⋯ ,Tm(X))\boldsymbol T(\boldsymbol{X}) = \big(T_1(\boldsymbol{X}),T_2(\boldsymbol{X}),\cdots, T_m(\boldsymbol{X})\big)

是 θ\boldsymbol\theta 和 η\boldsymbol\eta 充分完备统计量.

证明 由因子分解定理易证 T(X)T(\boldsymbol{X}) 为充分统计量，完全性的证明参见参考资料[2]第 80 页.

例3 对于正态分布 {N(0,σ2):σ∈R+}\{N(0,\sigma^2):\sigma\in \mathbb R^+ \}，证明统计量 X1X_1 不是完备统计量，而 T=∑i=1nXi2T=\sum\limits_{i=1}^n X_i^2 是完备统计量.

解 Eσ(X1)=0E_\sigma(X_1) = 0 而 Pσ(X1=0)=0≠1(∀σ∈R+)P_\sigma(X_1 = 0) = 0\not=1(\forall \sigma\in\mathbb R^+)，故 X1X_1 不是完备统计量.

Xi/σ∼N(0,1)X_i / \sigma \sim N(0,1)，故 T/σ2∼Ga(n2,12)T/\sigma^2 \sim Ga(\frac n 2,\frac 1 2)，因此 T∼Ga(n2,12σ2)T \sim Ga(\frac n2, \frac 1{2\sigma^2})，由例1知，X\boldsymbol X 服从指数型分布族，且其自然参数空间有内点，故由定理3，TT 为充分完备统计量，证必.

4 Lehmann–Scheffé 定理

定理4 Lehmann–Scheffé 定理 设 T=T(X)\boldsymbol T = \boldsymbol T(\boldsymbol{X}) 是充分完备统计量，若 g^(X)\hat g(\boldsymbol X) 是 h(θ)h(\boldsymbol\theta) 的方差有限的无偏估计，即

Eθg^(X)=h(θ),Varθ(g^(X))<∞,∀θ∈Θ,E_\theta\hat g(\boldsymbol{X}) = h(\boldsymbol{\theta}), \mathrm{Var}_\theta(\hat g(\boldsymbol{X}))<\infty, \forall \boldsymbol{\theta} \in \Theta,

则条件数学期望

η(T)=E[g^(X)∣T]\eta(\boldsymbol{T}) = E\left[\hat g(\boldsymbol{X})|T\right]

是 h(θ)h(\boldsymbol{\theta}) 的唯一的 UMVUE. 证明见参考文献[3]103页

5 Cramer-Rao 不等式

定理5 Cramer-Rao 不等式 设总体分布 f(x,θ)f(x,\theta)，X1,⋯ ,XnX_1,\cdots,X_n 是来自该总体的简单样本，T=T(X1,⋯ ,Xn)T=T(X_1,\cdots,X_n) 是 g(θ)g(\theta) 的任一个无偏估计，g′(θ)=∂g(θ)∂θg'(\theta) = \frac{\partial g(\theta)}{\partial\theta} 存在，且对 Θ\Theta 中一切 θ\theta，对

g′(θ)=∫−∞∞⋯∫−∞∞T(x1,⋯ ,xn)∏i=1np(xi,θ)dx1⋯dxn,g'(\theta) = \int_{-\infty}^\infty\cdots\int_{-\infty}^\infty T(x_1,\cdots,x_n)\prod_{i=1}^np(x_i,\theta)\mathrm dx_1\cdots\mathrm dx_n,

的微商可在积分号下进行，即

g′(θ)=∫−∞∞⋯∫−∞∞T(x1,⋯ ,xn)∂∂θ(∏i=1np(xi,θ))dx1⋯dxn.g'(\theta) = \int_{-\infty}^\infty\cdots\int_{-\infty}^\infty T(x_1,\cdots,x_n)\frac\partial{\partial\theta}\left(\prod_{i=1}^np(x_i,\theta)\right)\mathrm dx_1\cdots\mathrm dx_n.

则有

Var(T)⩾[g′(θ)]2nI(θ)\mathrm{Var}(T) \geqslant \frac{[g'(\theta)]^2}{nI(\theta)}

其中 I(θ)=E[∂∂θln⁡f(x,θ)]2I(\theta) = E\left[\frac\partial{\partial\theta}\ln f(x,\theta)\right]^2 为费希尔信息量，[g′(θ)]2nI(θ)\frac{[g'(\theta)]^2}{nI(\theta)} 称为参数估计的 C-R 下限. 证明详见参考文献[1]291页.

(31)(31) 式中若等号成立则称 TT 是 g(θ)g(\theta) 的有效估计，有效估计一定是 UMVUE.

6 UMVUE 的求法

根据 Rao–Blackwell 定理 ，UMVUE 若存在一定是基于充分统计量的估计. 故寻找 UMVUE 可以利用因子分解定理寻找充分统计量，然后对充分统计量进行无偏修正，得到可能的 UMUVE，最后可以利用 UMVUE 的充要条件 (定理1)、Lehmann–Scheffé 定理、Cramer-Rao 不等式等方法说明其方差一致最小.

下面通过例题说明求 UMVUE 的具体思路.

例4 设 X1,⋯ ,XnX_1,\cdots,X_n 为来自正态总体 N(μ,σ2)N(\mu,\sigma^2) 的 i.i.d 样本，求 μ,σ2\mu, \sigma^2 的 UMVUE.

解法1 由例1知，(Xˉ,S2)(\bar X, S^2) 是 (μ,σ2)(\mu, \sigma^2) 的充分统计量. E(Xˉ)=μ,E(S2)=σ2E(\bar X) = \mu, E(S^2)=\sigma^2 均为无偏估计，且为充分统计量的函数. 令 E(φ(X))=0E(\varphi(\boldsymbol{X})) = 0，即

∫−∞∞⋯∫−∞∞φ(x1,⋯ ,xn)1(2πσ2)n/2exp{−12σ2∑i=1n(xi−μ)2}dx1⋯dxn=0\int_{-\infty}^\infty\cdots\int_{-\infty}^\infty\varphi(x_1,\cdots,x_n)\frac1{(2\pi\sigma^2)^{n/2}}\mathrm{exp}\{-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\}\mathrm{d}x_1\cdots\mathrm{d}x_n = 0

两边对 μ\mu 求导，得

∫−∞∞⋯∫−∞∞φ(x1,⋯ ,xn)∑i=1n(xi−μ)exp{−12σ2∑i=1n(xi−μ)2}dx1⋯dxn=0∫−∞∞⋯∫−∞∞φ(x1,⋯ ,xn)xˉf(x,θ,σ2)dx1⋯dxn=0Cov(φ,Xˉ)=0\begin{aligned} \int_{-\infty}^\infty\cdots\int_{-\infty}^\infty\varphi(x_1,\cdots,x_n)\sum_{i=1}^n(x_i-\mu)\mathrm{exp}\{-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\}\mathrm{d}x_1\cdots\mathrm{d}x_n &= 0 \\ \int_{-\infty}^\infty\cdots\int_{-\infty}^\infty\varphi(x_1,\cdots,x_n)\bar xf(\boldsymbol{x},\theta,\sigma^2)\mathrm{d}x_1\cdots\mathrm{d}x_n &= 0 \\ \mathrm{Cov}(\varphi, \bar X) &= 0 \end{aligned}

由定理1知，Xˉ\bar X 是 μ\mu 的 UMVUE.

同理，式 (32)(32) 俩边对 σ2\sigma^2 求导，得到 Cov(φ,S2)=0\mathrm{Cov}(\varphi, S^2) = 0，证得 S2S^2 是 σ2\sigma^2 的UMVUE.

解法2 记 T=(T1(X),T2(X))=(∑i=1nXi,∑i=1nXi2)\boldsymbol{T} =(T_1(\boldsymbol{X}), T_2(\boldsymbol{X})) = (\sum\limits_{i=1}^nX_i, \sum_{i=1}^n X_i^2) 样本的联合密度函数为

f(x,θ,σ2)=1(2πσ2)n/2exp[−12σ2∑i=1n(xi−μ)2]=1(2πσ2)n/2exp(−nμ22σ2)exp[μT1(x)σ2−T2(x)2σ2]=C(Θ)exp[Q1(θ)T1(x)+Q2(θ)T2(x)]h(x)\begin{aligned} f(\boldsymbol{x},\theta,\sigma^2) &= \frac1{(2\pi\sigma^2)^{n/2}}\mathrm{exp}\left[-\frac1{2\sigma^2}\sum_{i=1}^n(x_i-\mu)^2\right] \\ & = \frac1{(2\pi\sigma^2)^{n/2}}\mathrm{exp}\left(-\frac{n\mu^2}{2\sigma^2}\right)\mathrm{exp}\left[\frac{\mu T_1(\boldsymbol{x})}{\sigma^2}-\frac{T_2(\boldsymbol{x})}{2\sigma^2}\right] \\ & = C(\boldsymbol{\Theta})\mathrm{exp}\left[Q_1(\boldsymbol{\theta})T_1(\boldsymbol{x}) + Q_2(\boldsymbol{\theta})T_2(\boldsymbol{x})\right]h(\boldsymbol{x}) \end{aligned}

其中，θ=(θ1,θ2)=(μ,σ2),h(x)=1\boldsymbol{\theta} = (\theta_1, \theta_2) = (\mu,\sigma^2), h(\boldsymbol{x})=1.

取 η1=Q1(θ)=θ1θ2,η2=Q2(θ)=−12θ2\eta_1 = Q_1(\boldsymbol{\theta}) = \frac{\theta_1}{\theta_2}, \eta_2 = Q_2(\boldsymbol{\theta}) = \frac{-1}{2\theta_2}，唯一解出 θ1=−η12η2,θ2=−12η2\theta_1=\frac{-\eta_1}{2\eta_2}, \theta_2=\frac{-1}{2\eta_2}，带入 C(θ)C(\boldsymbol{\theta}) 得到 C~(η)\widetilde{C}(\boldsymbol{\eta}). 所以 X\boldsymbol{X} 的分布族为指数型分布族且有自然形式，自然参数空间为

Θ~={η=(η1,η2)∣η1∈(−∞,∞),η2<0}\widetilde{\Theta} = \left\{\boldsymbol{\eta}=(\eta_1,\eta_2)|\eta_1\in(-\infty,\infty),\eta_2<0\right\}

由定理3知，T=(∑i=1nXi,∑i=1nXi2)\boldsymbol{T} = (\sum\limits_{i=1}^nX_i, \sum_{i=1}^n X_i^2) 是 Θ=(μ,σ2)\boldsymbol{\Theta}=(\mu, \sigma^2) 的充分完备统计量，基于该统计量构造 μ,σ2\mu, \sigma^2 的无偏估计 Xˉ,S2\bar X, S^2. 显然 Xˉ,S2\bar X, S^2 都可以表示为 T\boldsymbol{T} 的函数，故由Lehmann–Scheffé 定理 Xˉ=E(Xˉ∣T)\bar X = E(\bar X|\boldsymbol{T}) 和 S2=E(S2∣T)S^2=E(S^2|\boldsymbol{T}) 分别为 μ\mu 和 σ2\sigma^2 的 UMVUE.

上例中，分布族为指数型分布族，使用定理3确定充分完备统计量是方便的，然后使用 Lehmann–Scheffé 定理说明 UMVUE. 对于非指数族分布，可以尝试使用因子分解定理和定义4说明充分性和完备性.

例5 设 X1,⋯ ,XnX_1,\cdots,X_n 为来自均匀样本分布 U(0,θ),θ>0U(0, \theta), \theta>0 的 i.i.d 样本，求 θ\theta 的UMVUE.

解 样本的联合概率分布为 f(x,θ)=1θnI{0<x(n)<θ}f(\boldsymbol{x},\theta)=\frac1{\theta^n}I_{\{0<x_{(n)}<\theta\}}，其中 X(n)=max⁡{X}X_{(n)}=\max\{\boldsymbol{X}\} 为次序统计量. 根据因子分解定理，T=X(n)T=X_{(n)} 为充分统计量. TT 的概率密度函数为 f(t,θ)=ntn−1θnI{0<x(n)<θ}f(t,\theta)=n\frac{t^{n-1}}{\theta^n} I_{\{0<x_{(n)}<\theta\}}. 则 E(T)=nn+1θE(T) = \frac{n}{n+1}\theta，可得 n+1nT\frac{n+1}nT 为 θ\theta 的无偏估计，记为 θ^(T)\hat\theta(T). 设 E(g(T))=0E(g(T)) = 0，即

∫0θg(T)ntn−1θndt=0∫0θg(T)tn−1dt=0\begin{aligned} \int_0^\theta g(T)n\frac{t^{n-1}}{\theta^n}\mathrm{d}t &= 0 \\ \int_0^\theta g(T)t^{n-1}\mathrm{d}t &= 0 \\ \end{aligned}

两边对 θ\theta 求导，得 g(θ)=0g(\theta) = 0，由定义4知 TT 为完备统计量. θ^(T)=E(θ^(T)∣T)\hat\theta(T) = E(\hat\theta(T)|T), 由 Lehmann–Scheffé 定理，θ^=n+1nX(n)\hat\theta = \frac{n+1}nX_{(n)} 为 θ\theta 的 UMVUE.

相对于以上解法，估计的 C-R 下限的计算是简单而直接的，所以对于某估计我们可以先验证它的方差是否达到 C-R 下限，一旦达到 C-R 下限则立即说明该估计为 UMVUE.

例6 设总体为指数分布 Exp(1/θ)Exp(1/\theta)，求参数 θ\theta UMVUE.

解 先计算费希尔信息量 I(θ)=E[∂∂θln⁡f(x,θ)]2=1θ2I(\theta) = E\left[\frac\partial{\partial\theta}\ln f(x,\theta)\right]^2 = \frac1{\theta^2}，则 θ\theta 的 C-R 下限为 1nI(θ)=θ2n\frac{1}{nI(\theta)} = \frac{\theta^2}n. 对于 θ\theta 的无偏估计量 Xˉ=1n∑i=1nXi\bar X = \frac1n\sum\limits_{i=1}^n X_i，其方差为 Var(Xˉ)=θ2n\mathrm{Var}(\bar X) = \frac{\theta^2}n 达到 C-R 下限，故为有效估计，则为 UMVUE.

通过以上例题，总结 UMVUE 的求法思路.

  1. 首先应明确，并不是所有的参数都有 UMVUE.

  2. 根据 Rao–Blackwell 定理，若 UMVUE 存在则一定是基于充分统计量的，故应先寻找参数的充分统计量.

  3. 确定待证明的统计量，一般基于充分统计量构造，然后进行无偏修正.

  4. 证明选择的统计量为 UMVE. 具体地，

    1. 首先考虑 C-R 下限，因为该方法计算相对简单，一旦估计的方差达到下限，则立即说明其为 UMVUE. 但应注意方差达到 C-R 下限是 UMVUE 的充分不必要条件.
    2. 由于指数族分布的优良性质，整理联合概率函数，证明其为指数族分布且有自然形式，并写出自然参数空间，使用定理3说明 UMVUE.
    3. 若分布族不是指数族分布，则考虑使用完备统计量的定义说明完备性(例5)，然后利用 Lehmann–Scheffé 定理说明 UMVUE.
    4. 使用 UMVUE 的充分必要条件 (定理1)，对 E(φ)=0E(\varphi) = 0 两边求导，整理得到 Cov(φ,T)=0\mathrm{Cov}(\varphi, T) = 0 来证明.
    5. 对于某些特殊的情况可以使用定义法直接说明其方差一致最小，但一般比较困难.
    6. 若以上方法均无法证明，则考虑更换估计量，或者估计的 UMVUE 不存在.

参考文献

[1] 茆诗松, 程依明, 濮晓龙. 概率论与数理统计教程. 3版. 北京: 高等教育出版社, 2019.

[2] 陈希孺. 数理统计引论. 北京：科学出版社, 1981.

[3] 韦来生, 数理统计. 北京: 科学出版社, 2015.

[4] 周伟萍, 关于一直最小方差无偏估计的教学思考, 高师理科学刊, 2013,33(06)

[5] Charles Elkan, Rao-Blackwell Theorem: Intuition, Lemmas and Start of Proof

评论

登录 — 登录后参与讨论。

  1. …