一致最小方差无偏估计 UMVUE 的求法归纳

一致最小方差无偏估计 UMVUE 的求法归纳

#数理统计#UMVUE 2021-12-04

一致最小方差无偏估计估计 UMVUE 是参数估计中的重难点内容，也是很多高校考研专业课喜欢考察的问题. 但在很多教材中的介绍并不全面，主要问题在于本科生教材浅尝辄止，研究生教材有些晦涩，所以我归纳整理了求解 UMVUE 的背景知识和常用解法，供大家参阅批评.

转载注明出处！

1 一致最小方差无偏估计（UMVUE）

1.1 均方误差

在参数的点估计中，需要对各个估计量的好坏进行评价. 均方误差 (Mean Squared Error) 是在小样本量下对点估计进行评价的常用标准，定义为 ，其中 代表对参数真值 的点估计量. 显然，估计的 MSE 越小越好.

对于无偏估计量 ，有

即，无偏估计的均方误差即为其方差.

1.2 一致最小均方误差估计

定义1 设有样本 ，对待估参数 ，有一个估计类，称 是该估计类中 的一致最小均方误差估计，如果对该估计类中另外任意一个 的估计 ，在参数空间 上都有

一致最小均方误差估计通常在一个确定的估计类中考虑，若不加限制，一致最小均方误差估计通常是不存在的（[1]287）.

1.3 一致最小方差无偏估计

当在参数 的无偏估计类中考虑一致最小均方误差估计时，由（1）式知，一致最小均方误差估计变为一致最小方差无偏估计.

定义2 对参数估计问题，设 是 的一个无偏估计，如果对另外任意一个 的无偏估计 ，在参数空间 上都有 ，则称 是 的一致最小方差无偏估计 (Uniform Minimum-Variance Unbiased Estimator)，记为 UMVUE.

定理1 设 是来自总体样本的一个样本， 是 的一个无偏估计，. 则 是 的 UMVUE 的充要条件是，对任意一个满足 和 的 ，都有

证明 充分性：对于 的任意一个无偏估计 ，令 ，则 . 于是

得证 为 的 UMVUE. 必要性证明见参考文献[1]第288页.

2 充分完备统计量

2.1 充分统计量

定义3 设样本 的分布族为 ， 是参数空间. 对于统计量 ，若在已知 的条件下，样本 的条件分布与参数 无关，则称 为 的充分统计量 (Sufficient Statistic).

定理2 (因子分解定理) 设 是随机向量， 是已知函数. 则 为充分统计量的充分必要条件是：存在两个函数 和 使得对任意的 和任一组观测值 ，有联合概率函数 (简便起见，将连续变量的概率密度函数和离散变量的概率分布列统称为概率函数，下同) 其中 是 的函数， 和 是 的函数.

例1 设 为来自正态总体 的 i.i.d 样本，求 的充分统计量.

解 样本的联合概率函数为 ，整理可得 由因子分解定理 是参数 的充分统计量. 进一步整理得 说明 也是参数 得充分统计量. 事实上 与 是一一对应的.

定理2 Rao–Blackwell 定理：假设 是 的一个任意估计， 是一个充分统计量；那么 相对于给定 的条件期望 是一个比 更好的估计量（至少不差于），即 .

证明 由定义3知 与参数 无关，故 可作为 的估计量，并可表示为充分统计量 的函数，记为 . 由重期望公式得 ，不妨记为 . ，其中

故 , 则 .

由 Rao–Blackwell 定理可知，若参数得 UMVUE 存在，则一定是充分统计量或充分统计量的函数.

2.2 完备统计量

定义4 设总体 的分布函数是 ， 是参数空间， 是基于 的样本 的统计量. 如果对于任何函数 ，条件 蕴涵 ，则称 是完全统计量或完备统计量 (Complete Statistic).

既是充分的又是完备的统计量称为充分完备统计量.

3 指数型分布族

3.1 指数分布族

定义5 设 是随机向量， 是 的实值函数， 是 的函数. 如果 有联合概率函数 则称 服从指数族分布，其分布族称为指数型分布族.

3.2 自然形式

定义6 对于上述指数型分布族，引入新参数 如果能从 中解出唯一 ，其中 ，则有 ，这就得到指数族分布的自然形式 则称 为自然指数族或标准指数族，称 为自然参数空间或标准参数空间.

例2 证明 的样本分布服从指数型分布，并写出其自然形式.

解 记 ，则样本随机变量 的联合密度为

其中 的参数空间是 所以 服从指数分布. 下面取 ，则唯一解出 所以 分布的自然形式为 且自然参数空间为 定理3 如果 的概率分布族能写成指数分布的自然形式 ，且自然参数空间 有内点，则 是 和 充分完备统计量.

证明 由因子分解定理易证 为充分统计量，完全性的证明参见参考资料[2]第 80 页.

例3 对于正态分布 ，证明统计量 不是完备统计量，而 是完备统计量.

解 而 ，故 不是完备统计量.

，故 ，因此 ，由例1知， 服从指数型分布族，且其自然参数空间有内点，故由定理3， 为充分完备统计量，证必.

4 Lehmann–Scheffé 定理

定理4 Lehmann–Scheffé 定理 设 是充分完备统计量，若 是 的方差有限的无偏估计，即 则条件数学期望 是 的唯一的 UMVUE. 证明见参考文献[3]103页

5 Cramer-Rao 不等式

定理5 Cramer-Rao 不等式 设总体分布 ， 是来自该总体的简单样本， 是 的任一个无偏估计， 存在，且对 中一切 ，对 的微商可在积分号下进行，即 则有 其中 为费希尔信息量， 称为参数估计的 C-R 下限. 证明详见参考文献[1]291页.

式中若等号成立则称 是 的有效估计，有效估计一定是 UMVUE.

6 UMVUE 的求法

根据 Rao–Blackwell 定理 ，UMVUE 若存在一定是基于充分统计量的估计. 故寻找 UMVUE 可以利用因子分解定理寻找充分统计量，然后对充分统计量进行无偏修正，得到可能的 UMUVE，最后可以利用 UMVUE 的充要条件 (定理1)、Lehmann–Scheffé 定理、Cramer-Rao 不等式等方法说明其方差一致最小.

下面通过例题说明求 UMVUE 的具体思路.

例4 设 为来自正态总体 的 i.i.d 样本，求 的 UMVUE.

解法1 由例1知， 是 的充分统计量. 均为无偏估计，且为充分统计量的函数. 令 ，即

两边对 求导，得

由定理1知， 是 的 UMVUE.

同理，式 俩边对 求导，得到 ，证得 是 的UMVUE.

解法2 记 样本的联合密度函数为

其中，.

取 ，唯一解出 ，带入 得到 . 所以 的分布族为指数型分布族且有自然形式，自然参数空间为

由定理3知， 是 的充分完备统计量，基于该统计量构造 的无偏估计 . 显然 都可以表示为 的函数，故由Lehmann–Scheffé 定理 和 分别为 和 的 UMVUE.

上例中，分布族为指数型分布族，使用定理3确定充分完备统计量是方便的，然后使用 Lehmann–Scheffé 定理说明 UMVUE. 对于非指数族分布，可以尝试使用因子分解定理和定义4说明充分性和完备性.

例5 设 为来自均匀样本分布 的 i.i.d 样本，求 的UMVUE.

解 样本的联合概率分布为 ，其中 为次序统计量. 根据因子分解定理， 为充分统计量. 的概率密度函数为 . 则 ，可得 为 的无偏估计，记为 . 设 ，即

两边对 求导，得 ，由定义4知 为完备统计量. , 由 Lehmann–Scheffé 定理， 为 的 UMVUE.

相对于以上解法，估计的 C-R 下限的计算是简单而直接的，所以对于某估计我们可以先验证它的方差是否达到 C-R 下限，一旦达到 C-R 下限则立即说明该估计为 UMVUE.

例6 设总体为指数分布 ，求参数 UMVUE.

解 先计算费希尔信息量 ，则 的 C-R 下限为 . 对于 的无偏估计量 ，其方差为 达到 C-R 下限，故为有效估计，则为 UMVUE.

通过以上例题，总结 UMVUE 的求法思路.

1. 首先应明确，并不是所有的参数都有 UMVUE.

2. 根据 Rao–Blackwell 定理，若 UMVUE 存在则一定是基于充分统计量的，故应先寻找参数的充分统计量.

3. 确定待证明的统计量，一般基于充分统计量构造，然后进行无偏修正.

4. 证明选择的统计量为 UMVE. 具体地，

   1. 首先考虑 C-R 下限，因为该方法计算相对简单，一旦估计的方差达到下限，则立即说明其为 UMVUE. 但应注意方差达到 C-R 下限是 UMVUE 的充分不必要条件.
   2. 由于指数族分布的优良性质，整理联合概率函数，证明其为指数族分布且有自然形式，并写出自然参数空间，使用定理3说明 UMVUE.
   3. 若分布族不是指数族分布，则考虑使用完备统计量的定义说明完备性(例5)，然后利用 Lehmann–Scheffé 定理说明 UMVUE.
   4. 使用 UMVUE 的充分必要条件 (定理1)，对 两边求导，整理得到 来证明.
   5. 对于某些特殊的情况可以使用定义法直接说明其方差一致最小，但一般比较困难.
   6. 若以上方法均无法证明，则考虑更换估计量，或者估计的 UMVUE 不存在.

参考文献

[1] 茆诗松, 程依明, 濮晓龙. 概率论与数理统计教程. 3版. 北京: 高等教育出版社, 2019.

[2] 陈希孺. 数理统计引论. 北京：科学出版社, 1981.

[3] 韦来生, 数理统计. 北京: 科学出版社, 2015.

[4] 周伟萍, 关于一直最小方差无偏估计的教学思考, 高师理科学刊, 2013,33(06)

[5] Charles Elkan, Rao-Blackwell Theorem: Intuition, Lemmas and Start of Proof