一致最小方差无偏估计估计 UMVUE 是参数估计中的重难点内容，也是很多高校考研专业课喜欢考察的问题. 但在很多教材中的介绍并不全面，主要问题在于本科生教材浅尝辄止，研究生教材有些晦涩，所以我归纳整理了求解 UMVUE 的背景知识和常用解法，供大家参阅批评.
转载注明出处！
1 一致最小方差无偏估计（UMVUE）
1.1 均方误差
在参数的点估计中，需要对各个估计量的好坏进行评价. 均方误差 (Mean Squared Error) 是在小样本量下对点估计进行评价的常用标准，定义为 ，其中 代表对参数真值 的点估计量. 显然，估计的 MSE 越小越好.
对于无偏估计量 ，有
即，无偏估计的均方误差即为其方差.
1.2 一致最小均方误差估计
定义1 设有样本 ，对待估参数 ，有一个估计类，称 是该估计类中 的一致最小均方误差估计，如果对该估计类中另外任意一个 的估计 ，在参数空间 上都有
一致最小均方误差估计通常在一个确定的估计类中考虑，若不加限制，一致最小均方误差估计通常是不存在的（[1]287）.
1.3 一致最小方差无偏估计
当在参数 的无偏估计类中考虑一致最小均方误差估计时，由（1）式知，一致最小均方误差估计变为一致最小方差无偏估计.
定义2 对参数估计问题，设 是 的一个无偏估计，如果对另外任意一个 的无偏估计 ，在参数空间 上都有 ，则称 是 的一致最小方差无偏估计 (Uniform Minimum-Variance Unbiased Estimator)，记为 UMVUE.
定理1 设 是来自总体样本的一个样本， 是 的一个无偏估计，. 则 是 的 UMVUE 的充要条件是，对任意一个满足 和 的 ，都有
证明 充分性：对于 的任意一个无偏估计 ，令 ，则 . 于是
得证 为 的 UMVUE. 必要性证明见参考文献[1]第288页.
2 充分完备统计量
2.1 充分统计量
定义3 设样本 的分布族为 ， 是参数空间. 对于统计量 ，若在已知 的条件下，样本 的条件分布与参数 无关，则称 为 的充分统计量 (Sufficient Statistic).
定理2 (因子分解定理) 设 是随机向量， 是已知函数. 则 为充分统计量的充分必要条件是：存在两个函数 和 使得对任意的 和任一组观测值 ，有联合概率函数 (简便起见，将连续变量的概率密度函数和离散变量的概率分布列统称为概率函数，下同) 其中 是 的函数， 和 是 的函数.
例1 设 为来自正态总体 的 i.i.d 样本，求 的充分统计量.
解 样本的联合概率函数为 ，整理可得 由因子分解定理 是参数 的充分统计量. 进一步整理得 说明 也是参数 得充分统计量. 事实上 与 是一一对应的.
定理2 Rao–Blackwell 定理：假设 是 的一个任意估计， 是一个充分统计量；那么 相对于给定 的条件期望 是一个比 更好的估计量（至少不差于），即 .
证明 由定义3知 与参数 无关，故 可作为 的估计量，并可表示为充分统计量 的函数，记为 . 由重期望公式得 ，不妨记为 . ，其中
故 , 则 .
由 Rao–Blackwell 定理可知，若参数得 UMVUE 存在，则一定是充分统计量或充分统计量的函数.
2.2 完备统计量
定义4 设总体 的分布函数是 ， 是参数空间， 是基于 的样本 的统计量. 如果对于任何函数 ，条件 蕴涵 ，则称 是完全统计量或完备统计量 (Complete Statistic).
既是充分的又是完备的统计量称为充分完备统计量.
3 指数型分布族
3.1 指数分布族
定义5 设 是随机向量， 是 的实值函数， 是 的函数. 如果 有联合概率函数 则称 服从指数族分布，其分布族称为指数型分布族.
3.2 自然形式
定义6 对于上述指数型分布族，引入新参数 如果能从 中解出唯一 ，其中 ，则有 ，这就得到指数族分布的自然形式 则称 为自然指数族或标准指数族，称 为自然参数空间或标准参数空间.
例2 证明 的样本分布服从指数型分布，并写出其自然形式.
解 记 ，则样本随机变量 的联合密度为
其中 的参数空间是 所以 服从指数分布. 下面取 ，则唯一解出 所以 分布的自然形式为 且自然参数空间为 定理3 如果 的概率分布族能写成指数分布的自然形式 ，且自然参数空间 有内点，则 是 和 充分完备统计量.
证明 由因子分解定理易证 为充分统计量，完全性的证明参见参考资料[2]第 80 页.
例3 对于正态分布 ，证明统计量 不是完备统计量，而 是完备统计量.
解 而 ，故 不是完备统计量.
，故 ，因此 ，由例1知， 服从指数型分布族，且其自然参数空间有内点，故由定理3， 为充分完备统计量，证必.
4 Lehmann–Scheffé 定理
定理4 Lehmann–Scheffé 定理 设 是充分完备统计量，若 是 的方差有限的无偏估计，即 则条件数学期望 是 的唯一的 UMVUE. 证明见参考文献[3]103页
5 Cramer-Rao 不等式
定理5 Cramer-Rao 不等式 设总体分布 ， 是来自该总体的简单样本， 是 的任一个无偏估计， 存在，且对 中一切 ，对 的微商可在积分号下进行，即 则有 其中 为费希尔信息量， 称为参数估计的 C-R 下限. 证明详见参考文献[1]291页.
式中若等号成立则称 是 的有效估计，有效估计一定是 UMVUE.
6 UMVUE 的求法
根据 Rao–Blackwell 定理 ，UMVUE 若存在一定是基于充分统计量的估计. 故寻找 UMVUE 可以利用因子分解定理寻找充分统计量，然后对充分统计量进行无偏修正，得到可能的 UMUVE，最后可以利用 UMVUE 的充要条件 (定理1)、Lehmann–Scheffé 定理、Cramer-Rao 不等式等方法说明其方差一致最小.
下面通过例题说明求 UMVUE 的具体思路.
例4 设 为来自正态总体 的 i.i.d 样本，求 的 UMVUE.
解法1 由例1知， 是 的充分统计量. 均为无偏估计，且为充分统计量的函数. 令 ，即
