13 点估计与似然

在概率计算中，成功概率给定后，便可以求成功人数的分布。统计估计面对的是反方向的问题：已经观察到成功人数，却不知道产生这些结果的成功概率。对于 Bernoulli 模型，成功总数随抽样变化，成功概率则是待估计的固定参数。有限样本提供了参数的线索，也留下了抽样误差。

把观测结果固定下来，比较各个候选参数赋予它的概率，就得到似然函数。使似然最大的参数称为最大似然估计。它说明这一份数据最支持哪个参数；估计方法在反复抽样中表现如何，则要由偏差、方差和样本量增加后的收敛性质来回答。

样本比例的估计理论建立在伯努利与二项分布之上。其平均误差和波动由期望与方差描述，评价对象是统计量的抽样分布。下面的最大化计算用到乘法、对数和求导；求导的作用，是确定似然随候选参数增减的方向及其最大值位置。

参数与估计量

设每位受试者的结局只有成功和失败，个体之间独立，且成功概率均为 $p$。这个未知的 $p$ 是总体参数，规定了模型中的结局分布。观察 $n$ 人，以 $X$ 表示成功人数，相应的样本比例为

$$\hat{p}=\frac{X}{n}.$$

在抽样之前，$X$ 尚未确定，由它计算的 $\hat{p}$ 也是随机变量，称为估计量。若实际样本中有 $40$ 人成功，总人数为 $200$，计算得到的 $\hat{p}=0.20$ 就是一次估计值。参数属于总体模型，估计量是一条随样本变化的计算规则，估计值则是该规则在这份数据上的结果。

频率学派中的随机性来自抽样，而不是未知参数自身。“成功率估计为 $20\%$”因而不要求真实成功率恰好等于 $20\%$；换一份样本，估计值还会变化。置信区间正是借助这种抽样变化来表达估计的精度。

似然函数

以 $y_1,\dots ,y_n$ 表示已观察到的结局，每个 $y_i$ 为 $0$ 或 $1$。成功个体贡献一个成功概率，失败个体贡献一个失败概率；由于个体独立，联合概率是这些贡献的乘积：

$$P(Y_1=y_1,\dots ,Y_n=y_n\mid p)=\prod _{i=1}^n{p}^{y_i}(1-p{)}^{1-y_i}.$$

同一个表达式有两种读法。固定 $p$ 而让数据变化时，它描述数据的概率分布；固定已观察到的数据而让 $p$ 变化时，它比较候选参数，称为似然函数：

$$L(p)=p^x(1-p{)}^{n-x},x=\sum _i{y}_i.$$

若观测对象是总成功人数 $X=x$，还要把所有具有同一成功总数的序列合在一起，得到包含 $\left(\genfrac{}{}{0ex}{}{n}{x}\right)$ 的二项似然。这个组合数因子与 $p$ 无关，改变的是似然的整体倍数，关于 $p$ 的最大值位置保持不变。

例如 $10$ 人中 $7$ 人成功，候选值 $p=0.7$ 给这个结果赋予的概率高于 $p=0.1$，因此受到更强的似然支持。似然比较始终以数据为条件对象；它对参数不必积分为 $1$，不能直接视为参数的概率分布。贝叶斯方法在似然之外引入先验，才能得到参数的后验概率。

$P(\text{数据}\mid p)$ 不等于 $P(p\mid \text{数据})$。这里仍适用条件概率的方向：前者比较一个模型产生数据的概率，后者描述在数据给定后参数的概率，两者之间需要额外的概率结构。

Bernoulli 模型的最大似然估计

最大似然估计取似然函数的最大值位置。对独立观测的乘积似然取对数，乘积便转成求和；由于对数严格递增，取对数前后的最大化问题有相同解。Bernoulli 模型的对数似然为

$$\ell (p)=\log L(p)=x\log p+(n-x)\log (1-p).$$

若 $0<x<n$，样本中同时存在成功和失败，对数似然在参数内部的导数为

$${\ell }^{\prime }(p)=\frac{x}{p}-\frac{n-x}{1-p}.$$

内部最大值的导数为 $0$。由此得到 $x(1-p)=(n-x)p$，整理为 $x=np$，于是

$${\hat{p}}_{\mathrm{MLE}}=\frac{x}{n}.$$

二阶导数 $-x/p^2-(n-x)/(1-p{)}^2<0$ 表明对数似然向下弯，因此该驻点确为最大值。若 $x=0$ 或 $x=n$，似然沿参数方向单调变化，最大值分别位于边界 $0$ 和 $1$，无需也不能由内部驻点确定。

虚构随机实验的对照组为 $40/200$，干预组为 $70/200$。在组内个体独立且成功概率一致的模型下，两组概率的最大似然估计分别为 $0.20$ 和 $0.35$。这个例子展示的是模拟数据与估计公式的关系，不构成现实干预效果的证据。

似然中关于 $p$ 的信息只通过成功总数汇集。因此，保留 $X$ 就保留了样本用于这一参数似然推断的信息，$X$ 称为 $p$ 的充分统计量。充分性是组内独立且成功概率相同这一模型的性质；如果前后两段观测来自不同机制，一个固定 $p$ 已不足以描述全部数据，原来的充分性结论也失去相应依据。

偏差与均方误差

一个估计值可能偏高，也可能偏低。将同一种估计规则应用于反复抽得的样本，估计结果的平均与真实参数之差便是偏差。估计量 $T$ 对参数 $\theta$ 的偏差定义为

$$\mathrm{Bias}(T)=E_{\theta }(T)-\theta .$$

偏差为零称为无偏，并不要求每一次估计都准确。样本比例满足 $E(X)=np$，从而 $E(\hat{p})=p$，所以它是无偏估计。其方差为 $p(1-p)/n$：同一成功概率下，样本量越大，估计值围绕真实参数的波动越小。

若以误差的平方衡量估计准确性，再对重复抽样取平均，便同时包含了系统偏离与随机波动：

$$E[(T-\theta {)}^2]=\mathrm{Var}(T)+\mathrm{Bias}(T{)}^2.$$

左侧称为均方误差。将 $T-\theta$ 分成 $T-E(T)$ 和 $E(T)-\theta$，展开平方后，交叉项的期望为零，便得到右侧的方差与偏差平方。因此，无偏并不是低均方误差的充分条件；允许少量偏差而显著降低方差，可能使预测或决策中的平均平方误差更小。

正态模型的方差估计提供了有偏最大似然估计的例子。独立观察 $n$ 个 $N(\mu ,{\sigma }^2)$ 数值时，均值的最大似然估计是 $\bar{X}$，方差的最大似然估计是

$${\hat{\sigma }}_{\mathrm{MLE}}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2.$$

这个估计量的期望为 $(n-1){\sigma }^2/n$，低于真实方差。离均差满足 ${\sum }_i(X_i-\bar{X})=0$，其余离均差一旦确定，最后一个就随之确定，因此少了一个自由度。其期望可以由以下恒等式计算：

$$\sum _i(X_i-\bar{X}{)}^2=\sum _i(X_i-\mu {)}^2-n(\bar{X}-\mu {)}^2$$

右侧第一项的期望为 $n{\sigma }^2$，第二项的期望为 $n\mathrm{Var}(\bar{X})={\sigma }^2$，相减得到 $(n-1){\sigma }^2$。离均差平方和除以 $n-1$ 后，所得样本方差 $S^2$ 因而无偏；除以样本量时则保留了向下偏差。

估计量的一致性

除了固定样本量下的平均误差，还可以问：随着数据增多，估计落在真实参数附近的机会是否趋近于全部？若随着 $n$ 增大，对任意 $\epsilon >0$，

$$P_{\theta }(|T_n-\theta |>\epsilon )⟶0,$$

就称 $T_n$ 对 $\theta$ 一致，即超过任意固定误差范围的概率趋于零。样本比例由大数定律获得这一性质。正态方差的最大似然估计也一致：它在有限样本中有偏，但偏差随 $n$ 增大趋于零，估计量同时向真实方差收敛。

无偏性与一致性约束的对象不同。只用第一个观测 $T_n=X_1$ 估计总体均值，即使期望正确，后续数据也没有进入估计，波动因此不会随样本增多而消失，通常不一致。相反，$\bar{X}+1/n$ 在有限样本中有小偏差，却可在独立同分布、有限均值等条件下保持一致性。

收敛的目标取决于实际抽样总体。只覆盖愿意回答者的问卷，即使收集百万份，其样本比例也可能稳定地接近“愿意回答者的比例”，与目标总体仍有差距。同一人的重复测量还可能相关，其信息量由这种相关结构决定，不能直接等同于增加独立个体。

最大似然估计的适用条件

参数可识别，是指不同参数对应可区分的数据分布。如果两个参数组合产生完全相同的分布，似然便无法区分它们，增加同类数据也不能分别估计这些参数。似然的形式还由联合分布决定：只有独立观测才能直接相乘，聚类、配对和时间序列资料的相关性需要保留在模型中。

似然的最大值可能不唯一，也可能位于参数空间边界，甚至没有有限的最大化解。Logistic 回归的完全分离属于最后一种情形：参数沿特定方向不断增大可以提高似然，却得不到通常的有限估计。

在可识别、足够平滑、真实参数位于适当内部位置等正则条件下，最大似然估计常具有大样本近似正态性质。边界上的 $\hat{p}=0$、稀疏类别或分离问题会破坏通常近似所依赖的结构；统一使用“$n\ge 30$”并不能保证这些条件成立。

最大似然的不变性把参数估计与参数函数的估计联系起来：参数函数 $g(\theta )$ 的最大似然估计，通常由 $g(\hat{\theta })$ 得到。成功优势为 $p/(1-p)$，在 $0<\hat{p}<1$ 时，相应估计为 $\hat{p}/(1-\hat{p})$。无偏性没有同样的不变性质；非线性函数的期望一般不等于期望的函数，因此 $\hat{p}$ 无偏也不能保证优势估计无偏。

点估计与抽样不确定性

Bernoulli 模型中的样本比例，同时具有最大似然、无偏和一致三种性质，但这些性质来自不同论证：最大似然来自优化，无偏来自二项分布的期望，一致来自大数定律。其他模型中，三种性质未必同时成立。

一个点估计只给出参数的一个候选值。抽样分布还描述其他样本可能给出怎样的估计值，由此可以构造参数区间；单次区间与整个区间程序的覆盖性质也因此需要区分。估计理论的进一步论述见 参考教材与开放课程。

习题

1. $50$ 名独立受试者中 $12$ 人成功。写出关于 $p$ 的似然，并给出最大似然估计。如果把成功顺序打乱，估计会改变吗？
2. 某人说：“样本均值无偏，所以这个样本的均值等于总体均值。”错误在哪里？再解释为什么只用第一个观测的估计可能无偏却不一致。
3. 一组正态样本有 $n=5$，离均差平方和为 $20$。求方差的最大似然估计和无偏估计，并说明为什么二者不同。
4. $10$ 人全部失败，最大似然估计为 $0$。这是否证明总体永远不会成功？应怎样继续分析？

参考解答与推理

1. 保留个体序列时 $L(p)=p^{12}(1-p{)}^{38}$；只记录计数时再乘 $\left(\genfrac{}{}{0ex}{}{50}{12}\right)$。最大值为 $12/50=0.24$。在独立同分布伯努利模型下，似然仅依赖成功总数，打乱顺序不改变估计；若顺序代表时间趋势，模型假设本身需要重新检查。
2. 无偏是 $E(\bar{X})=\mu$，即很多次相同设计抽样的平均，而不是这一次 $\bar{x}=\mu$。$X_1$ 的期望可以等于 $\mu$，但后续样本增加时它仍然只包含一个观测，误差不会因此消失。
3. 最大似然估计是 $20/5=4$，无偏估计是 $20/4=5$。用样本均值代替未知总体均值耗用了一个自由度，除以 $n$ 会低估方差的重复抽样平均；除以 $n-1$ 修正这一偏差。
4. 有限样本的零次成功与很多很小的正成功率相容，不能证明 $p=0$。应给出适当的比例区间，检查样本是否独立、是否存在漏记，再用小样本方法表达不确定性。

上一篇：12 统计量与抽样分布 · 下一篇：14 置信区间 · 课程总览

相关概念：概率与似然。