11 大数定律与中心极限定理

样本均值是多个观测的平均，它自身也随样本改变。随着样本量增加，均值可能集中在总体均值附近；即使已经集中，剩余误差仍有自己的大小和分布形状。前一个问题考察偏离固定范围的概率，后一个问题则把逐渐缩小的误差放到合适尺度上比较。

大数定律描述这种集中，中心极限定理描述相应条件下的标准化误差。二者都依赖观测的概率结构；平均过程能否压低波动，以及压低到什么程度，取决于矩是否存在、观测之间是否独立。

样本均值与重复抽样

设 $X_1,\dots ,X_n$ 是从同一分布独立抽取的观测，简称独立同分布，常写作 i.i.d.。按照期望与方差的定义，总体均值为 $\mu =E(X_i)$，样本均值则是

$${\bar{X}}_n=\frac{1}{n}\sum _{i=1}^n{X}_i.$$

在观察前，${\bar{X}}_n$ 随整份样本变化，是一个随机变量；观察后，它取到一个具体数值。若重新抽取同样大小的样本，均值又可能取到另一个数。标准误与抽样分布描述的正是整份样本反复变化所产生的均值波动。

例如，一份样本的平均等待时间为 4.8 分钟，表示这份样本中各次等待的算术平均。总体均值由整个等待分布定义，未来个体的等待则是该分布的一次取值；这三个量的随机性和解释对象各有不同。

大数定律

对于独立同分布且 $E|X_i|<\infty$ 的变量，弱大数定律说明：对任意固定的 $\epsilon >0$，

$$P(|{\bar{X}}_n-\mu |>\epsilon )⟶0(n\to \infty ).$$

这一性质称为依概率收敛。对任何固定的容许误差，落在相应范围以外的样本所占概率最终趋于零。它比较不同样本量下的概率分布，并未要求一条具体观测序列中的误差单调下降；某个新观测仍可能使当前均值暂时远离 $\mu$。

在有限方差的较强条件下，Chebyshev 不等式给出一个直接证明。若 $\mathrm{Var}(X_i)={\sigma }^2<\infty$，独立观测的方差相加，再除以平均中的样本量平方，得到

$$E({\bar{X}}_n)=\mu ,\mathrm{Var}({\bar{X}}_n)=\frac{{\sigma }^2}{n}.$$

于是

$$P(|{\bar{X}}_n-\mu |\ge \epsilon )\le \frac{{\sigma }^2}{n{\epsilon }^2}⟶0.$$

固定容许误差以后，上界随样本量增大而趋于零，因而证明了均值的集中。这个证明利用二阶矩控制尾概率，所以要求有限方差；独立同分布的弱大数定律本身只需上述有限绝对一阶矩，适用范围比这段证明更广。

对于 Bernoulli 变量，${\bar{X}}_n$ 就是成功比例 $\hat{p}$；在稳定、独立的重复试验中，频率由此趋近成功概率。这种长期集中来自平均波动的缩小，未来每次独立试验的成功概率仍保持原值。过去连续失败不会使下一次更容易成功，因而没有“补回失败”的机制。

中心极限定理

未标准化的均值越来越集中，误差形状也随横轴尺度一同压缩。减去总体均值去除位置，再除以均值的标准差，便能在统一尺度上考察这种形状。在独立同分布、$E(X_i)=\mu$、$0<\mathrm{Var}(X_i)={\sigma }^2<\infty$ 的经典条件下，标准化均值满足

$$\frac{\sqrt{n}({\bar{X}}_n-\mu )}{\sigma }\stackrel{d}{\to }N(0,1).$$

$\stackrel{d}{\to }$ 表示分布收敛，即对每个实数 $z$，标准化均值的分布函数趋近 $\Phi (z)$。乘数 $\sqrt{n}/\sigma$ 恰好抵消均值标准差的缩小，剩下的误差形状趋于标准正态分布。有限样本中，若这种极限已经提供足够准确的近似，则

$${\bar{X}}_n\approx N\left(\mu ,\frac{{\sigma }^2}{n}\right).$$

原始 $X_i$ 可以服从非正态分布，平均过程却使其标准化和呈现近似正态形状；原始观测本身的分布保持不变。若原分布正态，则正态变量的独立线性组合仍正态，任意 $n$ 的均值都精确正态，这时结论直接来自分布的封闭性质。

例如 $X_i$ 的均值为 2、标准差为 3，独立观察 100 次。若正态近似已足够准确，样本均值的标准差为 $3/\sqrt{100}=0.3$，所以

$$P({\bar{X}}_{100}\le 2.6)\approx \Phi \left(\frac{2.6-2}{0.3}\right)=\Phi (2)\approx \mathrm{0.97725.}$$

原分布正态时，上式给出精确概率。严重偏斜或重尾分布的近似速度可能较慢，因此 100 次并未对所有分布保证同样精度。极限定理描述 $n$ 趋向无穷时的分布，不包含统一的有限样本误差界。

标准误与样本量

总体标准差 $\sigma$ 描述个体观测的散布。均值的标准误则是重复抽样中均值的标准差：

$$\mathrm{SE}({\bar{X}}_n)=\frac{\sigma }{\sqrt{n}}.$$

公式中的 $\sigma /\sqrt{n}$ 描述均值而非个体观测的波动。通常 $\sigma$ 未知，以样本标准差 $s$ 代入便得到估计标准误 $s/\sqrt{n}$。独立同分布且有限方差时，样本标准差随样本量增加而趋于总体标准差，支持这种一致估计；小样本中，随机分母还带来额外不确定性，t 分布体现了独立正态样本下的这一影响。

对于独立 Bernoulli 样本，

$$\mathrm{SE}(\hat{p})=\sqrt{\frac{p(1-p)}{n}},\widehat{\mathrm{SE}}(\hat{p})=\sqrt{\frac{\hat{p}(1-\hat{p})}{n}}.$$

课程的虚构对照组有 200 人、40 人成功，$\hat{p}=0.20$，估计标准误为

$$\sqrt{\frac{0.2\times 0.8}{200}}\approx \mathrm{0.02828.}$$

这一尺度约为 2.83 个百分点，描述重复抽样时整组成功比例的波动；个体成功与否的标准差则对应原来的二元分布。相同机制下增加到 800 人，若成功比例仍约 0.20，估计标准误约为 0.01414，只有原来的一半。

这个平方根关系意味着，在上述独立抽样机制下，样本量增加 4 倍，标准误缩小 2 倍；增加 100 倍才缩小 10 倍。因此，提高均值估计精度所需的样本量通常增长得比精度目标本身更快。置信区间的宽度与假设检验中的波动尺度，都与这种关系相连。

正态近似的有限样本条件

正态近似的精度受偏斜、尾部、事件稀有程度以及所考察的概率区域影响。二项分布中，$np$ 与 $n(1-p)$ 分别是期望成功数和期望失败数；其中任一个较小时，离散跳跃与边界都可能占据明显地位。常见的 5 或 10 阈值是对这两种数量的经验诊断，并未给出无条件的误差保证；极端尾概率也通常比中心概率更难近似。

例如 $n=30,p=0.001$，期望成功次数仅为 0.03，且

$$P(S=0)=0.999^{30}\approx \mathrm{0.97043.}$$

几乎所有样本都没有成功，概率质量高度集中在 0，与对称钟形曲线差异明显。样本量虽然达到 30，期望事件数却仍很小，因此二项精确概率或合适的稀有事件近似更能反映这个分布的结构。

若原变量正态，$n=5$ 的均值却已经精确正态，可见样本量本身并未唯一决定近似质量。比例接近 0 或 1 时，样本还可能全成功或全失败，使代入标准误等于 0；这个零值来自估计式在边界的代入，未知总体比例仍有抽样不确定性，比例区间因而需要采用能表达边界情况的方法。

重尾分布与观测依赖

矩条件的差别在重尾分布中尤其明显。Cauchy 分布没有有限均值和方差，独立 Cauchy 样本的平均仍服从相同尺度的 Cauchy 分布，随着 $n$ 增大也不按普通方式集中。形状参数在 1 与 2 之间的 Pareto 分布则具有有限均值而没有有限方差：大数定律可以成立，经典有限方差的 $\sqrt{n}$ 中心极限定理却缺少二阶矩前提。均值收敛与普通正态标准误因而属于不同层次的结论。

观测依赖改变的是平均过程中的方差相加。根据关联与协方差，在有限二阶矩条件下，一般的样本均值方差为

$$\mathrm{Var}({\bar{X}}_n)=\frac{1}{n^2}\left\{\sum _i\mathrm{Var}(X_i)+2\sum _{i<j}\mathrm{Cov}(X_i,X_j)\right\}.$$

正协方差项增加均值方差，所以相同的 1000 行记录可以具有不同的均值波动。记录数提供了观测数量，协方差结构则决定这些观测能在多大程度上带来独立信息。

一个简单模型是 $X_i=\mu +U+{\epsilon }_i$：所有观测共享同一个组层面的冲击 $U$，个体误差 ${\epsilon }_i$ 相互独立，并与 $U$ 独立，均值均为 0。若方差分别为 ${\tau }^2$、${\sigma }_{\epsilon }^2$，则

$$\mathrm{Var}({\bar{X}}_n)={\tau }^2+\frac{{\sigma }_{\epsilon }^2}{n}.$$

随着组内人数增加，个体误差的平均贡献逐渐缩小，共同冲击项却保留在均值方差中。增加不同组的观测因此可能比重复测量同一组更有帮助。时间序列、重复测量和集群抽样在额外条件下也可能满足中心极限定理，不过其标准误由相应依赖结构决定，形式未必与独立观测相同。

原始观测的直方图展示个体分布，均值的抽样分布则来自整份样本的重复变化。在可模拟的模型中，重复抽样仿真可以呈现均值的集中、误差形状以及推断程序的覆盖率；符合抽样设计的重抽样方法也提供了研究抽样波动的途径。两种方法仍保留各自的设计条件。有关收敛理论的补充见 参考教材与开放课程。

习题

1. 独立观测的标准差为 12，样本量为 144，均值的标准误是多少？把样本量增至 576 后呢？
2. 大数定律是否说明 $|{\bar{X}}_{101}-\mu |$ 一定小于 $|{\bar{X}}_{100}-\mu |$？中心极限定理是否说明原始观测变成正态？
3. 某集群模型 ${\tau }^2=1,{\sigma }_{\epsilon }^2=9$。同一组内观察 100 人时，均值标准误是多少？若误当作独立，总体个体方差为 10 时会算出多少？
4. 某分布均值有限、方差无限。独立同分布条件下可以直接说大数定律和经典中心极限定理都不成立吗？

参考解答

1. 标准误为 $12/\sqrt{144}=1$；增加到 576 后为 $12/24=0.5$。个体标准差仍是 12，减少的是均值的抽样波动。
2. 两个说法都不对。大数定律描述超过固定误差的概率最终趋于零，不要求沿每份样本路径单调改善；中心极限定理描述标准化平均值的分布，不改变原始数据分布。
3. 正确标准误为 $\sqrt{1+9/100}=\sqrt{1.09}\approx 1.0440$。错误独立公式得到 $\sqrt{10/100}\approx 0.3162$，明显低估共同冲击带来的不确定性。
4. 不能一概否定。有限绝对均值的独立同分布变量仍满足大数定律；方差无限时，经典有限方差中心极限定理不适用，可能需要其他归一化与极限分布。

上一篇：10 联合分布与条件期望 · 下一篇：12 统计量与抽样分布 · 课程总览

相关概念：标准差与标准误 · 观测单位与独立性。