12 统计量与抽样分布

标准误与中心极限定理说明样本均值怎样在重复抽样中波动。若总体具有更具体的分布结构，还能进一步求出有限样本的精确分布。在独立正态样本中，均值、方差及其标准化比值与 $t$、${\chi }^2$、$F$ 分布相联系。

这种联系来自观测之间的共同结构。样本均值确定中心，围绕该中心的残差受到和为零的约束，因此只有 $n-1$ 个自由变化的方向；当真实尺度未知时，分母本身又随样本变化。位置估计、残差约束和尺度估计共同决定了统计量的抽样分布。

参数与统计量

总体均值 $\mu$、总体方差 ${\sigma }^2$ 是分布的参数，在给定模型中固定但通常未知。样本 $X_1,\dots ,X_n$ 随抽样改变，由观测本身计算的量也随之改变，例如

$$\bar{X}=\frac{1}{n}\sum _i{X}_i,S^2=\frac{1}{n-1}\sum _i(X_i-\bar{X}{)}^2$$

是统计量。其规则只涉及样本和已知常数，所以具体数据 $x_1,\dots ,x_n$ 一旦给定，就得到数值 $\bar{x},s^2$，无需再知道未知总体参数。上述方差定义中的分母决定了 $n\ge 2$；只有一个观测时，$S^2$ 的这种定义没有意义。

例如，一份样本为 1、2、3，则 $\bar{x}=2,s^2=1$；换成 1、1、7，均值和方差便改变。抽样前的 $\bar{X},S^2$ 因而是随机变量，它们的分布来自整份样本的变化。观察值的直方图只展示某一份样本中的个体分布，与这样的抽样分布具有不同对象。

样本比例、中位数、两组比例差与模型系数也都是统计量。对于给定抽样模型，有时可以推导其解析分布，有时则通过重抽样或模型仿真近似其变化。抽样方式改变了数据的联合概率结构，所以相同样本量并未保证相同的抽样分布。

样本方差及其自由度

设 $X_1,\dots ,X_n$ 独立同分布，均值 $\mu$、方差 ${\sigma }^2<\infty$。围绕总体均值的平方偏离，可以分成围绕样本均值的偏离与两个中心之间的偏离，其恒等式为

$$\sum _i(X_i-\bar{X}{)}^2=\sum _i(X_i-\mu {)}^2-n(\bar{X}-\mu {)}^2.$$

将 $X_i-\mu =(X_i-\bar{X})+(\bar{X}-\mu )$ 代入，平方并对全部观测求和，便得到上式。交叉项为 0，因为 ${\sum }_i(X_i-\bar{X})=0$；样本均值恰好使残差总和为零。

依据期望和方差，每个观测围绕总体均值的平方偏离平均为总体方差，两个中心之间的平方距离则有样本均值方差作为平均。两边取期望得到

$$E\left[\sum _i(X_i-\bar{X}{)}^2\right]=n{\sigma }^2-n\frac{{\sigma }^2}{n}=(n-1){\sigma }^2.$$

于是

$$E(S^2)={\sigma }^2.$$

因此 $S^2$ 对总体方差无偏。若用分母 $n$，期望为 $(n-1){\sigma }^2/n$，存在向下偏差。其原因直接体现在恒等式中：用同一份数据估计中心 $\bar{X}$ 后，原来的平方偏离减去了两个中心间的距离项，平均小于围绕真实 $\mu$ 的平方偏离。

从残差之间的关系也能理解自由度 $n-1$：$n$ 个残差总和为 0，前 $n-1$ 个一旦确定，最后一个便由这个约束确定。这里估计一个均值带来一个约束，损失的是 1 个自由度；其他问题中的约束数可能不同，并不存在统一的“都减 1”规则。

对于数据 1、2、3，残差为 $-1,0,1$，平方和为 2，所以 $s^2=2/(3-1)=1$；除以 3 得到 $2/3$。如果只想描述这三个已给定数的平均平方离差，分母 3 有其描述意义；若要估计抽样总体方差，分母 $n-1$ 有上述无偏性质。

$S=\sqrt{S^2}$ 是常用样本标准差。平方根属于非线性变换，无偏方差经变换后一般 $E(S)\ne \sigma$。具体而言，平方根是凹函数，Jensen 不等式给出 $E(S)\le \sqrt{E(S^2)}=\sigma$。它仍可随样本量增加而一致估计 $\sigma$；无偏性考察固定样本量下的平均偏差，一致性考察样本量增大时的收敛，二者是点估计的不同性质。

正态样本均值的分布

若总体进一步具有正态分布，即

$$X_1,\dots ,X_n\stackrel{\text{i.i.d.}}{\sim }N(\mu ,{\sigma }^2),{\sigma }^2>0.$$

正态变量的独立线性组合仍然正态，所以任意 $n$ 都有

$$\bar{X}\sim N\left(\mu ,\frac{{\sigma }^2}{n}\right).$$

若 $\sigma$ 已知，

$$Z=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1).$$

这一表达式包含未知 $\mu$，数值因而未由观测单独确定，其分布却不依赖未知参数，这种量称为枢轴量。检验 $\mu ={\mu }_0$ 时，给定的 ${\mu }_0$ 替代未知均值，表达式便成为可由样本计算的检验统计量。若将枢轴量的概率关系反解为参数范围，则得到置信区间。

真实 $\sigma$ 通常未知，以 $S$ 替代后，分母也随样本变化。原先只来自分子的随机性因此增加了尺度估计的随机性，标准化比值的分布随之改变。

正态样本方差与卡方分布

若 $Z_1,\dots ,Z_{\nu }$ 是独立标准正态变量，定义

$$Q=\sum _{j=1}^{\nu }{Z}_j^2\sim {\chi }_{\nu }^2.$$

$\nu$ 是参与平方和的独立标准正态量个数，也称自由度。这种 ${\chi }^2$ 分布取值非负，均值为 $\nu$，方差为 $2\nu$，自由度较小时呈明显右偏形状。

对上面的独立正态样本，有精确结论

$$\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }_{n-1}^2.$$

标准化残差 $(X_i-\bar{X})/\sigma$ 受到总和为零的约束，彼此并不独立。正交变换却能把残差平方和写成 $n-1$ 个独立标准正态量的平方和：样本均值占据一个方向，残差在其余 $n-1$ 个方向上变化。正态分布在这些正交方向上的独立性，使自由度的几何分解同时成为卡方分布的概率分解。

同一独立正态假设还给出

$$\bar{X}\text{与}{S}^2\text{相互独立}.$$

均值方向与残差方向在正态样本中独立，残差平方和因而也与均值独立。这一步利用了正态分布的特殊性质；一般总体下，均值与方差可能相关。相比之下，$E(S^2)={\sigma }^2$ 只涉及独立同分布与有限方差，精确 ${\chi }^2$ 分布及上述独立性是更强的结论。

学生化均值与 t 分布

若 $Z\sim N(0,1)$，$Q\sim {\chi }_{\nu }^2$，且二者独立，则

$$T=\frac{Z}{\sqrt{Q/\nu }}\sim t_{\nu }.$$

将正态样本的 $Z$ 与样本方差的 $Q$ 代入，得到

$$\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t_{n-1}.$$

$t$ 分布以 0 为中心对称，尾部比标准正态更厚。当样本低估尺度时，随机分母偏小，同一个分子便产生较大的比值绝对值。自由度增加后，尺度估计更集中，比值分布也逐渐趋近标准正态。

例如，假定观测来自独立正态总体，一份样本为 1、2、3、4、5，均值为 $\bar{x}=3$。围绕该均值的平方偏离和是 $4+1+0+1+4=10$，除以残差自由度得到 $s^2=10/4=2.5$，均值估计标准误因而为 $s/\sqrt{5}=\sqrt{0.5}\approx 0.7071$。

若要与假设均值 ${\mu }_0=2$ 比较，得到

$$t_{\mathrm{obs}}=\frac{3-2}{0.7071}\approx \mathrm{1.4142.}$$

在该假设与正态独立条件下，参考分布为 $t_4$，右尾概率约为 0.1151；同一阈值在标准正态下的右尾概率约为 0.07865。对称双侧检验取两倍 $t$ 右尾，约为 0.2302。两个尾概率的差别来自估计分母增加的不确定性，假设检验中的概率解释也依赖这一参考分布。

独立方差比与 F 分布

若 $Q_1\sim {\chi }_{{\nu }_1}^2$、$Q_2\sim {\chi }_{{\nu }_2}^2$ 相互独立，则

$$F=\frac{Q_1/{\nu }_1}{Q_2/{\nu }_2}\sim F_{{\nu }_1,{\nu }_2}.$$

$F$ 取值非负，通常右偏。分子与分母分别按各自自由度标准化，二者在分布中承担不同角色；取倒数时，它们的角色交换，得到 $F_{{\nu }_2,{\nu }_1}$，相应自由度的顺序也随之交换。

对于两组相互独立的正态样本，样本量分别为 $n_1,n_2$，总体方差分别为 ${\sigma }_1^2,{\sigma }_2^2$，有

$$\frac{S_1^2/{\sigma }_1^2}{S_2^2/{\sigma }_2^2}\sim F_{n_1-1,n_2-1}.$$

在假设 ${\sigma }_1^2={\sigma }_2^2$ 下，总体方差在比值中约去，所以 $S_1^2/S_2^2$ 直接具有这个 $F$ 分布。配对样本的两个方差通常依赖，因而不满足这里两个卡方量独立的构造。经典两方差 $F$ 检验还依赖正态总体；偏态或异常值改变样本方差的分布，使这种检验较敏感，也构成采用更稳健方法的理由。

精确分布与渐近分布

无偏性、有限样本分布与渐近分布分别涉及不同的概率关系，条件也逐层增加：

结论	核心条件	性质
$E(S^2)={\sigma }^2$	独立同分布、有限方差	不要求正态
$\bar{X}$ 精确正态	独立正态样本	任意样本量成立
标准化 $S^2$ 为 ${\chi }_{n-1}^2$	独立正态样本	精确分布
均值用 $S$ 标准化后为 $t_{n-1}$	独立正态样本	精确分布
两方差标准化比值为 $F$	两组独立正态样本	精确分布
$(\bar{X}-\mu )/(S/\sqrt{n})$ 渐近标准正态	独立同分布、有限正方差	有限样本精度依总体分布而定

最后一行来自中心极限定理与 $S$ 对 $\sigma$ 的一致估计，通常称为学生化均值的渐近结果。样本量增大时，估计尺度趋于真实尺度，从而保留标准化均值的正态极限；有限样本中的精确 $t$ 分布则仍依赖独立正态总体。Bernoulli 样本的成功次数具有二项分布，比例区间通常据此采用针对比例的方法，与正态均值的小样本理论有所区别。

同一个 ${\chi }^2$ 分布也可能由不同的推导产生。正态样本方差的卡方结论在有限样本下精确成立，列联表 Pearson 卡方检验的参考分布则通常来自大样本近似。分布名称相同，概率构造与假设却不同；尾概率和分位数的解释取决于具体构造，而非统计量采用了哪种记号。抽样分布的补充推导见 参考教材与开放课程。

习题

1. 数据为 2、4、6，计算 $\bar{x},s^2,s/\sqrt{n}$。这里的 $s$ 与标准误有什么区别？
2. 一份独立但明显右偏的样本只有 8 个观测。$S^2$ 除以 $n-1$ 是否仍有无偏性质？标准化方差是否必然精确服从 ${\chi }_7^2$？
3. 独立正态样本大小为 10。用 $S$ 标准化样本均值时，精确参考分布是什么？若总体标准差已知呢？
4. 两个独立正态样本的样本量为 6 和 9，检验总体方差相等。$S_1^2/S_2^2$ 的参考分布与其倒数的参考分布分别是什么？

参考解答

1. $\bar{x}=4$，平方偏离和为 8，所以 $s^2=8/2=4$，$s=2$，标准误为 $2/\sqrt{3}\approx 1.1547$。$s$ 估计个体观测的标准差，标准误估计均值在重复抽样中的标准差。
2. 若确实独立同分布且总体方差有限，$S^2$ 仍无偏。精确 ${\chi }_7^2$ 结论需要正态，右偏总体一般不满足；不能仅凭无偏性推出抽样分布。
3. 在独立正态条件下，未知标准差用 $S$ 代替时为 $t_9$。若真实 $\sigma$ 已知，并用 $\sigma /\sqrt{10}$ 标准化，则为标准正态。这两种分母包含的估计不确定性不同。
4. 在方差相等假设下，原比值服从 $F_{5,8}$，倒数服从 $F_{8,5}$。分子与分母各自失去一个均值方向的自由度。

上一篇：11 大数定律与中心极限定理 · 下一篇：13 点估计与似然 · 课程总览

相关概念：标准差与标准误 · 置信区间与覆盖率。